Suivi & Evaluation des progrès de la réponse au VIH/SIDA Atelier organisé par lIAS à ICASA 2008...
-
Upload
ann-olivier -
Category
Documents
-
view
105 -
download
2
Transcript of Suivi & Evaluation des progrès de la réponse au VIH/SIDA Atelier organisé par lIAS à ICASA 2008...
Suivi & Evaluation des progrès de la réponse au VIH/SIDA
Atelier organisé par l’IAS à ICASA 2008
Par Laetitia Lienart
IAS Coordinatrice Evaluation
Quelques mots sur
le Suivi & l’Evaluation
Pourquoi le S&E est-il important? C’est une partie essentielle de votre travail quotidien qui vous aide à identifier les développements indésirables et améliorer sans cesse votre travail.
Qu’est-ce-que l’évaluation?
C’est l’analyse objective de l’information afin de répondre à des questions
spécifiques et d’évaluer la réussite d’un projet en fonction d’indicateurs
préalablement déterminés. Les critères d’évaluation potentiels pour des projets
sont : Pertinence: Les objectifs du projet correspondent-ils aux besoins du groupe
cible? Efficience: Les ressources sont-elles employées de manière adéquate? Efficacité: Les objectifs du projet ont-ils été atteints? Impact: Quels sont les effets positifs et négatifs, directs et indirects, intentionnels
et non intentionnels induits par le projet? Durabilité: Les bénéfices du projet peuvent-ils perdurer?
Quelques mots sur
le Suivi &l’Evaluation (suite)
Qu’est-ce-que le suivi?
Contrairement à l’évaluation, le suivi est une analyse continue de
l’information, qui indique si le projet est exécuté, ou non,
conformément au plan. Sur cette base, un projet peut-être adapté et
les processus optimisés en fonction des besoins.
Qu’est-ce qui est essentiel pour le processus de suivi&évaluation?
Bien que ce ne soit pas la seule exigence, il est essentiel d’avoir un
projet bien structuré guidé par un cadre logique.
Qu’est-ce-que le cadre logique?
Il s‘agit d’un tableau présentant une image claire et synthétique des
objectifs globaux et spécifiques, des résultats et des activités d’un
projet, ses indicateurs objectivement vérifiables et sources de
vérification ainsi que les risques susceptibles d’affecter la mise en
œuvre du projet.
Pourquoi un cadre logique est-il utile ?
essentiel pour le processus de suivi&évaluation mais aussi
outil de référence durant le cycle du projet en vue d’une Gestion axée
sur les Résultats (GR), c.-à-d. une stratégie de gestion qui se
concentre sur la performance et la réalisation des objectifs.
outil de référence pour rendre compte et communiquer constamment
entre partenaires.
Introduction au cadre logique
La méthode du cadre logique aide à guider la planification d’un voyage du point où nous sommes, ICI, au point où nous voulons aller, LA-BAS. 1 – Qui sommes “nous”? Qui a un intérêt et est un acteur important devant être impliqué? 2 – Où sommes-nous maintenant? Quels sont les problèmes et les besoins associés à ceux-ci? 3 – Où voulons-nous arriver? Quelles sont les options? Quels sont nos objectifs et les résultats attendus? 4 – Comment arriverons-nous là-bas? Quelle est la stratégie résultante? Quelles activités devons-nous entreprendre? 5 – Quels obstacles pourraient nous empêcher d’arriver là-bas? Quels sont les risques et comment pouvons-nous les gérer? Quelles hypothèses formulons-nous? 6 – Comment saurons-nous que nous sommes arrivés là-bas? Quels sont les indicateurs et les cibles? De quelles preuves avons-nous besoin? 7 – De quoi avons-nous besoin pour arriver là-bas? Quelles sont les ressources précises et le budget requis?
ICI
LA-BAS
Introduction au cadre logique (suite)
L’objectif principal est l’objectif de premier ordre, l’impact à plus long terme,
auquel le projet va contribuer.
Ne formuler qu’un seul objectif principal.
Des progrès contribuant à l’objectif principal doivent être mesurables au
cours du projet.
L’objectif principal fournit une « vue d’ensemble » du besoin ou du
problème traité. Il exprime la justification de ce qui est planifié.
Utiliser un verbe: ex. Accélérer la réponse au VIH/SIDA dans la région de
Nbiya.
ETAPE 1 – DEFINIR “L’OBJECTIF DE DEVELOPPEMENT” OU L’OBJECTIF PRINCIPAL
L’objectif spécifique décrit les résultats spécifiques et immédiats du
projet.
L’objectif spécifique doit être Simple, Mesurable, Réalisable, Pertinent &
avoir une Echéance
N’ayez qu’un seul objectif spécifique. Si vous pensez en avoir plusieurs,
alors vous devez avoir plusieurs cadres logiques; sinon vos objectifs
(spécifiques) multiples sont en fait des indicateurs d’un seul objectif
spécifique ou des résultats attendus.
ETAPE 2 – DEFINIR “L’OBJECTIF IMMEDIAT” OU L’OBJECTIF SPECIFIQUE
L’objectif spécifique ne doit pas être entièrement réalisable, c.-à-d. qu’il n’est
pas totalement sous le contrôle du responsable du projet. S‘il est atteint,
il s’agit alors d’un résultat. Ex. ‘Vous pouvez emmener un patient à l’hôpital
mais vous ne pouvez pas être sûr(e) qu’il/elle suivra les prescriptions du
médecin’. Le projet peut consister à « fournir » l’accès à l’hôpital mais il ne
peut pas contrôler le comportement du patient.
Le responsable du projet peut, au mieux, exercer une influence sur la
réalisation de l’objectif spécifique en maximisant l’accomplissement des
résultats et en atténuant les risques.
Utiliser un verbe: ex. Améliorer l’accès au traitement du VIH/SIDA dans la
région de Nbiya.
ETAPE 2 – DEFINIR “L’OBJECTIF IMMEDIAT” OU L’OBJECTIF SPECIFIQUE
(suite)
Les résultats décrivent ce que le projet livrera/produira afin d’atteindre
l’objectif spécifique. Ils doivent être entièrement sous le contrôle du
responsable de projet.
Utiliser des noms+adjectifs Ex.: a) Infrastructures médicales
réhabilitées/renforcées dans la région de Nbiya; b) Sensibilisation au
VIH/SIDA des habitants de la région de Nbiya renforcée; c) Personnel
médical de la région de Nbiya formé correctement sur le VIH/SIDA; d)
Partenariats initiés entre le gouvernement de Nbiya et un(des) fournisseur(s)
de médicaments; etc.
En général, il y a de 2 à 8 résultats; le cadre logique devient trop complexe
s’il y en a plus.
ETAPE 3 – DECRIRE LES RESULTATS OU PRODUITS
Les activités décrivent les actions qui seront entreprises pour réaliser
chaque résultat/produit.
Les activités sont généralement des actions (sous forme de noms). Ex:
évaluation des besoins, recrutement d’experts/consultants, conception de
documents/matériel didactique, développement de programme de formation,
sélection de participants/formateurs/fournisseurs, organisation de réunions
de coordination, distribution de posters/affiches de sensibilisation, mise en
œuvre de travaux, achat d’équipement et de fournitures, etc…
ETAPE 4 – DEFINIR LES ACTIVITES
Lorsque les 4 lignes de la colonne 1 ont été remplies, la logique doit être
testée: utilisez la méthode « SI/ALORS » pour vérifier les causes et les
effets, en lisant le tableau du bas vers le haut:
Si nous réalisons ces activités, alors ce résultat sera livré.
Si nous livrons ces résultats, alors cet objectif spécifique sera atteint.
Si cet objectif spécifique est atteint, alors il contribuera à l’objectif
principal.
ETAPE 5 – TESTER LE CADRE LOGIQUE DU BAS VERS LE HAUT
Considérant toutes les activités requises pour le résultat 1, posez-vous la
question: « Si nous réalisons ces activités avec succès, alors qu’est-ce-
qui peut nous empêcher de livrer le résultat 1? » Répétez cela pour tous
les autres résultats, en prenant chaque résultat et les activités qui y sont
associées.
Considérant l’ensemble des résultats, posez-vous la question: « Si nous
livrons tous ces résultats avec succès, alors qu’est-ce-qui peut nous
empêcher d’atteindre cet objectif spécifique? »
Maintenant posez-vous la question: « Si nous atteignons cet objectif
spécifique avec succès, alors qu’est-ce-qui peut nous empêcher de
contribuer à cet objectif principal? »
IDENTIFIER LES RISQUES
ETAPE 6 – ENTREPRENDRE UNE ANALYSE DES RISQUES
Quel est son impact probable? fort, moyen, faible.
Quelle est sa probabilité? forte, moyenne, faible. A ce stade, vous pouvez
décider d’ignorer les risques négligeables.
Discutez et accordez-vous sur les possibles mesures d’atténuation, transférez
les dans la colonne 1 (comme activités supplémentaires) de votre cadre logique.
Exemple:
Risque: diminution du personnel médical affecté dans la région de Nbiya.
Mesure d’atténuation/nouvelle activité: plaidoyer/lobbying auprès des
autorités et parties prenantes engagées dans la gestion du personnel
médical.
ETAPE 6 – ENTREPRENDRE L’ANALYSE DES RISQUES
ANALYSER ET GERER CHAQUE RISQUE
Les hypothèses sont ce qu’il reste après que les mesures d’atténuation aient
été mises en place (même si les mesures d’atténuation sont menées avec
succès, il est peu probable que le risque soit complètement éliminé).
Les hypothèses sont des facteurs extérieurs qui peuvent affecter la réussite du
projet mais que le responsable de projet ne contrôle pas directement.
Exemple: « Un engagement fort et un soutien continu des autorités de Nbiya en
faveur de la lutte contre le VIH/SIDA ».
Test de logique: une fois que les activités ont été exécutées, et si les
hypothèses sont vérifiées, les résultats seront produits/livrés. Répétez
cette même logique pour les niveaux supérieurs.
ETAPE 7 – FORMULER LES HYPOTHESES
ETAPE 8 – IDENTIFIER LES INDICATEURS OBJECTIVEMENT VERIFIABLES (IOV)
L’un des principaux points forts du cadre logique est qu’il oblige l’équipe de
planification à déterminer dès la conception du projet comment celui-ci
sera suivi et évalué.
Les indicateurs et leur moyen de vérification sont nécessaires pour
montrer quelles sont les données que nous envisageons d’utiliser pour
mesurer les progrès et comment elles seront collectées.
La plupart du temps, lors de la conception du projet, il n’y a pas assez de
données de base disponibles (situation au démarrage du projet) qu’on
puisse utiliser comme référence pour mesurer les progrès effectués; dans ce
cas, le cadre logique aide à identifier les lacunes et déterminer ce qui
doit être fait.
Utiliser la maxime QQT – Quantité, Qualité, Temps.
Etape 1: Déterminer l’indicateur de base.
Etape 2: Ajouter le facteur Quantité – un montant ou un pourcentage qui sera atteint.
Etape 3: Ajouter le facteur Qualité – une mesure qualitative pour préciser l’indicateur.
Etape 4: Ajouter le facteur Temps– date à laquelle cela doit être accompli. Eviter
l’utilisation de phrases générales telles que ‘Dès que possible.’ Il est important
d’équilibrer les indicateurs de fin de projet (CIBLE) avec les indicateurs intermédiaires
(JALON).
ETAPE 8 – FORMULER LES IOV
Etape 1: Augmentation de l’accès au traitement HIV/SIDA
Etape 2 (Quantité): Augmentation de [%], par rapport à la norme de référence, du nombre de
personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments ou au moins
[X] % des personnes infectées par le VIH/SIDA (dans la région de Nbiya) reçoivent des
médicaments.
Etape 3 (Qualité): Augmentation de [%], par rapport à la norme de référence, du nombre de
personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments de manière
durable.
Etape 4 (Durée): Augmentation de [%], par rapport à la norme de référence, du nombre de
personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments de manière
durable en [année/mois] ou d’ici [durée].
ETAPE 8 – FORMULER UN IOV (exemple)
Les indicateurs sont un moyen par lequel le changement sera mesuré alors que jalons et
cibles sont respectivement des objectifs à moyen terme et finaux.
Vu qu’au stade préliminaire d’un projet, il se peut qu’il n’y ait pas l’information de
référence nécessaire pour fixer les cibles, il y aura donc principalement des indicateurs.
Des réunions ultérieures entre parties prenantes et des collectes d’information conduiront à
la conception de ces cibles.
Exemple (pour un projet d’une durée de 4 ans ):
Augmentation de [%], p/r à la référence, du nombre de personnes atteintes du VIH/SIDA
recevant des médicaments de manière durable d’ici [X] années est un indicateur
Augmentation de 10%, p/r à la référence, du nombre de personnes atteintes du
VIH/SIDA recevant des médicaments de manière durable d’ici 2 ans est un jalon
Augmentation de 25%, p/r à la référence, du nombre de personnes atteintes du
VIH/SIDA recevant des médicaments de manière durable fin 2012 est une cible
ETAPE 8 – EVOLUTION D’UN INDICATEUR EN JALON/CIBLE
Le dernier élément de la réalisation d’un cadre logique est de décider
comment les indicateurs seront mesurés – quelles preuves utiliserons-
nous. Il s’agit d’une étape cruciale dans la planification initiale qui est
souvent négligée. Identifier les moyens de vérification dès la planification
rendra bien plus facile le suivi et l’évaluation du projet.
Les moyens de vérification seront presque invariablement des documents
(ou parfois des interviews, films, DVD, vidéo ou cassette audio).
La vérification des indicateurs doit se faire simultanément à leur
formulation; vous compléterez ainsi en même temps les colonnes 2 et 3 du
cadre logique.
ETAPE 9 – IDENTIFIER LES MOYENS DE VERIFICATION/PREUVES
Quelques sources typiques de vérification
Compte rendu de réunions et liste de participation
Opinion des parties prenantes & groupes cibles
Questionnaires/sondages et rapports
Journaux, radio, enregistrements TV, photographies, images satellites
Statistiques nationales et internationales
Progrès enregistrés lors de projets, révision et rapports intermédiaires/finaux de projets
Rapport d’évaluation externe, questionnaire d’évaluation de formation, etc.
ETAPE 9 – IDENTIFIER LES MOYENS DE VERIFICATION/PREUVES (suite)
ETAPE 10 – ET FINALEMENT, UNE 5EME LIGNE?
Pour simplifier, nous schématisons le cadre logique au moyen d’un tableau
4x4, mais 4 cases sont souvent rajoutées en-dessous des 16 cases du
cadre logique pour indiquer les coûts et les ressources nécessaires au
financement des activités du projet, ainsi que les pré-conditions qui
doivent être arrêtées.
Intrants/Ressources Résumé du
Budget
Personnel/mois
Catégories &
codes
budgétaires
Pré-conditions;
Hypothèses
formulées pour
mener à bien les
activités
EXEMPLE DE CADRE LOGIQUE COMPLETToujours dater un cadre logique!
Logique d’intervention Indicateurs / Jalons / Cibles Vérification Hypothèses
Objectif principal : Accélérer la
réponse au VIH/SIDA dans la
Nbiya
La proportion d’infections du VIH/SIDA a
diminué de [X]% en 2012 (I)
Rapports, statistiques,
enquêtes, etc.
Objectif spécifique: Améliorer
l’accès au traitement du VIH/SIDA
dans la Nbiya
Augmentation de 25%, par rapport à la
norme de référence, du nombre de
personnes atteintes du VIH/SIDA (dans
la Nbiya) recevant des médicaments de
manière durable d’ici 2012 (C)
Rapports, statistiques,
enquêtes, liste de
présence des patients,
reçus de livraison des
médicaments, etc.
Engagement
durable des
autorités et des
partenaires
Résultats:
R1. Infrastructures médicales
réhabilitées/renforcées dans la
Nbiya
R2. Sensibilisation au VIH/SIDA
des habitants de la Nbiya renforcée
R3. Personnel médical de la Nbiya
formé correctement sur le
VIH/SIDA
R4. Partenariats initiés entre le
gouvernement de Nbiya et un(des)
fournisseur(s) de médicaments
1. Au moins un hôpital fonctionne de
manière indépendante dans la Nbiya
d’ici 2 ans (J)
2. [Nombre] de campagnes de
sensibilisation organisées d’ici 2010 (I)
3. Au moins 50 travailleurs médicaux de
la Nbiya formés d’ici 2012/4 ans (C)
4.1 [Nombre] de partenariats initiés d’ici
2010/2 ans (I)
4.2 Au moins 2 contrats de partenariats
signés d’ici 2012/4 ans (C)
1. Rapports des visites
de contrôle régulier
dans les hôpitaux
2. Affiches/brochures et
autres matériels de
sensibilisation
3. Rapports de
formation & évaluation
des compétences post-
formation
4. MoU/accord/compte
rendu de réunions
Infrastructures
médicales
régulièrement
entretenues.
Pas de restriction
sécuritaire qui
puisse empêcher
l’accès à certaines
populations.
Activités: à développer avec la même méthode
LE CADRE LOGIQUE COMME OUTIL DE COMMUNICATION
Le cadre logique peut aider à informer/rendre comptes aux partenaires,
sponsors et autres parties prenantes de ce que nous faisons et pourquoi. Cela
peut être réalisé en adoptant une présentation étape par étape:
1. Objectif principal: “L’objectif principal est de ............."
2. Objectif spécifique: “Afin de contribuer à l’objectif principal, dans ce projet, nous............"
3. Résultats: “Nous atteindrons cet objectif spécifique en prenant la responsabilité directe de............"
4. Activités: “Laissez-moi décrire plus en détails notre stratégie. Nous pensons que si nous.............."
5. Hypothèse au niveau des activités: “Et si .........."
6. Indicateurs de résultat: “Nous atteindrons nos cibles de............."
7. Objectif spécifique: “En plus d’atteindre ces différentes cibles, plusieurs conditions doivent être remplies si nous voulons réaliser notre objectif (spécifique) de............"
8. Hypothèse au niveau des résultats: “Ces conditions/hypothèses, échappant à notre contrôle, incluent........."
9. Hypothèse au niveau de l’objectif spécifique: “Nous pensons que si nous pouvons atteindre notre objectif spécifique, nous contribuerons à notre objectif principal. Cependant, cette contribution dépend de facteurs extérieurs à ce projet. Ils incluent........ Toutes ces facteurs réunis seront suffisants pour réaliser cet objectif. La stratégie que nous proposons est une étape importante et rentable pour parvenir à cette fin."
10. Vérification: “Nous proposons que notre performance soit suivie/mesurée et évaluée de la manière suivante..........."
LE CADRE LOGIQUE COMME OUTIL DE COMMUNICATION (suite)
RAPPORT SOUS FORME DE CADRE LOGIQUE
Complétez le tableau pour chaque niveau d’intervention, à différentes périodes du cycle du projet.
RAPPORT DE SUIVI DES PROGRÈS PAYS…………TITRE DU PROJET……………… PERIODE COUVERTE………… CODE…………… DATE …………….. PREPARE PAR………………
Structure du
projet
Indicateurs de
réalisation
Progrès/Etat
d’avancement
Commentaires &
recommandations
Estimation
Insérer les
activités et
les intrants
du cadre
logique
Insérer les
indicateurs du
cadre logique
Fournir un
rapport sur
chaque
activité et sur
l’utilisation
des intrants
Fournir un rapport sur
chaque activité et ses
intrants (ex. dans
quelle mesure les
hypothèses sont
vérifiées) & formuler
des
recommandations si
nécessaire
1. Probable qu’il soit
totalement réalisé
2. Probable qu’il soit
partiellement réalisé
3. Improbable qu’il soit
réalisé
x Trop tôt pour juger du
niveau de réalisation
OÙ TROUVER DE PLUS AMPLES INFORMATIONS
http://www.parcinfo.org http://ec.europa.eu/europeaid/evaluation/methodology/
egeval/methods/mth_cyc_en.htm http://www.worldbank.org/evaluation/ http://www.oecd.org/pages/
0,2966,en_35038640_35039563_1_1_1_1_1,00.html http://www.undp.org/eo/ http://www.uneval.org/ http://www.unaids.org/en/PolicyAndPractice/
MonitoringAndEvaluation/default.asp http://www.ideas-int.org/
EXERCICE POUR PRATIQUER LE CADRE LOGIQUE
Sujet: La région de Nbiya est gravement affectée par le VIH/SIDA,
comptant enfants et femmes parmi les populations les plus
infectées. Vous souhaitez répondre à un appel d’offre lancé par un
bailleur de fonds pour répondre aux problèmes de santé dans la
région.
Méthodologie: chaque groupe est supposé suivre les étapes
présentées ci-dessus pour concevoir et présenter au final un cadre
logique complet avec au moins 3 résultats et 3 activités par résultat.
Utilisez la fiche d’information pour connaître le contexte
d’intervention.
EVALUATION
Votre opinion étant extrêmement importante pour évaluer le succès
d’ICASA 2008, vous serez sollicités peu après la conférence
pour remplir un questionnaire en ligne (disponible en anglais
& français); toutes vos données resteront confidentielles.
Pour participer à cette évaluation, nous vous remercions de bien
vouloir compléter la fiche d’information en cours de circulation.