DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4
Evaluation de l’impact pour une prise de décision en temps réelArianna LegoviniResponsable, Initiative pour l'évaluation de l'impact au plan du développement (DIME), Banque mondiale
D’abord, qu’est-ce qu’une chaîne de résultats ?
Intrants• Ressou
rces financières et humaines
Activités• Actions
pour convertir les intrants en extrants
Extrants• Produit
s matériels, • Cam
pagnes d’information
• formations
• études
Réalisations intermédiaires• Utilisat
ion des extrants par la population cible• Adop
tion• Utilis
ation
Réalisations finales• Objecti
f du programme• Crois
sance
• Cohésion sociale
• Emploi
2
Mise en œuvre (COTE DE L’OFFRE) Résultats (REPONSE DE LA DEMANDE)
Exemple d’une chaîne de résultats
Intrants• Ressour
ces financières et humaines pour mettre en place les institutions locales
Activités• Dévelop
per la communication
• Mettre en place des mécanismes de dons
• Fournir une assistance technique aux communautés
Extrants• Program
me de communication
• Propositions de dons
• Visites d’assistance technique
Réalisations intermédiaires• Dons
accordés et décaissés
• Projets réalisés
• Rassemblements communautaires
Réalisations finales• Diminuti
on des conflits
• Meilleure intégration des anciens combattants
• Croissance de l’emploi
3
Vérifier que le programme est mis en œuvre comme prévu Evaluer l’efficacité du programme
?
La chaîne de résultats
Hypothèse de développement qui vous aide à définir : ce que vous faites et pourquoi vous le
faites ce qui doit faire l’objet d’un suivi et ce qui doit être évalué
4
Qu’est-ce que le suivi ?
Le suivi retrace l’évolution des indicateurs (dans le groupe de traitement)
Il est descriptif avant-après analyse
Le suivi nous indique si les choses évoluent dans la bonne direction
5
Qu’est-ce que l’évaluation de l’impact ? L’évaluation de l’impact suit les réalisations
dans le temps du groupe de traitement par rapport à un groupe de contrôle
Elle mesure l’effet d’une intervention sur les réalisations par rapport à l’hypothèse d’absence de cette intervention Que se serait-il passé sans cette intervention ?
Elle détermine le lien causal extrants-réalisations Séparément de l’effet des autres facteurs
évoluant dans le temps
Suivi et évaluation de l’impact Utiliser le suivi pour retracer l’efficacité de la mise en œuvre (intrants-extrants)
7
INTRANTS REALISATIONSEXTRANTS
SUIVRE L’EFFICACITE
EVALUER L’EFFICACITE
OFFRE
réponse demande
Utiliser l’évaluation de l’impact pour mesurer l’efficacité (extrants-réalisations)
Choisissez la bonne méthode pour répondre à vos questions
Analyse
descriptive
Suivi (et évaluation du processus)• Le
programme est-il mis en œuvre efficacement?
• Le programme cible-t-il la population voulue ?
• Les réalisations vont-elles dans la bonne direction ?
Analy
se causa
le
Evaluation de l’impact• Quel
effet le programme a-t-il eu sur les réalisations ?
• Quelle est la valeur comparée des modalités de mises en œuvre alternatives ?
• Le programme est-il d’un bon rapport coût-efficacité ?
8
Discussion entre vous (5 m)Que se passe-t-il si vous utilisez le suivi pour évaluer l’impact ?
9
Discussion entre vous (5m)Que se passe-t-il si vous utilisez le suivi pour évaluer l’impact?
Vous obtenez lamauvaise réponse……100 % du temps
10
aprèsavant
B
A
t0 t1
B
Intervention
Changement
C Impact
ENSUITE : Savons-nous par avance…
pour le développement impulsé par les communautés à quelles informations les communautés vont réagir ? si la facilitation débouchera sur des propositions de grande
qualité ? si des règles amélioreront l’intégration des parties prenantes
dans le processus de prise de décisions ? si les mécanismes de suivi et de co-paiements amélioreront
les projets locaux et leur utilisation des fonds ? pour le désarmement, la démobilisation et la
réintégration, si les méthodes ciblées ou axées sur les communautés sont
les plus efficaces ? si l’on devrait tenter de séparer les combattants de leurs
unités ou tabler sur la cohésion des unités? laquelle de l’inclusion ou de l’exclusion des structures de
commande est la plus efficace ?
11
Méthode expérimentale
Nous nous fions à notre intuition et nous choisissons une campagne d’information, un ensemble de services, un programme de mesures incitatives.
Existe-t-il une autre campagne, un autre ensemble de mesures, un mécanisme d’incitations permettant d’obtenir de meilleurs résultats ? 12
Le processus de décision est complexeQuelques grandes décisions sont
prises lors de la conception mais de nombreuses autres décisions sont prises lors du déploiement et de la mise en œuvre
13
DesignEarly roll outImplementation
Qu’est-ce qu’une arborescencede résultats ?
Une arborescence de résultats représente l’ensemble des chaînes de résultats considérées comme viables au stade de la conception ou de la restructuration du programme.
C’est un ensemble d’alternatives concurrentes en matière de principes et de pratiques visant un objectif spécifique. 14
Exemple d’arborescence de décisions pour un programme de réinsertion de combattants RéinsertionCampagne de communication publique pour la
réinsertion des anciens combattantsUtiliser les structures de cohésion des unités de combattantsInclure les structures de
commandeExclure les structures de commande
Séparer les combattants de leurs unités et démanteler les structures Formation proposée à l’intéressé Formation sur demande de
l’intéresséCampagne basée sur la communauté Utiliser les structures de cohésion des
unités de combattants Inclure les structures de commandeExclure les structures de commande
Séparer les combattants de leurs unités et démanteler les structuresFormation proposée à l’intéressé Formation sur demande de
l’intéressé
15
Comment choisir entre des options plausibles ?
Déterminez celles des décisions qui seront prises au début et celles qui seront testées pendant le déploiement du programme
Testez expérimentalement les points critiques : mesurez l’impact d’une option par rapport à une autre ou à l’absence d’intervention
Choisissez la meilleure et éliminez la pire pendant la mise en œuvre
On ne peut pas tout apprendre à la fois Choisissez soigneusement ce que vous voulez
tester en associant tous les partenaires concernés
16
Parcourez l’arborescence de décisions pour obtenir davantage de résultats d’un programme de réinsertion
17• Take-upMAX • Use of servicesMAX • Benefits from
servicesMAX
RéinsertionCampagne de communication publique pour la réinsertion des anciens combattantsUtiliser les structures de cohésion des
unités de combattantsInclure les structures de commande
Exclure les structures de commande
Séparer les combattants de leurs unités et démanteler les structuresFormation proposée à l’intéresséFormation sur demande de
l’intéresséCampagne basée sur la communautéUtiliser les structures de cohésion des
combattantsInclure les structures de commande
Exclure les structures de commande
Séparer les combattants de leurs unités et démanteler les structuresFormation proposée à l’intéressé
Formation sur demande de l’intéressé
Comment l’amélioration del’efficacité peut vous aider
18
Discussion entre vous (5 m)Combien de fois modifiez-vous votre
programme parce que vous sentez que quelque chose ne va pas ?
Quelle utilité cela aurait-il pour vous de connaître avec certitude les meilleures approches ?
19
L’évaluation, pourquoi?
Améliorer la qualité des programmes Expérimenter d’autres options et guider
en temps réel la conception du programme
Accroître l’efficacité du programme Répondre aux questions du type « Et
ensuite ?» Mettre en place des institutions publiques
pour une action politique fondée sur des faits concrets Prévoir l’application d’options, et non de
solutions Trouver les meilleures options Adopter de meilleurs modes de fonctionnement
et de prises de décisions
20
Les faits concrets
21
1er ministre /Présidence :
Communiquer avec les
partenaires
Trésor/Finances :Affecter le
budget
Ministères d’exécution :Réaliser les
programmes et négocier le budget
Rentabilité des différents programmes par rapport aux coûts
Effets du programme
gouvernemental
BUDGET
PRESTATION DE SERVICE
PROMESSES DE CAMPAGNE
Responsabilisation
Efficacité des options par rapport au coût et effet des programmes
sectoriels
Modification du paradigmedu programme
On passe du programme en tant : qu’ensemble d’activités destinées à produire les résultats attendus
Le programme produira ou non les résultats attendus
au programme en tant que : menus d’options alternatives avec une
stratégie d’apprentissage pour trouver ce qui fonctionne le mieuxModification des programmes dans le
temps pour donner davantage de résultats22
Modification du paradigme d’évaluation
Passage d’une évaluation rétrospective, externe, indépendante du sommet à la base déterminer si le programme a fonctionné ou non
à une évaluation d’impact prospective, interne, et opérationnelle/validée en externe déterminer le programme d’apprentissage de la
base au sommet envisager des options de mise en œuvre
plausibles tester scientifiquement et adopter la meilleure
option avis opportun pour améliorer l’efficacité du
programme dans le temps 23
Rétrospective (conçue et évaluée ex-
post) vs. Prospective (conçue ex-ante et évaluée ex-post)
Evaluation rétrospective de l’impact : Si vous recueillez les données après l’événement,
vous ne pouvez pas comparer les participants et les non-participants avant le début du programme
Vous devez tenter de déterminer, après l’événement, pour quelles raisons le projet a été mis en œuvre à l’endroit et au moment où il a été exécuté
Evaluation prospective de l’impact : Concevoir l’évaluation pour répondre à la question
voulue Recueillir les données dont on aura besoin plus tard Valider l’évaluation au niveau analytique
2424
Est- ce un produit analytique d’un seul tenant ? Le processus d’évaluation doit donner des
informations utiles (permettant d’agir) à chaque stade de l’évaluation d’impact
25
Discussion entre vous (5 m)
Quels sont certains des points de départ au sein des cycles d’élaboration des politiques ?
Quelles sont certaines des réponses que vous voudriez avoir ?
26
Considérations éthiques Il n’est pas éthique de ne pas vouloir tirer des
avantages de ce qui est disponible et dont le fonctionnement est avéré Il est prouvé que la médication VIH prolonge la vie
Il est éthique de tester les interventions avant leur application en dimension réelle si nous ignorons si elles fonctionnent et si elles ont des conséquences imprévisibles L’aide alimentaire peut détruire les marchés locaux et créer des
incitations perverses La plupart du temps, nous nous servons du
déploiement des interventions et des contraintes budgétaires pour évaluer, ce qui minimiser les considérations éthiques ET
Nous pouvons toujours et devrions tester d’autres options pour maximiser les résultats
27
Questions ? Commentaires?
28
0
50
100
150
200
250
300
350
2004 2005 2006 2007 2008 2009 2010
Num
ber o
f ong
oing
IE
Evolution of IE in the Bank
SAR
MNA
LAC
ECA
EAP
AFR
Top Related