Africa Program for Education Impact EvaluationDakar, SenegalDecember 15-19, 2008

Evaluation d’impact pour l’amélioration des politiques  publiques

Moussa P. BlimpoMoussa P. Blimpo

Africa Impact Evaluation InitiativeAfrica Impact Evaluation Initiative

2

Pourquoi évaluer ?Bonne gestion budgétaire

• Allouer les financements aux projets qui marchent très bien …impact le plus important

Savoir l’effectivité des programme• Gestion axée sur les résultats• Améliorer les programme en s’informant sur les

aspects qui ne marchent pas.

Caractère soutenable des politiques publiques

• Négociations budgétaires• Informer la population et la presse

3

S&E Traditionnel et Evaluation d’Impacte

• Efficacité du Suivi de la mise en œuvre (intrant-extrant)

INTRANT VARIABLE DE RESULTAT

EXTRANT

Suivi

efficacitéEvaluer

l’effectivité

$$$

Comportment

évaluation d’impact de l’effectivité des politiques (extrant-resultat)

4

Questions types et méthodes

S&E: suivi & évaluation du processus

AnalyseAnalyse descriptive descriptive

Analyse Analyse causalecausale

•Quel a été l’effet du programme sur les indicateurs?

•Comment aurait évoluer les indicateurs en présence d’un programme alternative?

•Est ce que le programme vaut le cout?

•Est ce que le programme est délivré a temps?

•Est ce que le programme a bien cible les bénéficiaires?

•Est ce que les indicateurs d’impact vont dans la bonne direction?

Evaluation d’Impact:

5

S&E ou Evaluation d’impact?

• Est ce que les subventions aux écoles sont délivrées comme prévue?

• Est ce que la formation des enseignants augmente le score des enfants?

• Quelles sont les tendances de la prévalence du VIH?

• Quel est l’effet du test de Sida sur le comportement?

S&E

EI

S&E

EI

6

Se servir de l’évaluation d’impact pour….

Tester les programmes pilotes

Mettre à niveau les interventions/programmes pilotes

Réajuster ce qui ne marche pas

Mesurer l’efficacité des programmes

Trouver la meilleur approche pour changer le comportement des personnes

Gérer les objectifs de développement

7

IE & imputabilité

Politique intérieur & extérieur

Informer les populations

Autorité Budgétaire:

Alloue le budget

Les structures délivrent les programmes et

négocient le budget.

Imputabilité budgétaire

gouvernabilité politique

Budget

Délivrer Les

services

Promesses De

Campagne

Imputabilité

Effectivité des programmes

8

Question opérationnelle: Gestion axée sur les résultats

Choix du design de l’opération

Utiliser les expériences aléatoires pour tester les alternatives

Se focaliser sur les résultats de court terme comme l’usage, l’adoption etc.

Collecter et analyser des données de suivi 6 – 12 mois après l’intervention.

Identifier la meilleur alternative en mesurant l’impact des différents traitements sur les variables de résultât de court terme.

Changer de programme et adopter la meilleur si besoin

Réitérer

9

Questions de politiques publiques: imputabilité budgétaire

Est ce que le programme atteint ses objectifs?

Est ce efficace en terme de cout?

Utilise la meilleur méthode étant donne le contexte opérationnel

Se concentrer sur les résultats de premier ordre• Résultats scolaires, statut de sante, revenu

Mesurer l’impact sur les objectifs prédéfinis et d’autres indicateurs.

Etablir le cout de l’intervention

Comparer le résultât avec ceux d’autres programmes

Allouer plus de ressources vers les programmes avec les meilleurs résultats.

10

Changement de Paradigme I

D’un programme comme une un nombre d’activités prédéfinies et sensées délivrer des résultats espérés.

• Le programme a t-il délivrer les résultats ou pas?

A un programme comme un menu d’alternatifs, avec une stratégie de choisir les meilleurs.

• Le Programme change au file du temps pour donner de meilleurs résultats.

11

Changement de Paradigme II

D’une évaluation externe et indépendante• Du haut vers le bas de l’échelle de hiérarchie• Questions de politiques publiques• Déterminer si un programme a marche ou pas?

A une évaluation interne et opérationnel. • Les priorités du bas vers le haut de la hiérarchie• Questions opérationnelles

– Arrangement institutionnels– Mécanismes d’implémentation– Incitations

• Utilise pour améliorer les programmes au fil du temps

12

Changement de Paradigme III

Des Evaluations Rétrospectives• Conçu et évalué ex-post• Les questions sont limites• Méthodologie difficile a défendre• Trop tard pour faire la différence

A des évaluations prospectives• Conçu ex-ante et évalué ex-post• Répondre a des question importantes• Utilise la meilleur méthode et obtenir des résultats convaincants• Leçons a apprendre a temps• Rationalise a collecte habituelle des données

13

Changement de Paradigme IV

Preuve d’effectivité: • Preuve du Concept• Opération pilote dans des conditions idéales

Effectivité :• Impact à une échelle supérieure sera différent• Circonstances et capacités normales• Impact sera moindre ou élève?• Coûts seront différents

14

Evaluation d’impact au niveau interne

Nécessité d’un développement de capacité dans les structures qui implémentent afin de:

• D’avoir une vision critique de leur programmes• Etablir les priorité d’évaluation• Participer a l’implémentation• Etre un consommateur éduqué/ comprendre EI• Agir sur la base des évidences et enclencher le processus de

feedback

L’objectif est d’établir une structure capable d’user de l’évaluation d’impact comme une outil intégré de gestion.

Pour assurer la crédibilité d’une évaluation interne, il y a besoin de partenariat externe ou de validation.

15

En résumé:

L’évaluation d’impacte est crucial pour l’effectivité• Savoir ce a quoi le budget a servi effectivement• Mesurer le cout• Apprendre a obtenir de meilleurs résultats

Doit être fait comme part intégrante de la conception des programmes.

Toujours nécessaire comme outil de gestion.

16

Pour la suite…Quelques obstacle a l’évaluation de l’impact d’un

programme.

Dans la deux jours suivant: Examiner différentes méthodes et leurs avantages et inconvenants.

Mercredi et Jeudi: Les défis pratiques a l’évaluation d’impact et leur solutions.

17

MERCI