Qu’est–ce que l’évaluation d’impact… et comment s’en servir?

Deon FilmerDevelopment Research Group, The World Bank

Atelier de gestion des politiques publiques en éducation axée sur les résultatsProgramme d’Évaluation d’Impact de l’Éducation en Afrique (APEIE)

Accra, Ghana10-14 mai 2010

Quelques exemples

• Mon gouvernement doit-il distribuer gratuitement des manuels scolaires aux élèves pour promouvoir l’apprentissage?

• Doit-on offrir des bourses scolaires aux enfants pauvres pour promouvoir la fréquentation scolaire?

• Doit-on récompenser les enseignants à l’origine des améliorations d’apprentissage de leurs élèves?

• Les décisions de gestion doivent-elles être dévolues aux écoles?

L’évaluation d’impact est un moyen de répondre à ces questions en se servant d’un constat bien fondé

Qu’est-ce que l’évaluation d’impact?Exemple

• Vous voulez distribuer des manuels scolaires aux élèves comme moyen d’améliorer leur apprentissage et résultats.

• Votre intuition vous dit que les manuels scolaires sont importants.• Mais sur quoi cette intuition est-elle fondée”?

– Sa propre expérience– Le “bon sens”– L’observation de l’enfant à l’école– La comparaison entre élèves avec et sans manuels scolaires.

• L’évaluation d’impact, dans cette situation, à pour but de fournir – Un constat bien fondé, – Fondé sur une expérience réelle, – De ce qu’est l’impact réel de fournir des manuels scolaires.

Qu’est-ce que l’évaluation d’impact?

• Comment l’évaluation d’impact atteint-elle cet objectif?– En établissant la causalité de l’impact des

manuels scolaires sur les résultats d’apprentissage– C’est l’objectif final de l’évaluation d’impact.

• Ce atelier répondra aux questions suivantes:– Qu’est-ce qu’une bonne estimation?– Comment estimer cet impact?– Comment interpréter cette estimation?

Pourquoi avoir recours à l’évaluation d’impact?

• Pour déterminer l’efficacité des politiques– Une intervention envisagée peut-elle être efficace

(“démonstration de son bien fondé”)?– Peut-on élargir le champ d’intervention?– Quelles sont les autres options d’intervention

pour atteindre un objectif particulier, et quelle est la meilleure?

Pourquoi avoir recours à l’évaluation d’impact?

• Déterminer les avantages du programme, et l’efficacité-coût des options.– Il est nécessaires d’obtenir de bonnes données sur les

coûts et les avantages • Comprendre la distribution des gains et des pertes

Les contraintes budgétaires contraignent à la sélection.De mauvais programmes et politiques équivaut à

dilapider des ressources et peuvent être nuisibles.

Pourquoi avoir recours à l’évaluation d’impact?

• Démontrer aux politiciens, à la population, aux bailleurs de fonds que le programme est efficace

C’est essentiel pour la soutenabilitéCela nourrit les convictions et les attentes

Placer l’évaluation d’impact dans le contexte

Suivi Évaluation

Évaluation d’impact

Collecte et diffusion périodiques de l’information pour savoir si les résultats atteints sont les résultats attendus

Efforts d’analyse pour répondre aux questions spécifiques concernant la performance du programme/des activités liées au programme.

Efforts d’analyse pour établir des liens de causalité

La question essentielle: “que serait-il advenu en l’absence d’intervention?”

Suivi, évaluation, et évaluation d’impact

• Collecter périodiquement des données sur les indicateurs et comparer les résultats obtenus avec les objectifs définis.

• Identifier les goulots d’étranglement et les signaux d’alarme (retards, flux des fonds)

• Indiquer les besoins d’enquête futurs

Suivi

Collecte et diffusion périodiques de l’information pour savoir si les résultats atteints sont les résultats attendus

Suivi, évaluation, et évaluation d’impact

• Analyser les raisons pour lesquelles les résultats attendus ne sont pas atteints

• Vérifier l’efficacité du ciblage• Étudier les résultats non-

voulus• Permet de tirer des leçons et

d’émettre des recommandations en vue d’améliorations.

Évaluation

Efforts d’analyse pour répondre aux questions spécifiques concernant la performance du programme/des activités liées au programme.

Suivi, évaluation, et évaluation d’impact

• Quelle est l’influence du programme sur les résultats?

• Quelle est l’ampleur du changement dans la situation des bénéficiaires suite à l’intervention?

• Quelle serait l’influence de programmes élaborés différemment sur les résultats?

• Le programme touche-t-il les personnes différemment (femmes, pauvres, minorités)?

• Quelle est l’efficacité-coût du programme?

Évaluation d’impact

Efforts d’analyse pour établir des liens de causalité.

La question essentielle: “que serait-il advenu en l’absence d’intervention?”

Le problème central dans l’analyse d’évaluation d’impact:

Le contrefactuel

• Afin d’établir l’impact du programme, nous devons savoir ce qui serait advenu en l’absence du programme

• Et essentiellement aux personnes ayant de fait bénéficé du programme

Le problème central dans l’analyse d’évaluation d’impact: le contrefactuel

• Quel est l’impact des bourses scolaires sur les inscriptions?

• Nous voulons observer les unités de traitement dans deux situations

• Cette observation est-elle possible?

Élisabethau 1 Juillet 2010

avec bourse scolaire

Élisabethau 1 Juillet 2010

sansbourse scolaire

Le problème central dans l’analyse d’évaluation d’impact: le contrefactuel

• C’est impossible!– Nous ne pouvons jamais observer le même individu

avec et sans programme en un même point dans le temps

• Le contrefactuel n’est jamais réellement observé• Il doit être estimé• L’analyse d’évaluation d’impact est axée sur les

différentes approches pour estimer le contrefactuel

Pourquoi le contrefactuel est-il important?

• La session suivante portera en détail sur le contrefacturel

• Voici juste un exemple

Exemple de l’importance du contrefactuel

• Question: quelle est la meilleure estimation de l’impact du programme sur les inscriptions?

Temps

Inscriptions

AprèsAvant

A

B

2008 2010

Programme

Impact?

Exemple de l’importance du contrefactuel

• Question: quelle est la meilleure estimation de l’impact du programme sur les inscriptions?

Inscriptions

AprèsAvant

A

B

C?

2008 2010

D?

Temps

Programme

Impact?

Qu’est-ce que l’évaluation d’impact?

• L’impact est…la différence entre les résultats avec et sans

programme• L’évaluation d’impact implique…

D’estimer le contrefactuel de manière à ce que les changements dans les résultats puissent être attribués au programme

Qu’implique la mise en oeuvre d’une évaluation d’impact?

• Déterminer pourquoi une évaluation d’impact est nécessaire.

• Comprendre le programme et l’enchaînement de résultats associés

• Définir ce que l’on à mesurer• Définir la méthodologie• Entreprendre

– La collecte des données (point de référence, suivi)– La mise en œuvre du programme– Analyse et rapport d’analyse

• Ajuster la politique

Déterminer la nécessité d’une évaluation• Intervention proposée

– Transfert en espèces aux étudiants– Bien identifier le programme de formation des enseignants se rapportant

à curriculum donné– Bien identifier le programme de subventions scolaires se rapportant à

une structure donnée• Autres interventions/interventions complémentaires

– Choix entre subventions aux écoles et formation d’enseignants comme moyen d’améliorer les résultats

– Information et subventions aux écoles pour encourager leur redevabilité et performances

• Programme entier/groupe d’activités• Réforme du programme

Quels sont les bénéficiaires d’une évaluation (les concepteurs de politiques, les technocrates, le grand public)?

Comprendre le programme en utilisant l’enchaînement des résultats

• Enseignants

• Manuels scolaires

• Subventions scolaires

(ce que fait le programme)

• Formation d’enseignant

• Établissement de conseils de classe

• Transferts conditionnels en espèces

• Incitatifs salariaux

(Biens & Services)

• Augmentation des inscriptions

• Réduction de l’absentéisme des enseignants

Résultats

• Taux d’achèvement dans l’enseignement élémentaire plus élevés

• Facultés d’apprentissage plus élevées des élèves

Résultats de long terme

• Chômage plus faible

• Réduction de la pauvreté

• Meilleure répartition du revenu

Intrants Activités Produits

Cet enchaînement de résultats fournit des indications sur ce qu’il faut mesurer

Déterminer quoi mesurer

• S’appuyer sur l’enchaînement des résultats• Choisir les indicateurs pour l’évaluation– Indicateurs définis avec précision– Pouvant être mesurés de manière précise– Reflétant les influences du programme…– … pendant la période d’évaluation

• Quelles sont les importantes sous-populations– Ex: âge, genre, urbain/rural, statut socio-

économique…

Comprendre le programme en utilisant l’enchaînement des résultats

• Enseignants

• Manuels scolaires

• Subventions scolaires

(ce que fait le programme)

• Formation d’enseignant

• Établissement de conseils de classe

• Transferts conditionnels en espèces

• Incitatifs salariaux

(Biens& Services)

• Augmentation des inscriptions

• Réduction de l’absentéisme des enseignants

Résultats

• Taux d’achèvement dans l’enseignement élémentaire plus élevés

• Facultés d’apprentissage plus élevées des élèves

Résultats de

long terme

• Chômage plus faible

• Réduction de la pauvreté

• Meilleure répartition du revenu

Intrants Activités Produits

Indicateurs liés à la mise en oeuvre d’un programme

Définir les indicateurs en se servant de l’enchaînement des résultats

• Enseignants

• Manuels scolaires

• Subventions scolaires

(What the program does)

• Formation d’enseignant

• Établissement de conseils de classe

• Transferts conditionnels en espèces

• Incitatifs salariaux

(Biens& Services)

• Augmentation des inscriptions

• Réduction de l’absentéisme des enseignants

Résultats

• Taux d’achèvement dans l’enseignement élémentaire plus élevés

• Facultés d’apprentissage plus élevées des élèves

Résultats de

long terme

• Chômage plus faible

• Réduction de la pauvreté

• Meilleure répartition du revenu

Intrants Activités Produits

Indicateurs liés aux résultats d’un programme

Définir la méthodologie

• Nous parlerons plus longuement de:– Méthode expérimentale– Méthode quasi-expérimentale

• Quelques principes:– Préférence pour la méthode qui complémente le mieux le

programme– Préférence pour la méthode qui ne modifie pas la

conception du programme ou sa mise en œuvre de manière substantiellement

– Préférence pour la méthode qui n’exclut personne quant à l’octroi des bénéfices

Le “cycle de l’évaluation d’impact”

Collecte des données de référence

Mise en œuvre du programme

Suivi de la collecte des

données

Analyse et diffusion des données

Ajustements du

programme

Phase de conception

L’ objectif de l’évaluation d’impact

• Améliorer les politiques• Comment passer de cette situation de

l’enseignement…

L’ objectif de l’évaluation d’impact

• Améliorer les politiques• …à cette situation?

Merci!