DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4

Etapes de la mise en œuvre d’une évaluation d’impactRadu Ban, DIME – World Bank

EtapesRenforcemen

t des capacités

Définir les objectifs de

l’apprentissage Conception

de l’évaluation

d’impactPlanifier

l’exécution de

l’évaluationEnquête de référence

Début des interventions

Enquête(s) de suivi

Analyse des données

Feed-back operationel

1ere étape: Renforcement des capacités Objectifs:

Devenir consommateurs instruits de l’évaluation d’impact

Utiliser l’évaluation d’impact pour la gestion interne, pour améliorer le program

Comment? Formation (cet atelier, par exemple) Apprendre en faisant

2eme étape: Définir les objectifs de l’apprentissage

Objectif: Répondre aux questions de politique et

opérationnels pertinentes.Comment?

Discussions dialectiques entre responsables politiques et gestionnaires de program

Facilitation technique pour structurer le cadre de l’analyse

Se concentrer sur un nombre limité des questions de politique (quoi), et opérationnels (comment)

Discuter le programme des activités avec les autorités et avec les citoyens

2eme étape - suite: Questions Questions opérationnels: la conception du

programme Modalités d’exécution L’usage des essais randomisés pour tester des

alternatives Mesurer les effets à court terme (mois)

▪ Taux d’usage, taux d’adoption Choisir les modalités d’exécution qui marchent

Questions de politique: l’efficacité du programme Différentes interventions du programme L’usage des essais randomisés pour tester des

alternatives Mesurer les effets à moyen et longue terme (années) Choisir les intervention qui marchent, négocier le

budget, disséminer

3eme étape: Conception de l’évaluation d’impact Exploiter les opportunités:

Est-ce que la mise en œuvre du projet prendra du temps?

Est-ce que le budget permettra de couvrir tout le monde?

Est-ce qu’il y a des critères quantitatifs d’ éligibilité? Si le programme a un accès universel, a-t-il adoption

imparfaite? Définir l’ échelle:

Grand échelle avec échantillon représentatif: plus cher, validité externe

Grand échelle avec échantillon détermine: moins cher, seulement indicatif

Calcul du pouvoir statistique pour déterminer la taille minime de l’ échantillon

3eme étape - suite

Sélectionner la « meilleure » méthode Faisable Nécessite le moins des hypothèses

Questions éthiques Ne pas refuser l'accès à toute personne à un

programme qui a des preuves irréfutables de succès.

Tester les interventions avant d’implémenter à grande échelle, lorsqu’il n’y a pas des preuves de succès

4eme étape: Planifier l’exécution de l’ évaluation Budget

▪ Coûts de personnel (FONDS DU PROJET) et formation (DIME)

▪ Appui technique et coordination du terrain(DIME)▪ Collecte des données (FONDS DU PROJET)▪ Discussion et dissémination (PARTAGE DES COUTS)

Calendrier▪ Utilisez le calendrier pour organiser les activités, les

responsabilités et pour déterminer la date du commencement

Equipe▪ Gouvernement (gestionnaire du programme,

économiste/statisticien); équipe Banque Mondiale (TTL); équipe de recherche (chercheur en charge, co-chercheur, coordonateur du terrain); agence de collecte des données.

5eme étape: Sélection du groupe témoin et groupe traité

Déterminer l’unité d’intervention Individuel Village Commune, etc

Produire une liste avec les unités traités et unités témoins

Expliquer la sélection des unités traités/témoins aux responsables, pour éviter la « contamination »

6eme étape: Enquête de référence Assurance de la qualité: équipe

évaluation d’impact (pas l’agence de collecte des données) Conceptions des questionnaires et

échantillonnage Etablir les termes de référence pour la collecte

des données Formation des enquêteurs Pré-test des questionnaires Superviser la collecte des données sur le

terrainNe pas collecter les données avant

que l’ évaluation soit conçu et convenu

6eme étape – suite: Enquête de référenceL’agence de collecte de données

Institut National de Statistique: possibilité d’intégrer l’enquête avec les données déjà collectées

Le Ministère pertinent Entreprise privée

Analyser les données de référence, et faire le feed-back opérationnel si nécessaire

Vérifier la comparabilité du groupe traite avec le groupe témoin

7eme étape: Démarrage du projetLa surveillance intensive est

nécessaire pour s’assurer que l’ évaluation n’est pas compromise.

Si le groupe témoin et le groupe traite reçoivent l’intervention du projet…

Si le groupe témoin reçoit une autre intervention…

8eme étape: Enquête(s) de suiviLa collecte des données de suivi se

fait utilisant les mêmes questionnaires et même échantillon

9eme étape: Mesurer les effets du programme Allocation aléatoire: comparer les résultats moyens

du groupe traite avec les résultats moyens du groupe traitement (très facile)

Autres méthodes d’allocation: utiliser les techniques économétriques/statistiques pertinents (moins facile)

Est-ce que les effets sont statistiquement significatifs? Les méthodes statistiques peuvent déterminer si les effets du

projet sont précis ou si les mêmes effets peuvent être obtenus par hasard

Est-ce que les effets sont vraiment significatifs? On doit comparer les couts du programme avec les resultats

Est-ce que les effets sont soutenables?

10eme étape: Discussions, dissémination, feed-back opérationnel et politique Quand est-ce que vous pensez au résultats?

Seulement pendant cet atelier? Discutez les implications politiques des résultats Comment est-ce qu’on doit agir, en sachant les

résultats d’un programme? Comment est-ce qu’on doit présenter les

résultats pour justifier l’augmentation du budget du programme?

Nous devons disséminer les résultats: si personne ne les connait pas, ça ne fera aucune différence

Vous pouvez organiser/produire aussi des: Ateliers Rapports

Dernière étape:

Qu'est-ce que vous avez besoin d’apprendre en suite?