Comment mesurer l'impact - povertyactionlab.org - Comment... · Le processus de l'enquête...

Comment mesurer l'impact ?

William Parienté

Université Catholique de Louvain

J-PAL Europe

povertyactionlab.org

TRADUIRE LA RECHERCHE EN ACTION

Plan de la semaine

1. Pourquoi évaluer ?

2. Comment mesurer l’impact ?

3. Pourquoi tirer au sort ?

4. Comment tirer au sort ?

5. Comment déterminer la taille de l’échantillon ?

6. Risques et solutions

7. Une évaluation de A à Z

8. Analyses coût-efficacité et généralisation


Introduction

• La « mesure » constitue un élément central d’une évaluation d’impact.

• L’objectif de ce cours est de discuter des différentes étapes essentielles pour obtenir une mesure crédible de ce qu’on cherche à évaluer

– Comment choisir ces variables/indicateurs?

– Comment les collecter sans erreurs?

• Méthodes d’évaluation (aléatoire) dans le prochain cours


Plan du cours

• Un exemple d'intervention

• Conditions pour des mesures réussies

‒ Pertinence

‒ Origine contrôlée

‒ Fiabilité et précision

‒ Réalisme

‒ Timing

‒ Éthique


• Analyse d’une intervention visant à lutter contre la très grande pauvreté – Targeting the Ultra Poor

• Motivation– Trappe à pauvreté : populations très pauvres font face à

beaucoup de contraintes qui les empêchent de sortir durablement de la pauvreté

– Contrainte financière (accès au crédit et/ou épargne)– Problème de santé– Capital humain– Etc…

• Beaucoup de questions sur les moyens à mettre en œuvre pour sortir de la pauvreté

Partons d’un exemple d’intervention


• Targeting the Ultra Poor mis en œuvre dans 7 pays dont 2 en Afrique (Ethiopie et Ghana)

• Intervention – Sélection des ménages très pauvres (méthode PRA et

enquête)– Transfert d’un actif productif (souvent un animal) – Formation et suivi– Aide financière pour faire face aux dépenses imprévues– Composante santé– Encouragement à l’épargne

Un exemple d’intervention


• Parmi les personnes éligibles:– Certains ménages, tirés au sort, reçoivent le programme

– D’autres ne reçoivent pas le programme

• Dans certains pays (Ghana), certains reçoivent aléatoirement l’ensemble de l’intervention tandis que d’autres ne reçoivent qu’une partie du programme

L’intervention : le protocole


– Pertinence des variables étudiées

– Une origine contrôlée

– Fiabilité et précision

– Neutralité

– Réalisme

– Opportunité

– Éthique

Les conditions pour des mesures efficaces


• Lorsque nous évaluons l’impact d’une politique, comment être certain que nous mesurons les variables pertinentes?

Pertinence


• Nous voulons en savoir plus que simplement :

– L'intervention est-elle efficace ?

• Nous voulons aussi pouvoir dire :

– Pourquoi est-elle efficace ?

• Nous voulons pouvoir établir le lien

Inputs variables intermédiaires variables finales

Définir la chaîne de causalité

10

Définir et mesurer les variables intermédiaires enrichira notre compréhension du programme, renforcera nos conclusions

et facilitera la possibilité de tirer des leçons générales


1. Développer une théorie du changement, un modèle

2. Utiliser la théorie pour générer des hypothèses que vous pouvez tester avec ce projet

3. Quels indicateurs (théoriques) finaux sont nécessaires?

4. Quels indicateurs intermédiaires (théoriques) sont nécessaires?

Le rôle important de la théorie


• Quelle est la chaîne de causalité probable pour

ce programme TUP?

L'exemple du programme TUP


• Ménages très pauvres ne peuvent pas investir dans une activité génératrice de revenu, font face une contrainte de crédit très importante

• Transférer des actifs productifs permet d’alléger cette contrainte en capital

La théorie du changement et le programme TUP


• Mais aussi

• contrainte en capital humain, pas assez de connaissance pour gérer cette activité– Formation permet d’alléger cette contrainte

• Subissent des chocs très importants, notamment liés à la santé– Interventions liées à la santé, l’assurance permet de se

prémunir contre ces chocs.

• Combinaison des trois interventions permet de sortir de la « trappe » à la pauvreté

La théorie du changement et le programme TUP


• Quelles variables devrions nous obtenir pour améliorer notre compréhension du programme:

– variables intermédiaires?

– variables finales?

• Que peut-on vraiment tester?

Variables pour évaluer le programme TUP


• La théorie et les hypothèses nous aident à définir une série d‘indicateurs et de variables

• Souvent il s'agit d'indicateurs "basiques" qui sont relativement simples (par ex. : la taille et le poids)

• Bien souvent il est difficile de traduire les mesures théoriques en variables réelles– Biais cognitifs, discrimination

– Aversion au risque, impatience, égoïsme

– Bonheur

– Revenus, épargne

De la pertinence à la réalité


• Choisir ceux qui ont une chance raisonnable d'être modifiés pendant la durée de l'évaluation

• Choisir ceux qui ne sont pas trop difficiles à collecter et à mesurer

Conseils sur les variables et indicateurs


– Pertinence



– Neutralité

– Réalisme

– Opportunité

– Éthique



• La première chose consiste à définir votre échantillon– Qui doit être dans l'échantillon ?

– Quelle est sa représentativité (représentatif de qui ?)

• Les questions d'échantillon dépendent du projet de recherche

• Notre échantillon pour TUP était issu de ménages pauvres en milieu rural– Le pour ?

– Le contre ?

Une origine contrôlée


• Où pouvez vous obtenir de telles données ?

• Deux sources principales :

– Les données administratives

– Les données d’enquêtes



• Les données administratives :– Avantages ?

• Elles existent déjà!

• Souvent très bon marché, rapide à obtenir (en comparaison avec une enquête), et « propre » (mais pas tout le temps)

– Désavantages ?• Les données ne sont pas toujours appropriées

– Les variables qui vous intéressent ne sont pas toujours dans les données

– Les données peuvent ne pas correspondre à la période que vous souhaitez

• Il peut être difficile d'obtenir l'autorisation

• Elles peuvent ne pas avoir le format que vous voulez :– elles peuvent être agrégées



• Les données d’enquêtes (collectées par vous)

– Avantages :• Contrôle : vous pouvez vous assurer qu'elles soient pertinentes,

complètes et collectées au bon moment

– Désavantages :• Un investissement en temps important

– Management, création, pilotage et nettoyage

– Coût élevé



– Pertinence



– Neutralité

– Réalisme

– Opportunité

– Éthique

Les clés pour des mesures efficaces


• Quelque soit l'origine des données, nous devons faire en sorte qu'elles soient fiables et précises :

– des données non fiables des conclusions fausses ou trompeuses

• Assurer la fiabilité des données collectées est très important et prend énormément de temps

Fiabilité et précision


– On démarre par une enquête pilote

– Enquête papier ou PDA?

– Enquêteurs

– Suivi de l’enquête

– Problèmes liés aux répondants

– neutralité

Fiabilité


• Souvent utile de commencer avec une enquête avec des questions très basiques posées de façon ouverte– Plus dans le style des enquêtes qualitatives ou des focus

group

• Cela permettra de soulever des questions auxquelles on n'avait pas pensé avant

• Et d'affiner les questions que l’on va poser

• Rédaction d’un premier questionnaire

L'enquête pilote


• Il faut se concentrer sur les détails :

– La formulation des questions

– les codes pour passer à une autre question (« si non, aller à…. »)

– Les problèmes de traduction

– La compréhension des répondants

• Tester ce questionnaire sur un petit échantillon

– Il est important de savoir à temps que les enquêtés ne comprennent pas certaines choses

– Durée de l’enquête

L'enquête pilote


• Avec la chute des prix, de plus en plus d'enquêtes sont faites via des PDA etc.

• Quelque soit le moyen de collecte, il est nécessaire de mettre en œuvre le protocole adéquat et les procédures permettant d'assurer la qualité des données

Papier, téléphone, PDA, tablette ou netbook ?


Le processus de l'enquête papier :

L'enquête est imprimée remplie par un enquêteur les données sont saisies ensemble de données électroniques

Où peut-il y avoir des erreurs ?

L'enquête papier


Le processus de l'enquête papier :

L'enquête est imprimée remplie par un enquêteur les données sont saisies ensemble de données électroniques

Où peut-il y avoir des erreurs ? PARTOUT !

L'enquête papier


• Mettre l'identifiant sur chaque page au cas où elle se détachent

• L'enquête doit être agréable et facile à remplir par l'enquêteur

• Réduire au maximum les schémas compliqués:

– Par ex. : pas de « si la réponse « oui » aux questions 3 section 1 et questions 2 section 2, passez la section 3 ».

• Réduire au maximum les erreurs de saisie : double saisie et corriger les différences

L'enquête papier


Le processus de l'enquête électronique :

L'enquête est créée sur papier programmée sur un netbook remplie par un enquêteur ensemble de données électroniques

Où peut-il y avoir des erreurs ?

L'enquête électronique


Le processus de l'enquête électronique :

L'enquête est créée sur papier programmée sur un netbook remplie par un enquêteur ensemble de données électroniques

Où peut-il y avoir des erreurs ? PARTOUT !



• Suivre les mêmes conseils que pour l'enquête papier

• Tester minutieusement la version électronique avant le lancement

• Faites en sorte qu'elle soit facile à compléter

• Programmer des contrôles de cohérence logique– Un homme ne doit pas être une mère, une sœur, etc.

– Testez ces contrôles

• Créer un protocole de transfert des données du PDA/Portable vers la base centrale efficace et routinier



• C'est à voir au cas par cas

• Les enquêtes électroniques :– Un investissement de départ énorme (temps, etc.)

• Plus intéressant quand il y a beaucoup de personnes enquêtées

– « moins flexible » (plus difficile de changer des choses en cours de route)

– Plus rapide (pas de saisie des données)

– Moins d'erreurs (si bien programmé)

– Risqué pour les enquêteurs d'avoir de tels objets sur eux ?

Fiabilité : électronique ou papier ?


• Rassembler les informations exactes pour le suivi des unités de l’échantillon

– Indications pour retrouver les unités de l’echantillon, localisation GPS, etc.

– Cela sera peut être quelqu'un d'autre qui fera le suivi

– Avoir les bons numéros de téléphone portable, y compris celui des parents, frères, sœurs et amis

Suivi


• Les enquêtes doivent être claires et ne laisser aucune place à interprétation de la part de l'enquêteur

• Il faut établir des manuels pour chaque instrument d'enquête

• Supervision importante : Il est nécessaire de faire un contrôle régulier – réinterroger les enquêtés pour être certain qu'ils ont bien été interviewés

• Réinterrogez un échantillon de participants choisis sur une base aléatoire (backcheck)

• mettre en place un système de prime ?

Enquêteurs


• Il est important de vérifier que vous obtenez les réponse de la « bonne personne »

– Parfois c'est facile : dans un programme de formation , la personne formée est la bonne personne

– Mais imaginez que vous récoltez les données d'un ménage (exemple TUP)

• Les femmes en sauront sans doute plus sur les enfants

• Et les hommes probablement plus sur les biens possédés

Répondants: interroger la bonne personne


• Les gens peuvent se sentir mal de dire la vérité sur des sujets socialement mal vus

– Combien de verres avez vous bu la semaine dernière ?

– Utilisez vous toujours un préservatif lors d'un rapport sexuel ?

• Nous appelons ceci « le biais du regard social »

Répondants: Le biais du regard social


• Cela arrive souvent lorsque qu'il y a un enjeu de valeur– Éligibilité pour des allocations conditionnelles sur la base

d'un niveau de pauvreté

– allocations conditionnelles sur la base de la présence

– Remboursement de crédit

• Cela peut conduire à des conclusions erronées

Répondants: Manipulation des données


• Certaines variables sont plus faciles à retenir que d'autres (par ex. La naissance d'un enfant)

• Mais parfois on pose des questions qui sollicitent beaucoup la mémoire :

– Consommation l’année passée, santé, finances, résultats d'examen

• Comment assurer la fiabilité des réponses ?

Répondants: Le problème de la mémoire


• Le plus facile : réduire la période à se remémorer– Une stratégie consiste à faire des enquêtes courtes très souvent

où vous demandez aux gens de se souvenir de ce qui s'est passé la veille

• Donner des « journaux » pour noter la durée d'utilisation ou les dépenses, par exemple– Peut être difficile à mettre en œuvre, les personnes ne les

remplissent pas toujours (ou les remplissent quand vous venez chercher les journaux...)

• Penser aux données administrative : par ex. pour les résultats aux examens

• Pour une enquête sur la consommation, les enquêteurs vivaient dans les familles et pesaient chaque portion avant les repas et ce qui était gaspillé

Le problème de la mémoire


• Le fait de mesurer peut évidemment influencer le comportement des personnes enquêtées

– L'enquêteur qui mesure le repas de chaque personne

– Les journaux des dépenses et recettes d’une petite entreprise

• Si les groupe test et témoin réagissent différemment au fait d'être mesurer, alors c'est problématique

Neutralité


– Pertinence



– Réalisme

– Timing

– Éthique



• Prévoir le budget adéquat

• Les choses à prévoir

– Les variations des taux de change

– Ne pas sous estimer le temps des enquêteurs, notamment pour trouver les répondants

– Ne pas oublier les contrôles des données (enquêtes et saisie)

Réalisme


• Ressources financières – un compromis à trouver entre taille de l'échantillon et quantité d'informations obtenues par ménage

• Capacité des ressources humaines à organiser la mise en œuvre de l'enquête – coordinateurs, interviewers, personnel de saisie

• Volonté et capacité des enquêtés à donner l'information désirée

Réalisme


• Comme dans tous les boulots, manager des enquêteurs comporte des problèmes particuliers

• Parfois il est possible de sous traiter l'enquête à une entreprise spécialisée

- Moins contraignant, mais moins de contrôle sur la qualité des données

- Important de trouver une entreprise vraiment compétente

Réalisme


– Pertinence



– Réalisme

– Timing

– Éthique

Conditions pour des mesures efficaces


• Quand devons-nous collecter les outcomes et les variables ?

• En lien avec la théorie et les hypothèses

• La question cruciale est « Au bout de quelle durée se manifestent les effets du programme ? »

Timing


• Même si parfois il est possible d'éviter l'enquête initiale, c'est très risqué de ne pas la faire

- L'échantillon risque de ne pas être équilibré, surtout s'il n'est pas très grand

- une enquête initiale permet aux chercheurs de contrôler pour certaines caractéristiques initiales• Par ex. les résultats des examens initiaux sont très importants en

éducation

- une enquête initiale permet d’étudier les effets pour des sous-groupes

- Elle contribue également à la fiabilité

Timing : enquête initiale


•La quantité de données qui devra être collectée lors de l'enquête finale dépend du type d'expérimentation

•Parfois le taux de participation lui-même nous intéresse, et non l'adoption ou d'autres effets

- exemple de la variation du taux d’intérêt sur la demande de crédit en Afrique du Sud

Timing: le suivi


• Parfois, recueillir les données de suivi est fondamental

• Certaines politiques mettent du temps à se concrétiser

-Cela suppose de nombreuses enquêtes de suivi sur plusieurs années et donc de suivre longtemps les individus

• Il est indispensable de planifier correctement ce suivi

-Quel temps cela prendra t il pour que l'intervention prenne ?

-Les gens vont-ils émigrer ?

Timing: le suivi


– Pertinence



– Neutralité

– Réalisme

– Timing

– Éthique



• Les autorisations des comités d'éthique sont parfois négligées

• Les personnes enquêtées n'ont aucune obligation de répondre à vos questions et leurs droits doivent être absolument respectés

• Il est important de se rappeler que la recherche sur les êtres humains doit être conçue pour que ceux-ci donnent leur temps pour répondre

– On ne peut pas les obliger à répondre aux questions auxquelles ils ne souhaitent pas répondre, en les menaçant ou en leur donnant beaucoup d'argent

La question éthique


• Vérifier quelles sont les autorisations nécessaires

– Comité d'éthique du pays

– Permissions de recherche

– Comité d'éthique des universités

• Permissions

– De l'état

– Des autorités locales

– Du ministère compétent

• N'oubliez pas : cela prend du temps !

La question éthique


• Les personnes enquêtées doivent prendre connaissance du formulaire de consentement qui doit exposer clairement ce qui leur sera demandé, combien de temps cela prendra, quels sont les risques éventuels, quelle sera leur rétribution

• Ainsi que La personne à contacter si cela se passe mal

• En général, le consentement doit être écrit, mais parfois un accord oral suffit

• Cela peut être intimidant mais c'est une part indispensable du processus

Le consentement


– Pertinence



– Réalisme

– Timing

– Éthique


Comment mesurer l'impact - povertyactionlab.org - Comment... · Le processus de l'enquête...

Documents

Transcript of Comment mesurer l'impact - povertyactionlab.org - Comment... · Le processus de l'enquête...