1

DIME-FPDDakar, February 1-4, 2010

La méthode expérimentale au service des politiques publiques

Markus Goldstein

2

Objectif

Pour estimer l’effet causal d’une intervention, il nous faut Séparer l’effet de ce programme d’autres facteurs

externes Il nous faut établir ce qui se serait passé en

l’absence du programme Or, nous ne pouvons pas simultanément observer

le même individu avec et sans le programme>> Il nous faut trouver un bon contrefactuel

?

2) ?

Corrélation ne Permet pas d’Attribuer un Effet Causal

Profits plus élevés

Obtention d’un crédit

OR

1) Profits plus élevés

Capacités entrepreuniales élevées Obtention

d’un crédit

Avant Après02468

101214

Groupe de TraitementGroupe Traitement

4

(+6) Mesure biaisée de l’impact du programme

Illustration: Programme d’accès au crédit (Avant-Après)

Avant Après0

2

4

6

8

10

12

14Groupe de ContrôleGroupe de Trai-tement

5

(+4) Impact du programme

(+2) Impact d’autres facteurs externes

Illustration: Programme d’accès au crédit (contrefactuel convenable)

6

Il est difficile de distinguer l’effet causal de la corrélation simple à partir de l’analyse statistique Nous pouvons seulement observer que X

bouge avec Y Nous ne pouvons pas contrôler l’influence des

caractéristiques non-observables, telles que la motivation/les facultés intellectuelles, etc.

Or les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe!

Motivation

Motivation…2

Le biais de sélection est un problème important pour la mesure d’impact Un projet débute dans un certain endroit, à un

certain moment pour ces raisons particulières Les participants sont choisis sur la base de

critères, ou se présentent eux-mêmes! Exemple: Les entrepreneurs qui ont accès au

crédit se distinguent de l’entrepreneur moyen! Utiliser un entrepreneur moyen pour établir

l’effet du crédit sur les profits risque de nous induire en erreur!

8

Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement

Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées) La seule différence est le traitement

Avec un grand échantillon, les caractéristiques s’équilibrent

Cette méthode permet d’obtenir une mesure d’impact non-biaisée

Propriétés de la méthode d’évaluation expérimentale

9

Loterie (couverture partielle) Loterie pour l’accès au crédit

Phasage aléatoire (couverture totale, entrée retardée) Quelques individus/entreprises reçoivent un crédit chaque

année Assignation aléatoire à divers traitements

Certains reçoivent une subvention partielle, d’autres un crédit, d’autres des services de conseil entrepreneurial, etc

Assignation aléatoire à une stratégie d’encouragement Un bureau de banque dans chaque district Certains cultivateurs reçoivent la visite d’un représentant qui

leur explique le produit financier offert

Menu d’options pour l’assignation randomisée

Loterie parmi les individus éligibles

Doivent recevoir le programme

Pas éligibles

Randomiser l’assignation au programme

11

Des contraintes budgétaires limitent la couverture du programme Une assignation aléatoire (loterie) est juste et

transparente Les capacités de mise en œuvre sont limitées

Le phasage aléatoire donne à tous la même chance d’être sélectionné en premier

Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles L’assignation aléatoire aux diverses interventions

procure à tous des chances de succès a priori égales

Opportunités

12

Opportunités pour la Randomisation L’adoption d’un programme en cours n’est pas totale

(participation faible) Randomiser une stratégie d’encouragement nous informe sur

les types d’incitations qui fonctionnent

Pilote pour un nouveau programme Présente une bonne opportunité de tester de façon rigoureuse

avant le passage à grande échelle Changement dans la mise en œuvre d’un programme en

cours Présente une bonne opportunité de tester le nouvel

arrangement institutionnel avant le passage à grande échelle

13

Cela dépend du niveau auquel on intervient

Individu/Propriétaire/Entreprise

Groupe d’entreprises Village

Association de femmes

Entité Juridique/ District administratif

École

Différents niveaux auxquels randomiser

Randomisation individuelle ou par groupes?

Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier

Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelleRandomisation individuelle Randomisation par groupes

15

Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes d’ordre politique/éthique à assigner le

traitement uniquement à certains individus au sein d’une même communauté

Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions

Les effets de contamination sont parfois trop importants

Randomiser au niveau du groupe demande de nombreux groupes

Niveau de randomisation

16

Éléments d’une assignation aléatoire

17

Validité externe L’échantillon est représentatif de toute la

population. Les résultats obtenus sont représentatifs de la

population. Les leçons du programme sont applicables à

tout le pays.

Validité interne L’effet mesure d’une intervention sur la

population qui est évaluée reflète le véritable impact sur cette population

C.-à-d. les groupes de traitement et de contrôle sont comparables

Validité Interne et Externe (1)

18

Validité Interne et Externe (2) Une évaluation peut avoir validité interne

sans avoir de validité externe Exemple: Une évaluation rigoureuse d’une

incitation aux entreprises informelles urbaines de se faire immatriculer ne nous informe pas sur l’effet de cette même intervention sur les zones rurales

Et vice-versa Une mesure d’impact biaisée souffrira du même

biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population !

Validité interne & externe

19

Randomisation

Randomisation

Population Nationale

Echantillons de la

Population Nationale

Validité interne

20

Stratification

Randomisation

Population

Sous-populationEchantillons de la sous-

population

21

Validité externe uniquement

Population Nationale

Assignation biaiséeRésultat INUTILE!Randomisation

22

Efficacité & Effectivité Efficacité

Crédibilité du concept Echelle réduite Pilote sous des conditions idéales (ex. ONGs)

Effectivité A grande échelle Circonstances et capacité normales (ex. hôpitaux

nationaux) Impact plus ou moins élevé? Coûts plus ou moins élevés?

23

Avantages des “expériences” Impact causal fiable et précis Comparée a d’autres approches:

Facile à analyser (comparaison de moyennes) Moins chère (plus petits échantillons) Facile à communiquer Plus convaincante pour les décideurs Evite les controverses d’ordre méthodologique

Exemple: Assigner les machines d’une usine à une maintenance plus régulière

L’assignation aléatoire aux machines ne soulève pas (encore) de questions d’ordre éthique/pratique

Les Machines: Ne vont pas se désister Ne vont pas aller trouver un meilleur traitement Ne vont pas se déplacer et changer d’usine de leur

propre chef Ne vont pas refuser de répondre à notre questionnaire

Les individus peuvent se montrer un peu plus difficiles et créatifs!

Que faire en présence de …? Certaines interventions ne peuvent être

assignées de façon aléatoire Adoption partielle ou interventions

basées sur la demande Contamination: Lorsque certains

individus du groupe de contrôle peuvent adopter le traitementPromouvoir le programme de façon aléatoireLes participants choisissent de participer ou

non25

Promotion Aléatoire(Stratégie par l’incitation) Les individus qui reçoivent l’incitation sont plus

à-même de participer Si l’incitation est distribuée de façon aléatoire,

alors elle n’est pas corrélée avec les caractéristiques des individus Compare les performances des 2 groupes: ayant

reçu l’incitation / n’ayant pas reçu l’incitation L’effet dû à l’incitation (Intention-de-Traiter, ITT) Effet de l’intervention sur la population qui adopte le

traitement (Effet moyen local du traitement,LATE)▪ LATE= ITT/proportion d’individus qui ont participé

Erreurs communes à éviter Calculer la taille de l’échantillon de manière incorrecte

Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées▪ Échantillonnage par grappes nous donne une taille d’échantillon de

1 ! Mener une collecte de données différente au sein de

groupes de contrôle et de traitement Inclure les individus qui se sont désistés au groupe de

contrôle Cela annule la randomisation!

27

28

Quand cette stratégie n’est-elle vraiment pas possible?

Le traitement est déjà assigné et annoncéet il n’y a pas de possibilité d’expansion

Le programme est achevé (rétrospective) présence d’une expérience naturelle ?

Eligibilité et accès universels Ex.: campagne d’information universelle, éducation

gratuite pour tous, régime du taux de change Parfois on peut randomiser certaines composantes…

Contraintes opérationnelles (irrigation…) La taille de l’échantillon est trop limitée pour

permettre une analyse crédible

29

Merci