1

La méthode expérimentale au service des politiques publiques

Damien de Walque(merci á Markus Goldstein pour

les diapositives)

Atelier APEIE Ghana, 10-14 mai

2

Objectif

• Pour estimer l’effet causal d’une intervention, il nous faut– Séparer l’effet de ce programme d’autres

facteurs externes

• Il nous faut établir ce qui se serait passé en l’absence du programme– Or, nous ne pouvons pas simultanément observer

le même individu avec et sans le programme>> Il nous faut trouver un bon contrefactuel

?

2)

?

La Corrélation ne Permet pas d’Attribuer un Effet Causal

Profits plus élevés

Obtention d’un crédit

OU

1) Profits plus élevés

Capacités entrepreuniales élevées

Obtention d’un crédit

Avant Après0

2

4

6

8

10

12

14

Groupe de TraitementGroupe Traitement

4

(+6) Mesure biaisée de l’impact du programme

Illustration: Programme d’accès au crédit (Avant-Après)

Avant Après0

2

4

6

8

10

12

14Groupe de ContrôleGroupe de Traitement

5

(+4) Impact du programme

(+2) Impact d’autres facteurs externes

Illustration: Programme d’accès au crédit (contrefactuel convenable)

6

Motivation

• Il est difficile de distinguer l’effet causal de la corrélation simple à partir de l’analyse statistique– Nous pouvons seulement observer que X

bouge avec Y– Nous ne pouvons pas contrôler l’influence des

caractéristiques non-observables, telles que la motivation/les facultés intellectuelles, etc.

– Or les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe!

Motivation…2

• Le biais de sélection est un problème important pour la mesure d’impact– Un projet débute dans un certain endroit, à un

certain moment pour ces raisons particulières– Les participants sont choisis sur la base de

critères, ou se présentent eux-mêmes!– Exemple: Les entrepreneurs qui ont accès au

crédit se distinguent de l’entrepreneur moyen! Utiliser un entrepreneur moyen pour établir

l’effet du crédit sur les profits risque de nous induire en erreur!

8

Propriétés de la méthode d’évaluation expérimentale

• Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement

• Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées)– La seule différence est le traitement

• Avec un grand échantillon, les caractéristiques s’équilibrent

Cette méthode permet d’obtenir une mesure d’impact non-biaisée

9

Menu d’options pour l’assignation randomisée

• Loterie (couverture partielle)– Loterie pour l’accès au crédit

• Phasage aléatoire (couverture totale, entrée retardée)– Quelques individus/entreprises reçoivent un crédit chaque

année

• Assignation aléatoire à divers traitements– Certains reçoivent une subvention partielle, d’autres un

crédit, d’autres des services de conseil entrepreneurial, etc

• Assignation aléatoire à une stratégie d’encouragement– Un bureau de banque dans chaque district– Certains cultivateurs reçoivent la visite d’un représentant qui

leur explique le produit financier offert

Loterie parmi les individus éligibles

Doivent recevoir le programme

Pas éligibles

Randomiser l’assignation au programme

11

Opportunités• Des contraintes budgétaires limitent la

couverture du programme– Une assignation aléatoire (loterie) est juste et

transparente• Les capacités de mise en œuvre sont

limitées– Le phasage aléatoire donne à tous la même

chance d’être sélectionné en premier• Il n’y a pas d’évidence quant à l’efficacité

des diverses interventions possibles– L’assignation aléatoire aux diverses

interventions procure à tous des chances de succès a priori égales

12

Opportunités pour la Randomisation

• L’adoption d’un programme en cours n’est pas totale (participation faible)

– Randomiser une stratégie d’encouragement nous informe sur les types d’incitations qui fonctionnent

• Pilote pour un nouveau programme– Présente une bonne opportunité de tester de façon

rigoureuse avant le passage à grande échelle

• Changement dans la mise en œuvre d’un programme en cours

– Présente une bonne opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle

13

Différents niveaux auxquels randomiser

Cela dépend du niveau auquel on intervient

– Individu/Propriétaire/Entreprise

– Groupe d’entreprises– Village

– Association de femmes

– Entité Juridique/ District administratif

– École

Randomisation individuelle ou par groupes?

• Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier

• Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle

Randomisation individuelle Randomisation par groupes

15

Niveau de randomisation

• Randomiser à un niveau plus élevé est parfois nécessaire:– Contraintes d’ordre politique/éthique à assigner le

traitement uniquement à certains individus au sein d’une même communauté

– Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions

– Les effets de contamination sont parfois trop importants

• Randomiser au niveau du groupe demande de nombreux groupes

16

Éléments d’une assignation aléatoire

Assignation aléatoireGroupe de traitement Groupe de contrôle• Participants Désistements

Échantillon d’évaluation

Participants PotentielsTailleurs Fabricants de meubles

Population Cible

Petites et Moyennes Entreprises

17

Validité Interne et Externe (1)

• Validité externe– L’échantillon est représentatif de toute la population.– Les résultats obtenus sont représentatifs de la population. Les leçons du programme sont applicables à tout le pays.

• Validité interne– L’effet mesure d’une intervention sur la population qui est

évaluée reflète le véritable impact sur cette populationC.-à-d. les groupes de traitement et de contrôle sont

comparables

18

Validité Interne et Externe (2)

• Une évaluation peut avoir validité interne sans avoir de validité externe– Exemple: Une évaluation rigoureuse d’une incitation aux

entreprises informelles urbaines de se faire immatriculer ne nous informe pas sur l’effet de cette même intervention sur les zones rurales

• Et vice-versa– Une mesure d’impact biaisée souffrira du même biais

qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population !

Validité interne & externe

19

Randomisation

Randomisation

Population Nationale

Echantillons de laPopulation Nationale

Validité interne

20

Stratification

Randomisation

Population

Sous-populationEchantillons de la sous-population

21

Validité externe uniquement

Population Nationale

Assignation biaiséeRésultat INUTILE!Randomisation

22

Efficacité & Effectivité

Efficacité Crédibilité du concept Echelle réduite Pilote sous des conditions idéales (ex. ONGs)

Effectivité A grande échelle Circonstances et capacité normales (ex. hôpitaux

nationaux)

Impact plus ou moins élevé? Coûts plus ou moins élevés?

23

Avantages des “expériences”

• Impact causal fiable et précis • Comparée a d’autres approches:

– Facile à analyser (comparaison de moyennes)– Moins chère (plus petits échantillons)– Facile à communiquer– Plus convaincante pour les décideurs– Evite les controverses d’ordre méthodologique

Exemple: Assigner les machines d’une usine à une maintenance plus régulière

• L’assignation aléatoire aux machines ne soulève pas (encore) de questions d’ordre éthique/pratique

Les Machines:• Ne vont pas se désister• Ne vont pas aller trouver un meilleur traitement• Ne vont pas se déplacer et changer d’usine de leur propre

chef• Ne vont pas refuser de répondre à notre questionnaire

Les individus peuvent se montrer un peu plus difficiles et créatifs!

Que faire en présence de …?

• Certaines interventions ne peuvent être assignées de façon aléatoire

• Adoption partielle ou interventions basées sur la demande

• Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitementPromouvoir le programme de façon aléatoireLes participants choisissent de participer ou

non

25

Promotion Aléatoire(Stratégie par l’incitation)

• Les individus qui reçoivent l’incitation sont plus à-même de participer

• Si l’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des individus– Compare les performances des 2 groupes: ayant reçu

l’incitation / n’ayant pas reçu l’incitation– L’effet dû à l’incitation (Intention-de-Traiter, ITT)– Effet de l’intervention sur la population qui adopte le

traitement (Effet moyen local du traitement,LATE)• LATE= ITT/proportion d’individus qui ont participé

Erreurs communes à éviter

• Calculer la taille de l’échantillon de manière incorrecte– Randomiser le traitement dans un seul district, avec un

seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées

• Échantillonnage par grappes nous donne une taille d’échantillon de 1 !

• Mener une collecte de données différente au sein de groupes de contrôle et de traitement

• Inclure les individus qui se sont désistés au groupe de contrôle– Cela annule la randomisation!

27

28

Quand cette stratégie n’est-elle vraiment pas possible?

• Le traitement est déjà assigné et annoncéet il n’y a pas de possibilité d’expansion

• Le programme est achevé (rétrospective) – présence d’une expérience naturelle ?

• Eligibilité et accès universels– Ex.: campagne d’information universelle, éducation gratuite pour

tous, régime du taux de change– Parfois on peut randomiser certaines composantes…

• Contraintes opérationnelles (irrigation…)• La taille de l’échantillon est trop limitée pour

permettre une analyse crédible

29

Merci