Mattea Stein, World Bank Méthodes Non- expérimentales I
description
Transcript of Mattea Stein, World Bank Méthodes Non- expérimentales I
DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4
Mattea Stein, World Bank
Méthodes Non-expérimentales I
Que savions nous jusque-làObjectif: Nous voulons identifier l’effet causal de nos
interventions (politiques publiques) sur des variables d’intérêt. Utilisez les méthodes d’évaluation rigoureuses pour
répondre aux questions opérationnelles que nous nous posons
L’affectation aléatoire au traitement est l’étalon-or des méthodologies existantes (simple, précis, pas cher)
Que faire si on ne peut pas du tout faire usage de la randomisation?
S’il est possible, recourir aux méthodes non-expérimentales
Les méthodes non-expérimentalesPourra-t-on trouver un contrefactuel
plausible? Expérience naturelle?
Chaque méthode non-expérimentale est associée à un ensemble d’hypothèses Notre mesure de l’effet causal est
d’autant moins crédible que les hypothèses sont fortes
Il faut mettre en question nos hypothèses
▪ Se conformer à la réalité, relever du bon sens
3
Exemple: L’appui pour l’Infrastructure Communautaire
Objectif principal▪ Améliorer les infrastructures communautaires – construction d’écoles primaires
Intervention▪ Fonds communautaires▪ Affectation non aléatoire
Groupe cible▪ Communautées avec une mauvaise structure éducative et un taux élévé de pauvreté
Principale variable de résultat▪ Inscription scolaire
4
5
(+) Impact du programme
(+) Impact des facteurs externes
Exemple: L’appui pour l’Infrastructure Communautaire – RANDOMISATION
6
(+) Mesure BIAISEE de l’impact du program
Exemple: L’appui pour l’Infrastructure Communautaire – “AVANT-APRES”
“Avant-Après” ne fournit pas des résultats crédibles
7
Différence « Après » entre participants et non-participants
Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE
Différence « Avant » entre participants et non participants
Quel est l’impact de notre intervention?
Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE
Contrefactuel (2 façons de le présenter)1. L’inscription scolaire des «sans» intervention,
après correction des différences «avant/après» (Différence initiale entre groupes)
2. L’inscription scolaire «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteurs externes)
1 and 2 sont équivalents8
Données -- Exemple 1
Taux d’inscription scolaire (%)
2007 2008 Différence (2008-2007)
Participants (P) 30.6 41.2 10.6Non-participants (NP)
21.3 36.1 14.8
Différence (P-NP) 9.3 5.1 -4.2
9
2007 200810
15
20
25
30
35
40
45
Participants Non-Participants
10
P-NP2008=5.1
Impact = (P-NP)2008-(P-NP)2007= 5.1 -
9.3 = -4.2
P-NP2007=9.3
Données -- Exemple 1
Taux d’inscription scolaire (%)
2007 2008 Différence (2008-2007)
Participants (P) 30.6 41.2 10.6Non-participants (NP)
21.3 36.1 14.8
Difference (P-NP) 9.3 5.1 -4.2
11
12
Impact = (P2008-P2007) -(NP2008-NP2007)
= 10.6 – 14.8 = -4.2
2007 200810
15
20
25
30
35
40
45
Participants Non-Participants
P2008-P2007=10.6
NP2008-NP2007=14.8
Stratégie d’Identification par Double Différence
Hypothèse sous-jacente:Sans l’intervention, l’inscription scolaire dans les communautées participantes et l’inscription scolaire dans les communautés non-participantes auraient suivi la même tendance
05
1015202530354045
2007 2008
Participants Non-Participants
Double Différence: Hypothèse de même tendance
“Impact”=-4.2Impact vrai=+2.0
Double Différence – Exemple (1): Résumé Impact négatif:
Très contre –intuitif: Des fonds pour la construction de nouvelles écoles primaires ne devrait pas diminuer le taux d’inscription scolaire, une fois que les facteurs externes sont pris en compte!
Hypothèse de tendance commune (Très forte) Les 2 groupes , en 2007, avaient des taux d’inscription
scolaire différents Peut-être, les 2 groupes auraient eu des taux de changement
de l’inscription scolaire différents en l’absence du projet➤ Mettre à l’épreuve l’hypothèse de tendance commune!
➤ Si possible, faire ce test avec des données provenant d’années antérieures
2006 2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Examen de l’hypothèse de tendance commune: Utilisation de données antérieures
>> Rejeter l’hypothèse des tendances communes
Donnés – Exemple 2
Taux d’inscription scolaire (%)
2007 2008 Différence (2008-2007)
Participants (P) 25.5 35.5 10.0Non-participants (NP)
15.0 19.0 4.0
Différence (P-NP) 10.5 16.5 6.0
17
18
Impact = (P2008-P2007) -(NP2008-NP2007)
= 10.0 – 4.0 = + 6.0
2007 200810
15
20
25
30
35
40
Participants Non-Participants
P08-P07=10.0
NP08-NP07=4.0
2007 200810
15
20
25
30
35
40
Participants Non-Participants
Hypothèse de tendance commune: Implication graphique
Impact = +6.0
Double Différence - Exemple 2: Résumé Impact Positif :
Plus intuitifL’hypothèse des tendances
communes est-elle raisonnable? ➤ Toujours nécessaire de questionner
l’hypothèse des tendances communes!!➤Utiliser les données des années
précédentes
Examen de l’hypothèse de tendance commune: Utilisation de données antérieures
>>Est-il raisonnable d’accepter l’hypothèse de tendance commune?
2006 2007 20080
0.5
1
1.5
2
2.5
participantsnon-participants
Attention (1)
Il est souvent difficile de valider l’hypothèse de tendance commune Absence de données pour tester l’hypothèse Même si les tendances antérieures étaient
similaires:▪ Ont-elles toujours été similaires (ou sommes-nous
juste chanceux?)▪ Plus important, seront-ils toujours similaires?
▪ Exemple: D’autres projets interviennent parmi les entreprises non participantes….
Attention (2) Que faire?
>> Faire de l’analyse descriptive! Vérifier les similarités sur la base des caractéristiques
observables▪ Si les caractéristiques observables ne sont pas similaires,
les tendances pourraient différer de manière non prévisible
>> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sont souvent plus importantes (capacité, motivation, patience, etc)
Méthode d’Appariement (1)Apparier les participants et les non-participants
sur la base de caractéristiques observablesContrefactuel : Groupe de comparaison apparié
Chaque participant au programme est apparié avec un ou plusieurs non-participants sur la base de caratéristiques observables
>> En moyenne, les participants et les non-participants appariés auront les mêmes caractérisques observables (par construction)
24
Méthode d’Appariement (2)Hypothèses contrefactuelles sous-jacentes Après l’appariemment, il n’y a aucune
différence entre les participants et les non-participants en termes de caractéristiques inobservables
ET/OU Les caractéristiques inobservables
n’influencent ni l’affectation au traitement, ni les variables d’intérêt
Méthode d’Appariement -Comment procède t-on? Construire un groupe témoin en trouvant
des individus appariés proches en termes de caractéristiques observables Sélectionner les variables pertinentes sur
lesquelles réaliser l’appariement De sorte qu’on retienne:
▪ Groupe Traitement: Participants qui peuvent avoir un contrefactuel
▪ Groupe de Comparaison: Non-participants assez similaires aux participants
>> Nous réduisons/ tronquons une partie de notre groupe traitement!
Implications
Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus Utile de connaitre qui est sorti de l’échantillon
Exemple
Score
Non-participantsParticipants
Individus appariés
Richesse
Portion du groupe Traitement sorti de l’échantillon
Conclusion (1)
Avantage de la méthode d’appariemment: Ne nécessite pas la randomisation
28
Conclusion (2)
Inconvénients: L’hypothèse sous-jacente n’est pas plausible
dans tous les contextes et est difficile à tester▪ Utiliser le bon sens et faire des analyses
descriptives Nécessite des données de très bonne qualité:
▪ Nécessite de contrôler tous les facteurs qui influencent le traitement et les variables de résultat
Nécessite de très grands échantillons pour générer un bon groupe témoin
Ne permet pas d’apparier tous les individus29
Conclusion (3) Les expériences randomisées nécessitent
beaucoup moins d’hypothèses et fournissent des estimations intuitives
Les méthodes non-expérimentales nécessitent des hypothèses qui doivent être attentivement testées
Plus de données Pas toujours testables
Faire preuve de créativité: Mélange de méthodes! Répondre aux questions avec les techniques appropriées
30