Mattea Stein, World Bank Méthodes Non- expérimentales I

30
DIME – FRAGILE STATES DUBAI, MAY 31 – JUNE 4 Mattea Stein, World Bank Méthodes Non- expérimentales I

description

Mattea Stein, World Bank Méthodes Non- expérimentales I. Que savions nous jusque-là. Objectif : Nous voulons identifier l’effet causal de nos interventions ( politiques publiques ) sur des variables d’intérêt . - PowerPoint PPT Presentation

Transcript of Mattea Stein, World Bank Méthodes Non- expérimentales I

Page 1: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4

Mattea Stein, World Bank

Méthodes Non-expérimentales I

Page 2: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Que savions nous jusque-làObjectif: Nous voulons identifier l’effet causal de nos

interventions (politiques publiques) sur des variables d’intérêt. Utilisez les méthodes d’évaluation rigoureuses pour

répondre aux questions opérationnelles que nous nous posons

L’affectation aléatoire au traitement est l’étalon-or des méthodologies existantes (simple, précis, pas cher)

Que faire si on ne peut pas du tout faire usage de la randomisation?

S’il est possible, recourir aux méthodes non-expérimentales

Page 3: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Les méthodes non-expérimentalesPourra-t-on trouver un contrefactuel

plausible? Expérience naturelle?

Chaque méthode non-expérimentale est associée à un ensemble d’hypothèses Notre mesure de l’effet causal est

d’autant moins crédible que les hypothèses sont fortes

Il faut mettre en question nos hypothèses

▪ Se conformer à la réalité, relever du bon sens

3

Page 4: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Exemple: L’appui pour l’Infrastructure Communautaire

Objectif principal▪ Améliorer les infrastructures communautaires – construction d’écoles primaires

Intervention▪ Fonds communautaires▪ Affectation non aléatoire

Groupe cible▪ Communautées avec une mauvaise structure éducative et un taux élévé de pauvreté

Principale variable de résultat▪ Inscription scolaire

4

Page 5: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

5

(+) Impact du programme

(+) Impact des facteurs externes

Exemple: L’appui pour l’Infrastructure Communautaire – RANDOMISATION

Page 6: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

6

(+) Mesure BIAISEE de l’impact du program

Exemple: L’appui pour l’Infrastructure Communautaire – “AVANT-APRES”

“Avant-Après” ne fournit pas des résultats crédibles

Page 7: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

7

Différence « Après » entre participants et non-participants

Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE

Différence « Avant » entre participants et non participants

Quel est l’impact de notre intervention?

Page 8: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE

Contrefactuel (2 façons de le présenter)1. L’inscription scolaire des «sans» intervention,

après correction des différences «avant/après» (Différence initiale entre groupes)

2. L’inscription scolaire «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteurs externes)

1 and 2 sont équivalents8

Page 9: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Données -- Exemple 1

Taux d’inscription scolaire (%)

2007 2008 Différence (2008-2007)

Participants (P) 30.6 41.2 10.6Non-participants (NP)

21.3 36.1 14.8

Différence (P-NP) 9.3 5.1 -4.2

9

Page 10: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

2007 200810

15

20

25

30

35

40

45

Participants Non-Participants

10

P-NP2008=5.1

Impact = (P-NP)2008-(P-NP)2007= 5.1 -

9.3 = -4.2

P-NP2007=9.3

Page 11: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Données -- Exemple 1

Taux d’inscription scolaire (%)

2007 2008 Différence (2008-2007)

Participants (P) 30.6 41.2 10.6Non-participants (NP)

21.3 36.1 14.8

Difference (P-NP) 9.3 5.1 -4.2

11

Page 12: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

12

Impact = (P2008-P2007) -(NP2008-NP2007)

= 10.6 – 14.8 = -4.2

2007 200810

15

20

25

30

35

40

45

Participants Non-Participants

P2008-P2007=10.6

NP2008-NP2007=14.8

Page 13: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Stratégie d’Identification par Double Différence

Hypothèse sous-jacente:Sans l’intervention, l’inscription scolaire dans les communautées participantes et l’inscription scolaire dans les communautés non-participantes auraient suivi la même tendance

Page 14: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

05

1015202530354045

2007 2008

Participants Non-Participants

Double Différence: Hypothèse de même tendance

“Impact”=-4.2Impact vrai=+2.0

Page 15: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Double Différence – Exemple (1): Résumé Impact négatif:

Très contre –intuitif: Des fonds pour la construction de nouvelles écoles primaires ne devrait pas diminuer le taux d’inscription scolaire, une fois que les facteurs externes sont pris en compte!

Hypothèse de tendance commune (Très forte) Les 2 groupes , en 2007, avaient des taux d’inscription

scolaire différents Peut-être, les 2 groupes auraient eu des taux de changement

de l’inscription scolaire différents en l’absence du projet➤ Mettre à l’épreuve l’hypothèse de tendance commune!

➤ Si possible, faire ce test avec des données provenant d’années antérieures

Page 16: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

2006 2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

Examen de l’hypothèse de tendance commune: Utilisation de données antérieures

>> Rejeter l’hypothèse des tendances communes

Page 17: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Donnés – Exemple 2

Taux d’inscription scolaire (%)

2007 2008 Différence (2008-2007)

Participants (P) 25.5 35.5 10.0Non-participants (NP)

15.0 19.0 4.0

Différence (P-NP) 10.5 16.5 6.0

17

Page 18: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

18

Impact = (P2008-P2007) -(NP2008-NP2007)

= 10.0 – 4.0 = + 6.0

2007 200810

15

20

25

30

35

40

Participants Non-Participants

P08-P07=10.0

NP08-NP07=4.0

Page 19: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

2007 200810

15

20

25

30

35

40

Participants Non-Participants

Hypothèse de tendance commune: Implication graphique

Impact = +6.0

Page 20: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Double Différence - Exemple 2: Résumé Impact Positif :

Plus intuitifL’hypothèse des tendances

communes est-elle raisonnable? ➤ Toujours nécessaire de questionner

l’hypothèse des tendances communes!!➤Utiliser les données des années

précédentes

Page 21: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Examen de l’hypothèse de tendance commune: Utilisation de données antérieures

>>Est-il raisonnable d’accepter l’hypothèse de tendance commune?

2006 2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

Page 22: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Attention (1)

Il est souvent difficile de valider l’hypothèse de tendance commune Absence de données pour tester l’hypothèse Même si les tendances antérieures étaient

similaires:▪ Ont-elles toujours été similaires (ou sommes-nous

juste chanceux?)▪ Plus important, seront-ils toujours similaires?

▪ Exemple: D’autres projets interviennent parmi les entreprises non participantes….

Page 23: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Attention (2) Que faire?

>> Faire de l’analyse descriptive! Vérifier les similarités sur la base des caractéristiques

observables▪ Si les caractéristiques observables ne sont pas similaires,

les tendances pourraient différer de manière non prévisible

>> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sont souvent plus importantes (capacité, motivation, patience, etc)

Page 24: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Méthode d’Appariement (1)Apparier les participants et les non-participants

sur la base de caractéristiques observablesContrefactuel : Groupe de comparaison apparié

Chaque participant au programme est apparié avec un ou plusieurs non-participants sur la base de caratéristiques observables

>> En moyenne, les participants et les non-participants appariés auront les mêmes caractérisques observables (par construction)

24

Page 25: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Méthode d’Appariement (2)Hypothèses contrefactuelles sous-jacentes Après l’appariemment, il n’y a aucune

différence entre les participants et les non-participants en termes de caractéristiques inobservables

ET/OU Les caractéristiques inobservables

n’influencent ni l’affectation au traitement, ni les variables d’intérêt

Page 26: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Méthode d’Appariement -Comment procède t-on? Construire un groupe témoin en trouvant

des individus appariés proches en termes de caractéristiques observables Sélectionner les variables pertinentes sur

lesquelles réaliser l’appariement De sorte qu’on retienne:

▪ Groupe Traitement: Participants qui peuvent avoir un contrefactuel

▪ Groupe de Comparaison: Non-participants assez similaires aux participants

>> Nous réduisons/ tronquons une partie de notre groupe traitement!

Page 27: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Implications

Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus Utile de connaitre qui est sorti de l’échantillon

Exemple

Score

Non-participantsParticipants

Individus appariés

Richesse

Portion du groupe Traitement sorti de l’échantillon

Page 28: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Conclusion (1)

Avantage de la méthode d’appariemment: Ne nécessite pas la randomisation

28

Page 29: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Conclusion (2)

Inconvénients: L’hypothèse sous-jacente n’est pas plausible

dans tous les contextes et est difficile à tester▪ Utiliser le bon sens et faire des analyses

descriptives Nécessite des données de très bonne qualité:

▪ Nécessite de contrôler tous les facteurs qui influencent le traitement et les variables de résultat

Nécessite de très grands échantillons pour générer un bon groupe témoin

Ne permet pas d’apparier tous les individus29

Page 30: Mattea  Stein, World Bank Méthodes  Non- expérimentales  I

Conclusion (3) Les expériences randomisées nécessitent

beaucoup moins d’hypothèses et fournissent des estimations intuitives

Les méthodes non-expérimentales nécessitent des hypothèses qui doivent être attentivement testées

Plus de données Pas toujours testables

Faire preuve de créativité: Mélange de méthodes! Répondre aux questions avec les techniques appropriées

30