Exploiter les Discontinuités pour Bien Évaluer

22
DIME-FPD Dakar, February 1-4, 2010 Exploiter les Discontinuités pour Bien Évaluer Florence Kondylis

description

Florence Kondylis. Exploiter les Discontinuités pour Bien Évaluer. Introduction (1). Contexte Nous souhaitons établir l’effet causal d’une intervention Une assignation aléatoire n’est pas faisable On ne peut pas exploiter le processus de sélection pour définir un groupe de comparaison - PowerPoint PPT Presentation

Transcript of Exploiter les Discontinuités pour Bien Évaluer

Page 1: Exploiter les  Discontinuités  pour Bien  Évaluer

DIME-FPDDakar, February 1-4, 2010

Exploiter les Discontinuités pour Bien Évaluer

Florence Kondylis

Page 2: Exploiter les  Discontinuités  pour Bien  Évaluer

Introduction (1) Contexte

Nous souhaitons établir l’effet causal d’une intervention Une assignation aléatoire n’est pas faisable On ne peut pas exploiter le processus de sélection pour définir un

groupe de comparaison En général

Individus, ménages, villages, ou autres entités sont exposés ou non au traitement

La sélection d’individus dans le groupe de traitement empêche la comparaison traités/non-traités

Exemple: Les individus qui souhaitent participer dans un programme de micro-finance et ceux qui ne le souhaitent pas

Page 3: Exploiter les  Discontinuités  pour Bien  Évaluer

Introduction (2)

Quand l’assignation aléatoire n’est pas faisable, comment exploiter le mode de mise en œuvre d’un programme afin d’évaluer son impact? Proposition: La méthode « quasiment

expérimentale » Double différence (Mattea, demain) Stratégie d’identification par la Discontinuité de

la Régression (Regression Discontinuity Design, RDD)

Page 4: Exploiter les  Discontinuités  pour Bien  Évaluer

La stratégie d’identification par la Discontinuité de la Régression (RDD)

RDD est un cousin proche de la méthode expérimentale Beaucoup plus proche que le reste des méthodes non-

expérimentales RDD se base sur la compréhension du processus de sélection

Il nous faut établir une règle de sélection bureaucratique/officielle et claire Un score quantifiable et simple

L’assignation au traitement est basée, de manière discontinue, de ce score” Un niveau seuil est établi

▪ Exemple: Ventes de l’entreprise doivent être inférieures à €5,000 Une entreprise qui a un score en-deçà du score reçoit le traitement Une entreprise qui a un score au-dessus du score ne reçoit pas le

traitement RDD compare les entreprises juste au-dessous du seuil à celles juste en-

deçà

Page 5: Exploiter les  Discontinuités  pour Bien  Évaluer

RDD: Mise en application concrète (1)

Politique Publique: Aux EU, l’âge minimum pour consommer de l’alcool légalement est de 21 ans la consommation d’alcool par les mineurs (< 21) est illégale Observation:

Cette politique implique que:Les individus d’âge 20 ans, 11 mois et 29 jours ne peuvent pas boireLes individus d’âge 21 ans, 0 mois et 1 jour peuvent boire

Or: Peut-on réellement penser qu’une différence d’âge de quelques jours pourrait affecter la sagesse, les préférences, les comportement, etc?Les individus nés avec quelques jours d’écart sont traités différemment pas la loiCette différence est entièrement attribuable à un seuil légal arbitraireLe statut légal est la différence entre les deux groupes d’individus situés de part et d’autre du seuil, dans un voisinage proche du seuil

Page 6: Exploiter les  Discontinuités  pour Bien  Évaluer

RDD: Mise en application concrète (2)En pratique, rendre la consommation d’alcool illégale

reduit la consommationIdée pour identifier l’impact de la consommation

d’alcool sur le taux de mortalité des jeunes adultes: Groupe de Traitement: individus d’âge 20 ans et 11 mois Groupe de Contrôle: individus qui viennent d’avoir 21 ans

Autour du seuil, on peut pratiquement imaginer que les individus ont été assignés au traitement de façon aléatoire

On peut dès lors estimer l’impact causal de la consommation d’alcool sur le taux de mortalité des jeunes situés au voisinage du seuil

Page 7: Exploiter les  Discontinuités  pour Bien  Évaluer

RDD: Mise en application concrète (3)

MLDA (Traitement) réduit la consommation d’alcool

Page 8: Exploiter les  Discontinuités  pour Bien  Évaluer

RDD: Mise en application concrète (4)

Une consommation d’alcool plus élevée augmente le taux de mortalité au voisinge de 21 ans

Nombre Total de Décès

Nombre Total de Décès des suites de blessures, consomption d’alcool ou de drogues

Nombre Total de Décès Autres

Page 9: Exploiter les  Discontinuités  pour Bien  Évaluer

Logique de la RDD

Assignation au traitement est faite sur la base d’un score continu, ou d’un classement

▪ Exemples: Ventes, âge, note d’examen, index de pauvreté, etc Les participants potentiels sont classés en fonction du

score Le seuil (point de discontinuité) qui définit

l’éligibilité est ▪ Clairement établi▪ Déterminé au préalable

L’assignation sur la base d’un seuil est souvent liée à une décision de type administratif

Participation doit être limitée dû a des contraintes budgétaires

Transparence de la sélection est essentielle

Page 10: Exploiter les  Discontinuités  pour Bien  Évaluer

Exemple: Subvention Partielle (1)

Gouvernment propose une subvention partielle pour PMEs (formelles)

Éligibilité déterminée sur la base des ventes de l’année écoulée: Ventes < €5,000: Entreprise reçoit l’offre de subvention Ventes >= €5,000: Entreprise ne reçoit pas l’offre

Si le chiffre de ventes est mesuré avant l’annonce du plan de subvention In n’est pas possible de “manipuler” le chiffre de ventes

▪ Exemple: Chiffre de l’année écoulée déjà établi et enregistré Facile à mesurer et à faire respecter

Page 11: Exploiter les  Discontinuités  pour Bien  Évaluer

Subtilités de la méthode

2 types de discontinuités Nette (“sharp”) Floue (“Fuzzy”)

Retour a l’exemple…

Page 12: Exploiter les  Discontinuités  pour Bien  Évaluer

Que faire si les entreprises ventes < €5,000 ne réclament pas toutes la subvention? Raisons:

▪ Pas toutes au courant, peu d’information▪ Pas toutes intéressées (subvention partielle)

Ces 2 raisons introduisent un biais de sélection (les entreprises qui réclament la subvention sont différentes à plusieurs niveaux)

Cependant: La proportion d’entreprises qui réclament varie de façon discontinue autour du seuil d’éligibilité De zéro à moins de 100% C’est ce que l’on appelle une discontinuité floue (“Fuzzy” RDD)

Exemple: Discontinuité FloueSubvention Partielle

Page 13: Exploiter les  Discontinuités  pour Bien  Évaluer

0.2

5.5

.75

1tre

atm

ent p

roba

bilit

y

assignment variable

Sharp Design for Voucher receipt

0.2

5.5

.75

1

assignment variable

Fuzzy Design for Voucher receipt

Taux de Participation:Assignation Nette vs. Floue (Sharp vs. Fuzzy)

100%

0%

75%

0%

Variationsau-dessus du seuil

Page 14: Exploiter les  Discontinuités  pour Bien  Évaluer

Discontinuité Nette vs. Floue (1)Cas Idéal: Discontinuité Nette

Discontinuité détermine de façon précise l’exposition au traitement ▪ Ex.: Seules les individus de 21 ans et plus boivent

de l’alcool, et ils en boivent tous (!!!)▪ Ex.: Toutes les entreprises au chiffre < €5,000

réclament la subvention; les autres ne la reçoivent jamais

▪ Ex.: régime de taxation

Page 15: Exploiter les  Discontinuités  pour Bien  Évaluer

Discontinuité Nette vs. Floue (2)Discontinuité Floue

Taux de participation au programme change de façon discontinue au niveau du seuil d’éligibilité, mais pas à 100%▪ Certains individus de moins de 21 ans consomment de

l’alcool et/ou certains individus de plus de 21 ans n’en boivent pas

▪ Certaines entreprises au chiffre < €5,000 ne réclame pas la subvention

La règle d’éligibilité est respectée, mais l’ensemble du groupe de traitement ne s’y conforme pas

Page 16: Exploiter les  Discontinuités  pour Bien  Évaluer

Validité Interne Idée Générale

Si le seuil d’éligibilité est arbitraire, les individus situés immédiatement à gauche et à droite du seuil sont, par construction, extrêmement similaires

Différences de résultats peuvent être directement attribués au programme

Hypothèse Principale In ne se passe rien d’autre: en l’absence du programme,

nous n’observerions pas de discontinuité de résultat autour du seuil en question

Pourrait ne pas être vérifiée si▪ Alcool: Ceinture de sécurité cesse d’être obligatoire à 21 ans▪ Subvention: Un taux de taxation réduit est en place visant les

entreprises au chiffre < €5,000

Page 17: Exploiter les  Discontinuités  pour Bien  Évaluer

Diagnostique: Profile de résultats avant et après l’intervention

outc

ome

assignment variable

Baseline

assignment variable

Follow-up

Forme différente

Page 18: Exploiter les  Discontinuités  pour Bien  Évaluer

Validité Externe Cette méthode produit-elle des résultats généralisables? Groupe Contrefactuel pour la RDD

Individus exclus du groupe de traitement “de justesse” Exemples:

▪ Individus qui ont mois de 21 ans mais plus de 20 ans et 10 ▪ Entreprises au chiffre de ventes supérieur à €5,000 mais inférieur à €5,500

La mesure d’impact ne s’applique qu’aux individus / ménages / villages situés au voisinage du seuil d’éligibilité Extrapoler au-delà de cette région requiert davantage

d’hypothèses, souvent peu testables Une discontinuité floue exacerbe ce problème de mesure

locale

Page 19: Exploiter les  Discontinuités  pour Bien  Évaluer

B.A.BA pour la mise en oeuvre d’une RDD Avantages majeurs

Transparence Illustration graphique simple, intuitive

Désavantages majeurs Demande beaucoup d’observations autour du seuil d’éligibilité Les observations situées plus loin du seuil doivent porter un

poids plus faible Pourquoi?

▪ Seuls les individus proches du seuil se trouvent ,par chance, de part et d’autre du seuil

▪ Si on pense aux entreprises qui ont un chiffre de €5,000 et celles qui rapportent €500

▪ Ou bien un jeune de 21 ans comparé à un de 16 ans

Page 20: Exploiter les  Discontinuités  pour Bien  Évaluer

Analyse graphiqueou

tcom

e

assignment variable

Page 21: Exploiter les  Discontinuités  pour Bien  Évaluer

Conclusions

RDD se prête à l’évaluation prospective lorsque la randomisation n’est pas faisable Stratégie applicable à tout programme

qui se base sur un critère d’éligibilité (politique sur la base

Possibilité d’exploiter plusieurs seuils pour améliorer la validité externe▪ Menu de subventions qui visent différentes

tailles d’entreprises

Page 22: Exploiter les  Discontinuités  pour Bien  Évaluer

Merci

22