أ‰VALUATIONS ALأ‰ATOIRES : COMMENT TIRER AU Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1...

download أ‰VALUATIONS ALأ‰ATOIRES : COMMENT TIRER AU Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1 1 1 1

If you can't read please download the document

  • date post

    28-Jun-2020
  • Category

    Documents

  • view

    0
  • download

    0

Embed Size (px)

Transcript of أ‰VALUATIONS ALأ‰ATOIRES : COMMENT TIRER AU Contraintes de la vraie vie ... 1 1 1 1 1 1 1 1 1...

  • Luc Behaghel Ecole d’Economie de Paris / INRA / J-PAL

    22 -26 juin 2015 Abidjan, Côte d’Ivoire

    Atelier ivoirien sur l’évaluation d’impact pour la prise de décision dans les secteurs sociaux

    ÉVALUATIONS ALÉATOIRES :

    COMMENT TIRER AU SORT ?

  • PLAN DE LA SEMAINE 1. Théorie du changement et mesure

    2. Pourquoi tirer au sort ?

    3. Comment tirer au sort ?

    4. Méthodes non expérimentales

    5. Risques sur la validité

    6. Intégrer une évaluation dans un projet

    7. Une évaluation de A à Z

  • RAPPEL D’HIER

    How

    to

    Ran

    dom

    ize,

    Part

    I - 3

    2006

    Revenus, par personne et

    par mois, en roupies

    1000

    500

    0 Test Témoin

    1457 1442

  • PROTOCOLE DE BASE DE L'ÉVALUATION

    ALÉATOIRE

    4

    Population

    ciblée

    Non inclus

    dans

    l’évaluation

    Echantillon

    de

    l’évaluation

    Affectation

    aléatoire

    Groupe test

    Groupe

    témoin

  •  Unité de randomisation

     Groupe test et groupe témoin: extension

     Différentes méthodes de randomisation

     Contraintes de la vraie vie

    PLAN DU COURS

  • • Vous avez besoin d’un cadre d’échantillonnage

    • Vous tirez les noms d'un chapeau ou d'un sac

    • Vous utilisez le générateur aléatoire d’un programme de feuille de calcul afin d’ordonner les observations de manière aléatoire

    • Code de programmation Stata

    • Que faire s'il n'y a pas de liste ?

    LA MÉCANIQUE DU TIRAGE AU SORT

  • En général on peut randomiser à plusieurs niveaux

    1. Tirer au sort au niveau de l'individu

    2. Tirer au sort au niveau du groupe (évaluation en

    grappes)

    L'UNITÉ TIRÉE AU SORT

  • UNITÉ TIRÉE AU SORT : L'INDIVIDU ?

  • UNITÉ TIRÉE AU SORT : L'INDIVIDU

  • Par groupes d'individus: randomisation en grappe

    L'UNITÉ TIRÉE AU SORT : LE GROUPE ?

  • L'UNITÉ TIRÉE AU SORT : LA CLASSE ?

  • L'UNITÉ TIRÉE AU SORT : LA CLASSE

  • L'UNITÉ TIRÉE AU SORT : L'ÉCOLE ?

  • L'UNITÉ TIRÉE AU SORT : L'ÉCOLE

  •  Comment fait-on pour choisir l’unité de

    randomisation ?

    L'UNITÉ DE TIRAGE AU SORT : RÉFLEXIONS

  •  Cela dépend de l’intervention : effet au niveau du

    groupe ou au niveau individuel.

     Certains programmes peuvent être exécutés

    seulement à un certain niveau.

    Il faut savoir

     Quelle unité le programme vise-t-il ?

     Classe, étudiant?

     Quelle est l'unité d'analyse?

    L'UNITÉ DE TIRAGE AU SORT : RÉFLEXIONS

  •  Comment l’intervention est-elle administrée ?

     Quelle est la zone d’intervention de chaque «unité»?

     Quelle est la taille de l’impact potentiel ?

     Quelle implication en termes de puissance statistique?

    L'UNITÉ DE TIRAGE AU SORT : QUELLE CIBLE ?

  • CALCUL DE LA TAILLE D’ÉCHANTILLON: QUELQUES

    PRINCIPES

    Principaux points à prendre en

    compte

    Raison

    Variance des principales variables

    d’intérêt

    Plus la variance est importante,

    plus l’échantillon doit être grand

    Taille de l’impact que vous voulez

    pouvoir détecter

    Plus l’impact qu’on veut pouvoir

    détecter est petit, plus l’échantillon

    doit être grand

    Unité de randomisation Si l’unité est un groupe,

    l’échantillon doit être plus grand

    (surtout s’il y a peu de différences

    entre individus au sein du groupe)

    En pratique, le calcul de la taille d’échantillon (ou “calcul de

    puissance”) est un calcul complexe que l’on fait avec un logiciel

  •  Unité de de randomisation

     Groupe test et groupe témoin: extension

     Différentes méthodes de randomisation

     Contraintes de la vraie vie

    PLAN DU COURS

  •  Parfois il est difficile de choisir parmi plusieurs

    interventions possibles

     Vous pouvez tirer ces programmes au sort

     Est-ce que cela nous apprend quelque chose sur les

    avantages de l’une ou l’autre intervention ?

     Avez-vous un groupe témoin ?

    TRAITEMENTS MULTIPLES

  • LA ROTATION Programme 1

    Programme 2

    Programme 3

    Modèle des programmes multiples

  • • Tester différentes composantes du programme

    dans différentes combinaisons

    • Tester pour voir si les composantes doivent

    s'additionner ou s'exclure ?

    • Quelle est la combinaison la plus efficace au

    point de vue du coût ?

    • Avantage : situation « gagnant-gagnant » pour les

    organisations ; cela peut aider à répondre aux

    questions qu’elles se posent, au-delà du simple

    « impact » !

    TRAITEMENTS CROISÉS

  •  On veut pouvoir mesurer l’importance des externalités

     Pas forcément un problème

     Solution : double randomisation

     1. On randomise l’intensité de traitement assignée à

    chaque groupe

     Par exemple école avec 10% de traité, écoles avec 20%,

    50%,75%, etc…

    2. On randomise à nouveau à l’intérieur des groupes

    3. Pour mesurer les externalités : comparer les contrôles dans

    le groupe avec beaucoup de traités et les contrôles avec peu

    de traités

    VARIER L‘INTENSITÉ D'UN PROGRAMME

  •  Unité de randomisation

     Groupe test et groupe témoin: extension

     Méthodes de randomisation

     Contraintes de la vraie vie

    PLAN DU COURS

  •  Loterie

     Randomisation dans la bulle

     Mise en place progressive

     Encouragement

    MÉTHODES DE RANDOMISATION

  •  On prend 1000 personnes et on ne donne le

    médicament qu’à la moitié d’entre elles.

     Est-il possible d’appliquer cette approche aux

    programmes sociaux ?

    LA LOTERIE : LA RÉFÉRENCE DES ESSAIS

    CLINIQUES

  •  Les participants sont sélectionnés de manière aléatoire

    à partir d’un ensemble de candidats

     Les participants savent qui a « gagné » et qui a

    « perdu »

     La loterie de base est faisable lorsqu’il n’existe aucune

    raison a priori de discriminer

     Elle est perçue comme équitable et transparente

     Souvent possible d’un point de vue politique

    LA LOTERIE : UNE APPROCHE SIMPLE

  • • Envisagez des tirages au sort différents de la loterie

    simple

    • Développez les actions de communications

    • Est-ce éthique ?

    QUE FAIRE : 500 CANDIDATS POUR 500

    PLACES ?

  •  Supposons qu'il y ait 2000 candidats

     Après sélection, il ne reste que 500 candidats valables

     Or il y a 500 places

     Un simple tirage au sort n'est donc pas possible

     Quelles sont vos options ?

    LES FAÇONS DE TIRER AU SORT

  • • Parfois certains partenaires ne souhaitent pas tirer au sort parmi les personnes éligibles

    • Ils peuvent accepter le tirage au sort « dans la bulle »

    • Les personnes qui sont « dans la bulle » sont celles qui sont en limite d’éligibilité – Juste au dessus du seuil limite  non éligibles mais

    presque

    • Quel effet du traitement mesurons-nous ? Qu’est-ce que cela signifie en termes de validité externe ?

    TIRER AU SORT DANS « LA BULLE »

  •  Mettre la photo et graphique

    RANDOMISATION DANS LA "BULLE"

    Tirer au sort dans la bulle

    Dans la

    bulle,

    comparer

    Test et

    Témoin

    participantsNon-participants

    Test

    Témoin

  •  À la fin, tout le monde bénéficiera du programme

     C'est une approche naturelle lorsque l’on fait face

    à des contraintes de moyens pour étendre le

    programme

     Comment déterminer quelles écoles, quelles

    agences, etc. bénéficieront du traitement telle ou

    telle année ?

    LA MISE EN PLACE PROGRESSIVE

  • MISE EN PLACE PROGRESSIVE

    Mise en place progressive

    1ère phase Test: 1/3

    Témoin: 2/3

    2ème phase Test: 2/3

    Témoin: 1/3

    3ème phase Test: 3/3

    Témoin: 0 1

    1

    1 1

    1

    1

    1

    1

    1

    1 1

    1

    1

    1

    2

    2

    2 2

    2

    2

    2 2

    2

    2

    2

    2 2

    2

    2

    2

    3

    33 3

    3

    3

    3

    33

    3

    33

    3

    3

    3 3

    3

    1ère phase Test: 1/3

    Témoin: 2/3

    2ème phase Test: 2/3

    Témoin: 1/3

    Fin de

    l'évaluation

    aléatoire

    Fin de