Enjeux et défis de Enjeux et défis de l’évaluation d’impact en l’évaluation d’impact en Afrique : Cas d’une Afrique : Cas d’une évaluation réalisée au Béninévaluation réalisée au Bénin

Serge DJOSSA ADOUN, IT/IM, M.SC (Cand)Marie GERVAIS, Ph.DUniversité Laval, Québec (Qc), Canada

Contact: medamas2@yahoo.fr

21/04/23 1

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

Qui sommes-nous?Qui sommes-nous?État civil: DJOSSA ADOUN M. A.

SergeNationalité: BéninoiseDiplôme d’Ingénieur des Travaux

en Imagerie Médicale à l’ÉPAC/UAC en 2005 + pratique 1an ½

Puis à l’UL…avec bourse du PCBFMaîtrise en Santé Communautaire :

Concentration en Évaluation Cadre de la recherche: mémoire sous la

direction de Marie GERVAIS, Ph D

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 2

Objectif de la Objectif de la communicationcommunication

Discuter avec vous des enjeux et défis rencontrés ainsi que les leçons tirées aux différentes étapes de mon expérience d’une évaluation d’impact menée au Bénin, un pays aux acquis encore fragiles en évaluation.

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 3

Plan de la communicationPlan de la communicationI- Identification du sujet et rédaction

de protocole de rechercheII- Préparation du terrainIII- Méthode d’évaluationIV- Collecte de donnéesV- L’après collecteVI- 1ers résultats: Modèle logiqueVII- Retombées de notre démarche VIII- Facteurs facilitant IX- Leçons dégagées de l’expérience

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 4

I- Identification du sujet et I- Identification du sujet et rédaction de protocole de rédaction de protocole de

rechercherechercheEnjeu Boursier du PCBF: travailler au

développement de son pays1er défi: accès à l’information depuis

l’extérieur◦Visibilité des organisations: informations

quasi inexistantes sur internet ◦Difficulté de contact: importance d’avoir

des connaissances dans le milieu (cousinage)

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 5

I- Identification du sujet et I- Identification du sujet et rédaction de protocole de rédaction de protocole de

rechercherecherche2e défi: Gestion du temps/étudiant-

chercheurÉtudiant bousier: à temps plein+formalités administratives liées aux normes de recherche de l’UL- Approbation du CÉRUL- Soumission du protocole à la Direction de programme- Demande d’autorisation dans le milieu de recherche

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 6

II- Préparation du terrainII- Préparation du terrain3e défi: communication de l’extérieur

◦Courriel(Email): consultation et réponse◦Téléphone: perturbation des lignes

Importance de s’y mettre à temps

Autre enjeu: Œuvrer à l’instauration d’une culture d’évaluation dans le milieu

organisationnel

• 4e défi: adhésion acteurs à la démarche oDémystifier l’évaluationoRéunir les acteurs pour présentation de la

démarcheoDisponibilité: rêve? Chance? Comment procéder?

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 7

III- Méthode d’évaluationIII- Méthode d’évaluationObjet d’évaluation :

◦Organisation: Association Béninoise de Promotion de la Famille (ABPF)

Domaine : Santé sexuelle & reproductive

Programme évalué: Programme Adolescents et Jeunes dont les Centres Socio-éducatifs pour Adolescents et Jeunes (CSEAJ) constituent le cadre d’intervention

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 8

III- Méthode d’évaluationIII- Méthode d’évaluationQuestions d’évaluation

◦1- Quels sont les effets du programme Adolescents et Jeunes de l’ABPF à travers les activités du CSEAJ?

◦2- Quelles appréciations les bénéficiaires ont-ils des activités du CSEAJ quant à la satisfaction de leurs besoins et comment perçoivent-ils les changements induits dans leurs comportements par ce programme ?

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 9

III- Méthode d’évaluationIII- Méthode d’évaluationAppr. métho: étude de cas (Yin, 1993)

◦Pourquoi? Comment? (sources données multi.)

◦choix du cas

Devis: mesure unique (Deslauriers, 1991) ◦Difficulté ou impossibilité d’avoir des

mesures pré-intervention fiables

Démarche: qualitative (Weiss, 1998 et Owen, 2007) Logiciel Nvivo (version 8) pour analyser

données 21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 10

IV- Collecte de donnéesIV- Collecte de données

Consultation des données administratives

5e défi: disponibilité de base de données

Entrevues avec les responsables6e défi: obtention- respect de

rendez-vousDifficulté voire impossibilité d’accès à

certains acteurs

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 11

IV- Collecte de donnéesIV- Collecte de donnéesQuestionnaires aux bénéficiaires7e défi: rencontrer les bénéficiaires

◦Période appropriée? Bénéficiaires = élèves/étudiants en début des vacances

◦FlexibilitéCSEAJ tous les jours ouvrablesAppels téléphoniquesEntrevue sur moto en

circulation(matériel!)Observation participante plage Fidjrossè

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 12

Quelques images Quelques images observation participanteobservation participante

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 13

Quelques images Quelques images observation participanteobservation participante

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 14

V- L’après collecteV- L’après collecte8e défi: retour pour validation

◦Difficulté de réunir les acteurs ◦Procéder par des rencontres

individuelles des acteurs clés pour valider les premiers outputs de notre évaluation...Un modèle logique du programme: lien

entre les objectifs du programme et les résultats attendus en passant par les activités développées pour y arriver…

Mais aussi complétés par indicateurs que nous avons élaborés pour mesurer l’atteinte des objectifs

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 15

VI- 1VI- 1ersers résultats: Modèle résultats: Modèle logiquelogique

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

16

Composantes

Objectifs

Acteurs

Activités

Public cible

Résultats

Indicateurs

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

17

VII- Retombées de notre VII- Retombées de notre démarche évaluativedémarche évaluative

Quelques pas vers l’émergence d’une culture d’évaluation dans l’organisation◦Démystifier l’évaluation◦Obtenir l’adhésion des acteurs à

notre démarche évaluative◦Préparer et outiller l’organisation à

l’évaluation d’impact: Mise sur pied d’indicateurs Élaboration de modèle logique

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 18

VIII- Facteurs facilitant VIII- Facteurs facilitant Évaluation non demandée par

bailleurs◦+facile adhésion - attentes émises par

acteursAuteur ‟étranger ”: facilité à vendre le

projet dans milieu organisationnelContact dans l’organisation…Soutien de ma Directrice M.G. dans les

décisions de changement prises sur le terrain

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 19

IX- Leçons dégagées de IX- Leçons dégagées de l’expériencel’expérience

Patience

Prévoir plus de temps qu’il en faut

Être flexible et être en mesure de s’adapter aux changements sur le terrain

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 20

Autres leçons selon Autres leçons selon vous…?vous…?

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 21

Merci de votre présence et de votre attentive écoute

An evaluation panel