GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de...

GTZ / Guinée Evaluation - Modules 1-5 1

Cours de base sur l’évaluation des programmes et projets de lutte contre la

pauvreté

GTZ / Guinée, septembre 2003GTZ / Guinée, septembre 2003

Formateur: Jim BennettFormateur: Jim Bennett (GTZ) (GTZ)


Module No. 1


Objectifs du cours

• Objectif spécifique: préparer un groupe d‘experts nationaux à la conception et la mise en oeuvre d‘une évaluation à mi-parcours de la SRP de la Guinée

• Objectif global: contribuer à la préparation de la dite évaluation et finalement à l‘amélioration de la qualité de la politique guinéenne en matière de lutte contre la pauvreté


Contenu du cours (1)

• Le DSRP de la Guinée• Les DSRP d‘autres pays africains• Les instruments (cadre logique etc.)• Standards d‘évaluation internationaux• L‘évaluation participative


Contenu du cours (2)

• La préparation d‘une évaluation• Les exigences spécifiques de

l‘évaluation à mi-parcours de la SRP en Guinée

• Termes de référence / logistique• Validation des résultats du cours• Recommandations pour l‘avenir• Certification des participants


Approche méthodologique

• 50% séances en plénière• 50% en groupes de travail (GT)• Modérateurs et rapporteurs élus (en

rotation) dans les GT• 50% en matière d‘évaluation générale• 50% en matière d‘évaluation ciblée vers

les besoins de l‘évaluation à mi-parcours de la SRP en Guinée


La boîte FLASH

Pour exprimer vos• idées,• recommandations, et• critiques

lors du séminaire, selon vos besoins!


Visualisation à l‘aide des cartes métaplan

Principes de base:• Respectez les couleurs des cartes (afin

de faciliter le triage ultérieur)• Entrez une seule unité d‘information sur

une carte donnée• Écrivez lisiblement• Entrez au maximum 4 lignes de texte=> Exemples


Introduction des participants (2 par 2)

• Nom, origines, famille ...• Profession / institution / fonction• Expériences en matière d‘évaluation• Intérêts spéciaux et/ou personnels

Sur cartes métaplan:• Résultat(s) attendus de ce cours• Perspectives personnelles (sur 10 ans)


4 valeurs à partager

• Confidentialité: Ce qui va se passer et se dire ici restera entre nous

• Ouverture: Chacun peut exprimer ses opinions sans contrainte, avec un esprit critique, mais tolérant

• Participation active: Chacun sera à la fois acteur et bénéficiaire de nos jours de travail communs

• Réalisme: Gardons les pieds sur terre!


Suivi des connaissances acquises: l‘auto-évaluation

• Le suivi sera anonyme – Remplissez le questionnaire et écrivez tout en bas un nom fictif ou code individuel de votre choix

• Les questionnaires seront ramassés et puis retournés à la fin du cours pour un 2ème passage

• La comparaison des résultats vous permettra de voir plus concrètement les connaissances acquises lors de la semaine

• Le suivi nous aidera à améliorer le cours=> Remplissez le questionnaire s.v.p. (10 minutes)


Définitions de base

Evaluation (1)• Une mesure, aussi systématique et objective

que possible, des résultats d‘un projet, d‘un programme ou d‘une politique, en vue de déterminer sa pertinence, et sa cohérence, l‘efficience de sa mise en oeuvre, son efficacité et son impact ainsi que la pérennité des effets obtenus.(Banque mondiale)


Définitions de base (suite)

Evaluation (2)• Examen indépendant et objectif (fait

pendant ou après le projet) du contexte, des objectifs, des résultats, des activités et des moyens mis en oeuvre, en vue d‘en tirer des leçons extrapolables.(Commission des communautés européennes).



Evaluation de la SRP (en Guinée)• L‘évaluation se concentre sur réalisation des

objectifs de la SRP et les impacts (attendus ou non attendus) des politiques et programmes sur les conditions de vie des populations. Il s‘agit d‘une analyse approfondie des facteurs clés pertinents liés à la mise en oeuvre de la SRP en termes de politiques et programmes et des relations entre ceux-ci.(MEF / SP / Groupe thématique suivi-évaluation)



Suivi (ou suivi-évaluation)• Élaboré sur la base d’indicateurs, le suivi est effectué

au cours d'une action.• Il permet d'ajuster régulièrement le contenu et les

méthodes, mais n'est pas suffisant pour réorienter l’action en profondeur.

• Le suivi se distingue de l'évaluation proprement dite - il est plus régulier, et le champ des réflexions englobées est moins étendu que celui de l'évaluation.

(Gueneau et Beaudoux 1996)



Suivi de la SRP• Il sert à l‘identification des problèmes

périodiques rencontrés pendant la mise en oeuvre des programmes de réduction de la pauvreté afin de prendre les mesures de correction nécessaire. Le suivi permet de s‘apercevoir si les activités en cours aboutissent aux résultats escomptes.(MEF / SP / Groupe thématique suivi-évaluation)


Définitions (suite)

Evaluation ex ante• Étape préparatoire d'une action, qui prend la forme

d'études de faisabilité et de viabilité. La suite logique de l'identification (si elle est positive) est le démarrage de l'action. L’évaluation ex ante - dite également évaluation préalable - conduite préalablement à une action, un projet, un programme, au lancement d'une politique. Elle permet souvent de décider de l'opportunité de lancer effectivement le projet ou le programme, ou la mise en œuvre de la politique.


Définitions (suite)

Evaluation ex post• L'évaluation ex post intervient à la fin d'une action ou

de l'une de ses phases. Rétrospective de l'action, elle suppose une relecture de l'ensemble de l'action (ou d'une phase), depuis son origine pour aboutir à une interrogation générale et des recommandations pour l'avenir. L’évaluation ex post - dite également finale - conduite au terme d'une action, d'un projet, d'un programme, ou de la mise en œuvre d'une politique. Elle permet de dresser le bilan du projet, du programme, ou de la mise en œuvre de la politique.



Évaluation à mi-parcours• Évaluation à mi-parcours - dite également

évaluation intérimaire - conduite au milieu d'une action, d'un projet, d'un programme, ou de la mise en œuvre d'une politique. Elle permet de réorienter si nécessaire le projet ou le programme, ou la mise en œuvre de la politique.


Interne ou externe?

• L'évaluation est interne lorsque l’évaluateur appartient à la structure directement responsable de l'action.

• L'évaluation est externe lorsque l’évaluateur est choisi en dehors de la structure responsable de l'action.

• Si les évaluateurs travaillent en équipe, l‘évaluation peut être mixte (interne-externe).

• L‘auto-évaluation: C'est une évaluation réalisée par les bénéficiaires avec l'aide éventuelle d'un animateur extérieur (on parle alors d’auto-évaluation assistée).


Les trois dimensions / questions fondamentales

Contrôle: Qui contrôle les processus d‘évaluation?Participation: Qui participe au processus d‘évaluation?Profondeur: Quelle profondeur de participation faut-il assurer?


Deux types d‘évaluation participative

• Évaluation participative pratique: Avec priorité accordée à l‘appui aux décideurs d‘un programme ou d‘une organisation

• Évaluation participative transformative: Avec priorité accordée au changement social et au renforcement des capacités des groupes cibles

Pour discussion => Quel type d‘évaluation pour l‘évaluation à mi-parcours de la SRP en Guinée?


Le processus SRP en Guinée

1999: Initiative PPTE à Cologne

Décembre 2000: DSRP intérimaire et point de décision

2001: Travaux en groupes thématiques et plusieurs consultations auprès des populations de base

Juillet 2001: 1ère ébauche du DSRP final

Début 2002; DSRP final, validation par les populations, approbation par le Gouvernement et présentation à l‘Assemblée Nationale

Mai 2002: Atelier sur la mise en œuvre de la SRP


La SRP de la Guinée (2)

Rappel des grands axes de la SRP:

L‘accélération de la croissance

Développement et accès équitable aux services de base

L‘amélioration de la gouvernance et renforcement du cadre institutionnel et des capacités humaines


La SRP de la Guinée (3)

Rappel des principaux objectifs de la SRP:

La réduction de l'incidence de la pauvreté monétaire de 40,3% à 30%, et

Plus particulièrement de 52,5% à 38% en milieu rural ...

à l'horizon 2010.


Les principaux instruments de suivi de la mise en œuvre de la SRP guinéenne

• Rapports réguliers sur décaissements PPTE, dépenses publiques aux secteurs prioritaires, et financement extérieur (partenaires)

• Suivi des réalisations physiques (selon des critères de performance à établir)

• Enquêtes régulières auprès des ménages sur la pauvreté monétaire et en services sociaux (EIBC II)

• Enquêtes qualitatives sur les perceptions des groupes-cible


Principes de base du système de suivi-évaluation

• Participation permanente des populations au suivi-évaluation de la SRP

• Constitution d’un système d’informations statistiques pour la réduction de la pauvreté (SISRP)

• Établissement d’un programme minimum d’informations statistiques sur une période de 5 ans

• Mise en place des organes (comités) de suivi-évaluation


Les DSRP en Afrique (rapport BM 4/03)

• Premiers DSRP intérimaires (I-PRSP): Tanzanie, Madagascar et Sao Tomé & Principe (4/2000),

• Jusqu‘à présent 25 PRSP intérimaires,• Premiers DSRP finaux: Uganda (5/2000), Burkina

Faso (6/2000), Tanzanie (11/2000)• Jusqu‘à présent 15 PRSP finaux, et• Premiers rapports d‘avancement: Uganda (5/2001),

Tanzanie (11/2001), Burkina Faso (12/2001),• Jusqu‘à présent 6 rapports d‘avancement.


Les principaux caractéristiques des DSRP

• La profondeur de l‘analyse de la nature et des causes de la pauvreté,

• Les liens entre l‘objectif global à long terme et les mesures à réaliser pour y arriver,

• Le degré de participation surtout au niveau des populations cibles, et

• Les systèmes de suivi et d‘évaluation.


Analyse de la situation

Une politique contre la pauvreté bien instruite qui répond aux besoins réels des groupes cibles doit nécessairement se baser sur une analyse correcte et complète de la situation donnée. Cette analyse peut se réaliser en trois étapes:

• L‘analyse des problèmes (image de la réalité de pauvreté actuelle);

• L‘analyse des objectifs (image de l‘avenir et d‘une situation améliorée);

• L‘analyse des stratégies (comparaison de différentes “chaînes d‘objectifs“)


Analyse des problèmes

L‘analyse des problèmes permet:• de définir avec précision le cadre et le sujet

d‘analyse,• d‘analyser les groupes intéressés,• d‘analyser la situation problématique,• d‘identifier et hiérarchiser les problèmes, et• de communiquer / visualiser les relations

causes à effets dans un diagramme.


Analyse des problèmes (2)

• Définition d‘un problème: Une situation qui est censée être négative

• Il n’est pas l’absence d’une solution envisagée au préalable

• FAUX: “Il n’y a pas de pesticides”• CORRECTE: “La récolte est sensiblement

diminuée par des souris"


Analyse des problèmes (3)

Il est généralement recommandé:• de se concentrer sur les goulots d‘étranglement

réels, importants et prioritaires pour les principaux groupes concernés

• de faire l‘analyse sous forme de réunion ou d‘atelier auquel participent les parties concernées et qu‘anime une personne qui maîtrise la méthode et la dynamique de groupe

• de combiner l‘analyse avec d‘autres dont les résultats peuvent être ajoutés à l‘analyse en groupe.

34Evaluation - Modules 1-5GTZ / Guinée

Diagramme des problèmes(non structuré)

Dégradation dessols

Techniques appliqués

non appropriées

Services agricoles

insuffisants

Recherche agricole pas pertinente

Paysans non dynamiques / innovateurs

Rendements agricoles réduits

Revenus agricoles

insuffisants

Pauvreté accentuée au milieu

rural


Diagramme des problèmes (structuré)

Problème noyau

EffetsEffets

CausesCauses


Exemple

Faible investissement

public

Entretien insuffisant des infrastructures

existantes

Pauvreté générale au milieu rural

Production agricole

insuffisante

Faiblesse des institutions de participation

au milieu rural

Insuffisance des infra-structures

rurales

Exode rural vers les

grandes villes

Dégradation des ressources naturelles

Techniques de production

agricole non appropriées


Exercice

• Établissez 3 ou 4 groupes de travail en suivant les grands axes (secteurs) de SRP

• Dans chaque groupe de travail, nommez un modérateur et un rapporteur

• Sur la base du DSRP, identifiez le problème noyau de l‘axe / secteur que la SRP veut résoudre

• Identifiez les principaux effets du problème noyau • Identifiez les principales causes du problème noyau

(au maximum 2 niveaux)• Présentez les résultats en plénière ...


Exercice (suite)

Il est fortement recommandé:• de se baser prioritairement sur l‘analyse

présentée dans le DSRP, mais• d‘indiquer (avec des cartes métaplan d‘une

autre couleur) si les problèmes identifiés dépassent ceux qui sont présentés dans le DSRP.

=> Exercice


Module No. 2


Réflexion• Chacun entre nous a sa propre perception de la

réalité qui existe et sa propre vision de la réalité qu‘il faut établir à l‘avenir.

• Ces perceptions et visions peuvent s‘imposer de manière parfois difficile à cerner sur les résultats d‘une évaluation.

• Par conséquent, il y aura un élément de subjectivité dans toute évaluation.

• A l‘aide d‘un travail en groupes multidisciplinaires et multiculturels, la subjectivité des résultats peut être réduite c‘est à dire une objectivité relative (mais jamais absolue!) peut être assurée.


Le processus d’évaluation

1) Décision de faire une évaluation

2) Recrutement de l’équipe d‘évaluateurs

3) Établissement d’un plan d‘évaluation

4) Collecte des informations pertinentes

5) Synthèse, analyse et vérification

6) Élaboration d’un plan d’action pour l’avenir

7) Contrôle et utilisation des résultats et rapports de l‘évaluation


Le processus d’évaluation (2)

Décision

Recrutement

Plan d‘évaluationCollecte

Synthèse

Plan d‘action

Utilisation


La décision de faire une évaluation

Quelques questions clés:• Qui prend la décision - les responsables du

programme, les bénéficiaires, les bailleurs de fonds, … ou une coalition de tous les concernés?

• Sous quelles conditions – selon la qualification des évaluateurs, la disponibilité des ressources (temps, financement, ...), la définition préalable des termes de référence, ...?


La décision (2)

Aspects pour réflexion:• Ce que les décideurs veulent apprendre (=

aspect “apprentissage“ – pour qui?)• L‘influence des financiers de l‘évaluation sur

les résultats attendus de l‘évaluation (= aspect “pouvoir“)

• L‘effort et le temps requis pour assurer un bon niveau de participation et les conséquences d‘une faible participation (= aspect “valeur ajoutée de la participation“)


Le recrutement de l’équipe• Tous les membres ont les mêmes droits et les

mêmes obligations (ou non?)• Le “chef d’équipe“: Une contradiction en soi?• Chaque équipe a besoin:

d’une coordination interne des flux d’information, et d’une représentation à l’extérieur

• Par conséquent, les équipes ont tendance à s’orienter vers les résultats dans une hiérarchie souple, dans laquelle les tâches spécifiques du “chef” se limitent à la représentation externe et la coordination interne


Le recrutement (2)

Aspects pour réflexion:• Les rôles attendus de l‘évaluateur: Expert

technique et méthodologique, pédagogue, apprentis, facilitateur, coordonnateur, arbitre, négociateur, ...

• Les avantages et inconvénients d‘une évaluation externe (p.e. objectivité versus appropriation)

• L‘équilibre de pouvoir dans une équipe mixte (interne / externe)


Le recrutement (3)Les qualifications requises (à pondérer):• Engagement et intérêt• Aptitude de travail en équipe• Connaissances techniques (méthodes, ...)• Capacité de faciliter des processus sociaux,

de communiquer avec des groupes hétérogènes, et d‘entendre (!)

• Capacités pédagogiques• Connaissances culturelles / linguistiques... mais est-ce qu‘un seul évaluateur peut

satisfaire tous ces besoins?


L‘établissement d‘un plan d‘évaluation

Quelques questions clés:• Quels concernés participent de quelle manière

(en ateliers, par e-mail etc.) dans l‘élaboration des termes de références?

• Qui va faire quoi, avec quel contrôle sur les activités, les informations et la confidentialité (avec quelles sanctions éventuelles)?

• Comment assurer la transparence des contrôles?• Quels indicateurs faut-il pour un bon suivi de la

mise en oeuvre de l‘évaluation?


La collecte des informations pertinentes

Quelques questions clés:• Qui va fournir quelles informations?• Est-ce qu‘on attend que les bénéficiaires vont

adopter et appliquer les méthodes de collecte et d‘évaluation des informations (avec quels coûts et technologies)?

• Comment s‘adapter aux conditions culturelles (p.e. les hommes peuvent-ils collecter des informations chez des femmes)?

• Quelles méthodes faut-il pour communiquer avec des analphabètes / des groupes nomades / des groupes particulièrement marginalisés?


Les techniques de collecte d‘informations

• Dessins faits par des individus ou des groupes• Cartes ou modèles des groupes • Histoires de problèmes réels évaluées par les

groupes• Expression créative (drames, jeux de rôles,

chansons, danses, sculptures collectives ... ) • Journaux (carnets intimes)• Études de cas• Réunions en groupe, ateliers, groupes focaux• Chronologies (time lines ...)• Analyse des causes (web charts ...)


Synthèse, analyse et vérification

Quelques questions clés:• Qui va valider les synthèses proposées,

quand et selon quels critères?• Quelles seront les méthodes analytiques à

appliquer, quand et par qui?• Quels seront les procédés et méthodes de

vérification des informations collectées (p.e. par triangulation, ateliers, rétroaction etc.)

• Quels sont les rapports à produire?


Élaboration d’un plan d’action

Quelques questions clés:• Qui veut quelle action?• Qui va contrôler les actions proposées?• Qui sera le responsable de chaque action

(avec quelles sanctions possibles)?• Quel calendrier d‘action?• Qui va financer les actions proposées?• Quel système de suivi-évaluation faut-il pour

assurer la réalisation du plan d‘action?


Contrôle et utilisation des résultats

Quelques questions clés:• Comment et à qui faut-il communiquer les

résultats de l‘évaluation?• Quand et dans quelle forme faut-il distribuer

les rapports d‘évaluation?• Quelles seront les modalités de rétroaction?• Comment suivre et mesurer les impacts de

l‘évaluation?• Quelles peuvent être les conséquences pour

des futures évaluations?


Analyse des objectifs

L‘analyse des objectifs permet:• de décrire la situation future qui prévaudra

lorsque les problèmes auront été résolus,• d‘identifier et de hiérarchiser les objectifs,

et• de communiquer / visualiser les relations

moyens-fins dans un diagramme.


Analyse des objectives (2)

• Dans l‘analyse initiale, les situations négatives du diagramme des problèmes seront converties en situations positives atteintes.

• La hiérarchie “moyens-fins” se substitue ainsi à la hiérarchie “causes-effets”.

• Le diagramme initial englobera dans certains cas des objectifs qui ne peuvent pas être réalisés. Donc, un ajustement du diagramme initial sera nécessaire.


Analyse des objectives: 6 étapes

1) Transformation des problèmes (situation négatives) en objectifs (situations positives).

2) Vérification si les résultats sont réalistes et acceptables du point de vue éthique. (Si nécessaire, réformulation des problèmes.)

3) Si une bonne transformation n’est pas possible, on met le problème à part et on y ajoute des commentaires.


4) Vérification si les objectifs d’un niveau suffisent pour atteindre l’objectifs du niveau supérieur.

5) Une fois le diagramme complété, vérification de la cohérence logique d’en bas en haut.

6) Si nécessaire, on peut ajouter des objectifs afin d’assurer la fiabilité des liens moyens-fins.

Analyse des objectives: 6 étapes (suite)


Diagramme d’objectives

Moyens

Fins


Exemple

Augmentation des investisse-

ments publics au milieu rural

Systèmes d’entretien

performants et bien ciblés

Pauvreté au milieu rural

réduite

Production agricole

améliorée

Institutions rurales

renforcées

Infrastructures rurales

améliorées

Exode des zones rurales

réduite

Situation des ressources

naturelles stabilisée

Techniques appropriées introduites et appliquées


Exercice en groupes de travail

• Nommez le modérateur et le rapporteur• Identifiez les principaux objectifs du DSRP à

l‘intérieur de chaque axe / secteur• Hiérarchiser les objectifs et identifiez l‘objectif central• Vérifiez la logique de causalité à l’intérieur des

diagrammes d’objectifs• Si nécessaire, complétez le diagramme avec des

objectifs supplémentaires (cartes bleues!)• Vérifiez si le diagramme d‘objectifs représente une

bonne transformation du diagramme des problèmes• Présentez les résultats en plénière=> Exercice


Analyse des stratégies

Sur la base d‘un diagramme d‘objectifs ajusté, cette étape permet:

• d’identifier les différences stratégies possibles pour atteindre un objectif spécifique

• de choisir – en appliquant des critères de choix - la meilleure stratégie à adopter pour l’intervention


Exemples de critères de choix

• Pertinence relative aux besoins des bénéficiaires

• Pertinence relative aux priorités des principaux décideurs

• Budget disponible• Probabilité de réussite (degré de risque)• Période à couvrir


Ensembles (clusters) d‘objectifs

Augmentation des investisse-

ments publics au milieu rural

Systèmes d’entretien

performants et bien ciblés

Pauvreté au milieu rural

réduite

Production agricole

améliorée

Institutions rurales

renforcées

Infrastructures rurales

améliorées

Exode des zones rurales

réduite

Situation des ressources

naturelles stabilisée

Techniques appropriées introduites et appliquées

Stratégie No. 1Stratégie No. 2


Exemple d’une analyse des stratégies

Critère (pondération)

Stratégie No. 1 Stratégie No. 2

Priorités des bénéficiaires (50%)

… 5 (250) 2 (100)

Contraintes financières (30%)

2 (60) 4 (120)

Impact sur l’environ-nement (20%)

3 (60) 4 (80)

Total: non pondéré(pondéré)

10 (370) 10 (300)


• La SRP de la Guinée représente une d‘une multitude de stratégies possibles contre la pauvreté.

• Les critères de choix ont été plutôt implicite qu‘explicite.

• L‘évaluation de la SRP peut examiner la manière dans laquelle les stratégies alternatives ont été (ou pas) prises en compte.

Les stratégies de lutte contre la pauvreté en Guinée


La logique d’intervention

Objectifs globaux

Objectifs de haut niveau auxquels le projet ou programme contribue

Objectif spécifique

Principal objectif à atteindre

Outputs des activités requis pour atteindre l’objectif spécifique

Résultats

ActivitésTâches à réaliser par le projet / programme exigeant de manière directe des ressources

Moyens

Ressources physiques ou non physiques requis pour exécuter les activités


Le cadre logique (CL)Aperçu d’une page qui répond aux questions suivantes:

• POURQUOI le programme / projet existe• CE QUE le programme / projet doit atteindre• COMMENT le programme / projet va atteindre ses

objectifs• QUELS facteurs externes vont s’impacter sur la

réalisation des objectifs• COMMENT l’achèvement des objectifs va être

mesuré• OU on va trouver les informations pour déterminer

l’achèvement des objectifs


Structure générale du CL:

Description som-maire de la logique d’intervention

Indicateurs objectivement vérifiables (IOV)

Moyens / sources de vérification (SDV)

Hypothèses importantes

Objectifs globaux … pour la réalisation des objectifs globaux

… pour l’indicateur respectif

… relatives à la pérennité des impacts

Objectif spécifique … pour la réalisation de l’objectif spécifique


… relatives à l’achèvement des objectifs globaux

Résultats / outputs … pour la réalisation des résultats / outputs


… relatives à l’achèvement de l‘objectif spécifique

Activités Spécification des moyens / coûts / temps requis (personnel, équipement, financement, calendrier etc.)

… relatives à l’achèvement des résultats / outputs


Logique verticale du CLDescription sommaire

Lien Hypothèses importantes

Objectifs globaux … relatives à la pérennité des impacts

Objectif spécifique achevé plus … … relatives à l’achève-ment des objectifs globaux

Résultats / Outputs achevés plus … … relatives à l’achève-ment de l‘objectif spécifique

Activités exécutées plus … … relatives à l’achève-ment des résultats / outputs


Logique horizontale du CLDescription sommaire

Indicateurs objective-ment vérifiables (IOV)


Objectifs globaux … pour préciser les objectifs globaux


Objectif spécifique … pour préciser l‘objectif spécifique


Résultats / Outputs … pour préciser les résultats / outputs


Activités … sans IOV, mais avec moyens / coûts


Exemples

Voir fiches exemplaires:• Niger: Route Niamey-Dosso• Niger: Appui à l’UEMOA• Niger: ASAPI



• Nommez le modérateur et le rapporteur• Identifiez l’objectif spécifique (central) et les

objectifs globaux à l’intérieur de l’axe SRP• Identifiez 3-5 résultats / outputs attendus

requis pour atteindre l’objectif spécifique• Identifiez les principales activités requises

pour réaliser les résultats / outputs attendus (jusqu’à 5 activités par résultat / outputs)

=> Exercice


Module No. 3


La logique d‘intervention

Présentation des résultatsdu travail en groups


Hypothèses

• Un programme / projet ne peut pas atteindre tous les objectifs envisagés sans prise en compte des facteurs externes.

• Les objectifs qui ne sont pas inclus dans la logique d’intervention deviennent des facteurs externes.

• Ces facteurs peuvent s’impacter sur la mise en oeuvre du projet et la pérennité (viabilité) de ses impacts.

• Dans ce cas, il faut documenter les facteurs externes dans le CL en tant que “hypothèses” (suppositions).

• La réalisation des hypothèses permettra la réalisation des objectifs du programme / projet .


Hypothèses (2)

• Si toutes les activités sont réalisées et toutes les hypo-thèses à ce niveau sont valides, les résultats attendus seront achevés.

• Si tous les résultats sont achevés et toutes les hypo-thèses à ce niveau sont valides, l’objectif spécifique sera atteint.

• Si l’objectif spécifique est atteint et toutes les hypo-thèses à ce niveau sont valides, la contribution du programme / projet aux objectifs globaux sera réalisée.

• Note: Certains CL (p.e. de l’UE) permettent aussi des “pré-conditions“ pour le démarrage du projet (dans une case supplémentaire).


Rappel: La logique verticale du CL

Description sommaire

Lien Hypothèses importantes

Objectifs globaux … relatives à la pérennité des impacts

Objectif spécifique achevé plus … … relatives à l’achève-ment des objectifs globaux

Résultats / Outputs achevés plus … … relatives à l’achève-ment de l‘objectif spécifique

Activités exécutées plus … … relatives à l’achève-ment des résultats / outputs


Analyse des hypothèses

• Appréciation succincte de la probabilité et de la signifiance des conditions externes.

• Il y a des hypothèses qui sont critiques, et d’autres qui sont plutôt marginales.

• Les hypothèses expriment des situations souhaitées p.e. “les salaires des enseignants sont payées de manière régulière”.

• Il faut qui les hypothèses soient objectivement vérifiables.


Analyse des hypothèses (2)Est-ce que cette hypothèse est importante?

Oui Non

Est-ce que sa réalisa-tion est probable? Intégration dans le CL

non requise

Intégration dans le CL requise

Est-ce qu’il est possible d’adapter le programme / projet de manière que l’impact de le hypothèse sera

réduite?

Très probable

Probable

Peu probable

Non

Oui

Le programme / projet n’est pas faisable

Adaptez le programme/ projet en ajustant ou ajoutant de nouveaux

éléments dans la logique d’intervention



• Nommez le modérateur et le rapporteur• Identifiez toutes les hypothèses pertinentes et

exprimées dans le DSRP à tous les niveaux de vos logiques d’intervention

• Vérifiez chaque hypothèse en appliquant la procédure sus-mentionnée

• Ajoutez, si nécessaire, des hypothèses qui ne sont pas incluses dans le DSRP (cartes bleues!)

• Vérifiez la fiabilité des logiques d’intervention - ou refaire la logique!

=> Exercice


Indicateurs: Définition• Les indicateurs objectivement vérifiables (IOV)

sont les descriptions opérationnelles des objectifs et résultats de l’intervention, qui couvrent l’essentiel et qui peuvent être mesurées d’une façon fiable pour un coût acceptable.

• Les indicateurs objectivement vérifiables nécessitent souvent d’être davantage détaillés ou opérationalisés lors de la phase de mise en oeuvre du programme / projet pour permettre un suivi efficace.


Types d’indicateurs• Indicateurs d’input ou d’activité• Indicateurs d’output ou de résultats• Indicateurs d’impact ou de contexte• Indicateurs de base (valeurs initiales / baseline)• Indicateurs de performance (benchmark)• Indicateurs substitutifs (proxy)• Indicateurs de principes horizontaux / transversaux• Indices (ensembles d’indicateurs pondérés ou non)


D’autres types d’indicateurs(voir Union européenne)

• Indicateurs clés: Indicateurs d’impact d’importance fondamentale

• Indicateurs noyaux: Pour élaborer des analyses comparatives de plusieurs programmes, projets ou d’autres mesures semblables


L’opérationalité d’un IOV

Six dimensions / questions:• L‘objet (quoi?)• La quantité (combien?)• La qualité (comment?)• Le groupe cible (qui?)• La période (quand?)• La localisation (où?)


Exemple No. 1

A partir de 2005 tous les paysansde la région de Bogo appliquent le

calendrier agricole et plantent leur rizà juste distance.

Combien? (tout le riz?)

Quoi?

Qui?Quand?

Où?

Comment?


Exemple No. 2

La mortalité maternelle en Guinée estréduite de 538 à 220 pour 100.000

naissances de 1999 à 2015

Quoi?

Combien?

Qui? (les mères)

Quand?

Où?

Comment?


Exemple No. 3

Les conseils préfectoraux ont élaboré et mis en oeuvre de plans locaux

dans au moins 50% des préfectures avant la fin de l‘année 2005

Quoi?Combien?(tous les plans)

Qui?

Quand?Où?Comment?

(Qualité?)


Exemple No. 4

L‘incidence de la pauvreté est réduitede 40,3% en 1995 à 30,0% en 2010

au niveau national.

Quoi?

Combien?

Qui ?(les pauvres)

Quand?

Où?

Comment?


Sources de vérification (SDV): Définition

• Les sources de vérification sont des moyens d’information complémentaires permettant de déterminer et de juger les progrès réalisés vers les résultats et les objectifs planifiés, opérationalisés sous la forme des IOV.


Exemples

• Enquête annuelle menée par le programme / projet parmi les paysans concernés.

• Enquête annuelle menée par le programme / projet parmi les conseillers impliqués.

• Publication annuelle de la Direction nationale de la statistique (DNS).

• Rapport du Secrétariat Permanent.• Observations des évaluateurs externes.


Exercice

• Nommez les modérateurs et rapporteurs• Se référant au DSRP, identifiez un IOV et une

SDV pour chaque élément de votre logique d‘intervention et intégrez ceux-ci dans les CL.

• Note: Au niveau des activités il n’y a pas d’indicateurs.

• Vérifiez la qualité de chaque IOV en appliquant les six dimensions / questions sus-mentionnées.

• Présentez les résultats en plénière.=> Exercice


Module No. 4


Rapports sur les visites

• Description succincte du projet visité• Principales observations relatives aux

systèmes de suivi-évaluation appliqués• Conclusions générales• Recommandations (ou leçons) relatives à

la préparation et la mise en oeuvre de l‘évaluation à mi-parcours de la SRP


Rappel: Le cadre logique (CL):

Description som-maire de la logique d’intervention

Indicateurs objectivement vérifiables (IOV)


Hypothèses importantes

Objectifs globaux … pour la réalisation des objectifs globaux


… relatives à la pérennité des impacts

Objectif spécifique … pour la réalisation de l’objectif spécifique


… relatives à l’achèvement des objectifs globaux

Résultats / outputs … pour la réalisation des résultats / outputs


… relatives à l’achèvement de l‘objectif spécifique

Activités Spécification des moyens / coûts / temps requis (personnel, équipement, financement, calendrier etc.)

… relatives à l’achèvement des résultats / outputs


Définitions (suite)• Objectif global: Objectif dont le niveau dépasse

celui de l‘intervention (politique / programme / projet) mais auquel l‘intervention devra contribuer. D‘autres interventions contribuent également à la réalisation de cet objectif global. Il peut y avoir plusieurs objectifs globaux.

• Objectif spécifique: Principal objectif à réaliser durant l‘intervention et avec la probabilité réelle que les bénéfices qu‘il dégage pour les groupes cibles subsistent après l‘intervention.

Source: Commission UE, Manuel GCP, février 1993, p. 23; propres interprétations


Définitions (2)• Résultats: Produits des activités entreprises, qui

réaliseront ensemble l‘objectif spécifique.• Indicateur objectivement vérifiable: Une

description opérationnelle des objectifs et résultats en termes de quantité et de qualité d‘un produit pour un groupe cible, avec indication de temps et de lieu.

• Source de vérification: Elle indique d‘où et sous quelle forme proviennent les informations sur la réalisation des objectifs et des résultats opérationalisés en indicateurs objectivement vérifiables.

Source: Commission UE, Manuel GCP, février 1993, p. 24; propres interprétations


Indicateurs (suite)• Les IOV concernant l‘objectif global tendent à être

plus qualitatifs que ceux applicables aux résultats et à l‘objectif spécifique, qui, pour leur part, présentent des aspects plus quantitatifs. Toutefois, ils doivent être quantifiés – par exemple, le pourcentage des personnes à former, le nombre de formateurs par stagiaire, situation de départ et situation actuelle (intermédiaire) etc.

• Il faudra s‘assurer que les IOV concernant l‘objectif spécifique du projet intègre en termes pratiques la notion de “bénéfices durables pour le groupe cible“.

Source: Commission européenne, EuropeAid, H6, février 2001, page 13, propres interprétations


Indicateurs (suite)• Les indicateurs objectivement vérifiables (IOV)

décrivent exactement les objectifs globaux et spécifique ou les résultats généraux en termes mesurables du point de vue fonctionnel (la quantité et la qualité, le groupe cible(s), le temps et le lieu); ils doivent donner une image représentative de la situation et être mesurables d‘une manière cohérente et à un coût acceptable.

Source: Commission européenne, EuropeAid, H6, février 2001, page 13, propres interprétations


Types d‘indicateur dans le DSRP

Selon le rapport du GTSE no. 001 (9/2003):• Indicateurs de 1er rang: Ils permettent d‘apprécier

l‘évolution d‘ensemble• Indicateurs de 2ème rang, pour des analyses et

recherche de facteurs explicatifs• Indicateurs de fréquence annuelle ou de 5 ans• Indicateurs aux niveaux national, régional, CRD/CU

et de genre• Indicateurs des Objectifs de la déclaration du

millénaire (ODM)• Indicateurs d‘intrant (input), de réalisations directes

(output), de résultats (outcome), et d‘impact


L’évaluation de l’impact

• Question clé d’évaluation: “Que ce serait-il passé pour les bénéficiaires si l‘intervention (politique / programme / projet) n’avait pas eu lieu?”

• L’art de l’évaluation consiste à trouver une solution pour construire une base de comparaison permettant d’aboutir à une conclusion crédible.

• Comment construire une base de comparaison?


L’impact des programmes / projets de lutte contre la pauvreté

Temps

Incidence de pauvreté monétaire

Démarrage de la mise en oeuvre de la SRP

Situation sans SRP

Situation avec SRP

L‘impact de la SRP


Les 5 approches générales à l’évaluation de l’impact

• Observation après la mise en oeuvre• Observation avant et après la mise en oeuvre• Comparaison avec un groupe témoin non

équivalent réel• Comparaison avec un groupe témoin équi-

valent réel• Comparaison avec un groupe témoin équi-

valent fictif


Les indicateurs d‘impact du DSRP

Selon le rapport du GTSE no. 001 (9/2003):• Incidence de la pauvreté monétaire (%)• Proportion de la population n‘atteignant pas le niveau

minimal calorique (pauvreté extrême) (%)• Proportion de la population disposant de moins d‘un

dollar par jour (PPA)• Profondeur de la pauvreté• Indice de GINI• Proportion de zones forestières• Superficie des zones protégées pour préserver la

biodiversité


Les indicateurs d‘impact (suite)

• Taux de mortalité lié au paludisme• Taux de mortalité lié à la tuberculose• Taux de mortalité infantile• Taux de mortalité des enfants de moins de 5 ans• Taux de mortalité maternelle• Taux de mortalité spécifique due au SIDA• Taux de prévalence du VIH/SIDA• Taux de prévalence du VIH parmi les femmes

enceintes âgées de 15 à 24 ans


Exercice• Nommez les modérateurs et rapporteurs• Se référant au DSRP, identifiez un IOV et une

SDV pour chaque élément de votre logique d‘intervention et intégrez ceux-ci dans les CL.

• Si le DSRP ne présente pas d‘IOV et/ou SDV appropriés, notez vos propositions sur cartes bleues ou vertes.

• Au niveau des activités il n’y a pas d’IOV/SDV.• Vérifiez la qualité de chaque IOV en appliquant

les six questions clés (sus-mentionnées).• Présentez les résultats en plénière.=> Exercice


Le système global de monitoring de l‘UE

• Les conclusions de l'évaluation des instruments et des programmes de développement des Communautés Européennes recommandaient en mai 1999 que des systèmes de monitoring appropriés soient établis couvrant tous les projets de développement de la Commission.

• Le programme de monitoring a été mis en place et expérimenté dans 21 pays. Le processus de monitoring a été revu et affiné. La phase “croisière“ de monitoring a démarré en 2002.


Monitoring Global (2)

• Le but du monitoring est de rendre plus efficace le projet/programme et lui permettre de se réaliser en fournissant un 'feedback' (information de rétroaction) aux gestionnaires des projets à tous les niveaux à travers des "rapports de monitoring" réguliers.

• Dans la période 3/2000 – 12/2001, 472 projets dans 67 pays ont été visités (dont 67 deux fois) par les moniteurs (experts externes) de l‘UE. Dans cette période, 539 rapports de monitoring ont été élaborés.



Principaux caractéristiques du système:• Visites annuelles de tout projet en phase de mise en

oeuvre• Engagement d‘experts externes pour des missions

de deux semaines (2 projets par mission et expert) en équipes de 4 à 6 experts

• Briefing et de-briefing des responsables au siège à Bruxelles

• Présentation des rapports à Bruxelles et aux délégations au plus tard deux semaines après les missions, et intégration des fiches dans l‘Intranet de la Commission

• Fiche de réponse pour les responsables



Les principaux critères de performance:• Pertinence• Efficience• Efficacité• Impact• Viabilité

=> Voir fiches distribuées


Monitoring Global:Quelques résultats (1)

Diagram 2: Overall project performance, by region

2,772,55

2,28

2,69

2,24

1,00

1,50

2,00

2,50

3,00

3,50

4,00

Asia ACP Balkan LA MED

Regions

Ra

ting

s



Diagram 3: Overall project performance, by sector

2,51 2,522,72

2,48 2,502,66

2,422,58 2,60

2,83

1,00

1,50

2,00

2,50

3,00

3,50

4,00

Edu Hea Wat Gov Inf Agr Ind Env Oth NGO

Sectors

Rat

ings


Monitoring Global:Principales conclusions

• Les meilleurs projets sont en Asie et Amérique latine

• Les meilleurs projets se trouvent dans les secteurs d’eau, d’agriculture et d’appui aux ONG

• Les meilleurs projet sont petits (en termes de financement)

• Les meilleurs projets ont des cadres logiques bien formulés !

(voir Rapport annuel de la CCE 2002)


Pourquoi des standards?

• Orienter les évaluateurs et leurs clients dans la formulation des termes de références

• Assurer l‘exécution adéquate des évaluations

• Faciliter des analyses comparatives des résultats de plusieurs évaluations.


Les standards de l‘AfAE

Quatre groupes de principes directeurs:• Utilité: Les principes directeurs de l‘utilité sont

destinés à assurer que l‘évaluation réponde aux besoins en informations des futurs utilisateurs et que les parties prenantes s‘en approprient.

• Faisabilité: Les principes directeurs de faisabilité sont destinés à assurer que l‘évaluation est réaliste, prudente, diplomatique et économique.


Les standards de l‘AfAE (suite)

• Propriété: Les principes directeurs corrects sont destiné à assurer que les évaluations sont conduites légalement avec éthique et avec une attention particulière pour le bien-être de ceux qui sont impliqués et de ceux qui sont touchés par les résultats.

• Précision: Les principes de précision sont destinés à assurer qu‘une évaluation révélera et apportera une information techniquement adéquate autour des caractéristiques qui déterminent la valeur de mérite du programme en cours d‘évaluation.


Exercice en trois groupes

• Établissez le ranking des principes directeurs selon leur pertinence pour l‘évaluation à mi-parcours du DSRP

• Établissez le ranking des principes directeurs selon le degré de difficulté de leur mise en œuvre pour les besoins de l‘évaluation de la SRP en Guinée


Exercice (méthode)

Pertinence Difficulté

U1

U2

U3

1

2

3 1

2

3


Module No. 5


Standards et risques

• Présentation en plénière des résultats de la priorisation des standards AfAE (analyse des risques)

• Explications succinctes pour discussion• Recommandations relatives à l‘application

des standards AfAE à la préparation et l‘exécution de l‘évaluation à mi-parcours de la SRP


L‘évaluabilité d‘une intervention (politique, programme ou projet

L‘évaluabilité dépende des facteurs suivants: Source: Institut de la Banque mondiale, s.d.

• La qualité de la structure logique de l‘intervention• La précision des attentes (les indicateurs)• Le cadre d‘évaluation• Le système de suivi

=> D‘après vous, est-ce que la SRP de la Guinée est évaluable?


La logique d‘intervention de l‘évaluation à mi-parcours

Exercice “brainstorming“ en plénière:

Quel peut être l‘objectif spécifique de l‘évaluation à mi-parcours de la SRP

en Guinée?


Proposition

Pour ce qui concerne la phase de recrutement, les participants du cours de base recommandent:

• Un processus indépendant, transparent et bien coordonné

• Des équipes mixtes en termes institutionnels (interne / externe), culturels et en genre

• Des chefs d‘équipes bien expérimentés et intégratifs

=> Discussion


L‘ébauche des TdR

Après leur recrutement, les évaluateurs seront directement impliqués dans les étapes suivants du processus d‘évaluation:

• Établissement d‘un plan d‘évaluation (détaillé)

• Collecte des informations pertinentes• Synthèse, analyse et vérification• Élaboration d‘un plan d‘action (proposition)


Exercice

• Nommez les modérateurs et les rapporteurs• Formulez les principales tâches générales (8 tâches au

maximum) à réaliser durant l‘étape concerné (voir ci-dessus)

• Identifiez les moyens requis pour réaliser les tâches envisagées

• Identifiez le temps (durée approximative) requis pour réaliser les tâches envisagées

• Identifiez les risques (facteurs externes) qui peuvent impacter sur la réalisation des tâches envisagées

• Présentez vos résultats en plénière=> Exercice


Brainstorming en plénière

Les principales idées retenues:• Établissement d‘un “groupe de pilotage et

d‘apprentissage méthodologique“• Élaboration d‘un “manuel d‘évaluation“• Création d‘une “Association guinéenne de

l‘évaluation“

... et d‘autres idées?


L‘évaluation du séminaire

“Tableau synthétique“ à deux colonnes: Ce qui était très bien / intéressant / satisfaisant Ce qu‘on peut améliorer à l‘avenir


Les “derniers mots“

• Documentation du séminaire• Préparation du “cours avancé“• Certificats• D‘autres questions à clarifier• Rappel: Invitation (19h)• Clôture


Contact (1)

International Policy Advising (IPA)Dr. James G. BennettKaesenstrasse 1550677 Cologne, GermanyTel. +49-221-315356, 932 1507Fax +49-221-932 [email protected]


Contact (2)

www.srp-guinee.org


Fin du cours de base:Merci pour vos contributions!

GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de...

Documents

Transcript of GTZ / GuinéeEvaluation - Modules 1-51 Cours de base sur l é valuation des programmes et projets de...