Choisir ce qu’il faut suivre et évaluer

Session 9

Choisir ce qu’il faut suivre et évaluer

Objectifs

A la fin de la session, vous êtes capable de : Comprendre que différents acteurs ont besoin de

différentes informations pour contribuer à l’impact

Formuler de commun accord avec les autres acteurs les questions relatives à la performance de manière à orienter l’analyse des données

Formuler des indicateurs de performance D’identifier les besoins d’information et des

informations de référence

Question d’ouverture

Comment et avec qui choisir et décider ce qu’il faut suivre et évaluer ?

Comment et avec qui choisir et décider ce qu’il faut suivre et évaluer ? Déterminez les besoins d’info avec les acteurs Chaque niveau de l’hiérarchie des objectifs Cinq questions de base de l’évaluation Questions transversales (genre, participation

etc) Recherchez des infos qui expliquent les

résultats obtenus Effets imprévus Trop d’info tue l’info.

Besoins d’info de différents acteurs

Requiert Analyse et la prise de décision avec acteurs

concernés sur l’information qui est pertinente pour eux

S&E axé sur des domaines d’intérêt spécifiques

Unité de S&E du projet qui• Coordonne le cheminement des informations• Assure que l’information est plutôt complémentaire que double• Organise l’accès mutuel de tous les acteurs aux informations et à

l’analyse

Besoins d’info selon le niveau hiérarchique de l’objectif Activités

Activités programmées menées à bien et dans les délais et les limites du budget ?

Quelles activités non programmées mises en oeuvre?

Réalisations Quels sont les produits et services concrets

directement obtenus comme résultat des activités menées?

Besoins d’info selon le niveau hiérarchique de l’objectif

Objectif spécifique et – ou composante Quels changements induits par les réalisations ? Dans quelle mesure susceptibles de contribuer à

la réalisation de l’objectif spécifique et à l’impact ?

durée du projet, a-t-il permis de réaliser les changements que l’on puisse lui imputer de façon réaliste?

Besoins d’info selon le niveau hiérarchique de l’objectif

Objectif général Dans quelle mesure le projet a-t-il contribué aux

finalités de long terme ? Quelles conséquences imprévues – positives ou

négatives et pourquoi ?

L’hiérarchie des objectifs d’un projetHiérarchie

objectifs Indicateur

s

Méchanismes de faire le

suivi

Hypothèses et risques

InputsInputs CoûtsCoûtsActivités

Objectif générale

Objectif spécifiqu

eRéalisations

Pré-conditions

Pré-conditions

Cinq questions clés

Pertinence Le projet était-il une bonne idée étant donné la

situation à améliorer ? Et par rapport aux priorités des acteurs ?

Efficacité L’objectif spécifique atteint ? Réalisations et activités prévues, ont-elles

abouti ? Pourquoi ? La logique d’intervention est-elle correcte ?

Pourquoi ?

Cinq questions clés

Efficience Les moyens utilisés de manière optimale pour

obtenir des résultats ? Pourquoi ? Que pouvait-on faire autrement pour améliorer

la mise en oeuvre du projet ? (coût-bénéfices/impact)

Cinq questions clés

Impact Contribution à la réalisation des finalités du

projet ? Pourquoi ? Quelles conséquences imprévues – positives ou

négatives ? Pourquoi ?

Durabilité Une fois achevé, le projet aura-t-il des impacts

positifs persistants ? Pourquoi ?

Situation à améliorerProblèmes et Visions

Plannification pouraméliorer

(Cadre logique)

Mise en oeuvre moyens Activités Réalisations

Situation amélioreé

Impact

Questions d’évaluation et la logique d’intervention

Pertinence

Durabilité

Efficacité

Efficience

Questions transversales

Relations et positions hommes-femmes Participation Pauvreté Environnement

Contenu de la matrice de S&E

Questions de performance

Besoins d’informations

indicateurs

Information de référence

Exigences, nature et responsabilités

Collecte données

méthodes, fréquences et responsabilités

Formulaires, planification, formation, gestion des données, compétences, ressources et responsabilités

Analyse, rapports, restitution, adaptation, responsabilités

Utilité de la matrice de S&E

Pour faire un plan de S&E opérationnel et détaillé

Cadre logique N’a pas suffisamment de place pour monter un

système de S&E détaillé Ne suffit pas pour rendre le S&E opérationnel

(seulement des indicateurs et des sources de vérification

Reste du programme d’aujourd’hui

1. Formuler des questions relatives à la performance

2. Identifier les besoins d’information et les indicateurs

3. Savoir de quelle information de référence vous avez besoin

44 avec plusieurs acteurs

C’est quoi, une question de performance ? Question d’évaluation ou d’appréciation

Aide à concentrer la recherche et l’analyse de l’information sur ce qui est nécessaire pour savoir si le projet donne les résultats escomptés ou, sinon, pourquoi.

Aide à choisir l’information dont vous avez besoin Faire l’économie

Quels types d’amélioration ont été obtenus suite à la diversité des revenus résultant du projet?

Comment le pouvoir d’achat des groupes-cible a-t-il changé en comparaison avec les populations non-ciblés ?

Quels types de compétences ont été améliorés et combien de ménages ont été concernés ?

Question de performance : exemples

Principales questions de performance pour chaque niveau de la hiérarchie des objectifs Activités – qu’avons-nous fait réellement ? Réalisation – qu’avons-nous fourni grâce aux

activités du projet ? Effets – qu’est-ce qui a été obtenu grâce

aux réalisations Impacts – qu’ont apporté les effets ?

Leçons tirées – Quels enseignements ont-ils été tirés du projet ? Comment peuvent-ils contribuer à l’amélioration du projet

?

Identifier des bonnes questions relatives à la performance – critères

Quoi ?

Pourquoi ?

Conséquences ?

Actions à mener

Qu’est-ce qu’il a été un succès ou un échec ?

Ce succès ou échec, il a été due à quoi ?

Conséquences pour la réussite du projet ?

Quelles actions pour augmenter le succès du projet ?

Lier différentes questions de performance

Quoi ?

Pourquoi ?

Conséquences

Actions

ActivitésRéalisations

EffetsImpact

Pertin

ence

Effica

cité

Effici

ence

Durab

ilité + suivi de

l’avancement

Questions de performance pour l’analyse des imprévus Planifiez comment vous suivez les situations

imprévues Inserez du temps de réflexion pour la question :

“par rapport à cette activité, ces réalisations, ces effets et ces relations, qu’est-ce que nous n’avions pas prévu?”

Questions clés• Qu’est-ce qu’il s’est passé d’inattendu depuis notre dernière

réunion, évaluation ?• Comment c’était différent par rapport à nos attentes ?• Quelles implications de ces imprévus pour notre travail ?

Exercice – en binômes - questions de performance

Formulez des questions de performance pour évaluer ce cours

Les autres participants jugent Carte verte : question approuvée + pourquoi Carte rouge : question rejeté + pourquoi

Identification de l’information clé et les indicateurs appropriés Quelles informations nécessaires pour

répondre aux questions de performance ? 1. Vérifiez si la question peut être répondue

par un indicateur simple et direct (niveau d’activités et de réalisations).

2. Reflechissez consciensieusement sur les différents types d’information dont vous avez besoin pour répondre aux questions de performance (niveau d’effet et d’impact)

Question

Un indicateur c’est quoi ?

Pourquoi les indicateurs seuls ne suffissent pas?

Quels types d’indicateurs existent ?

Définition indicateur

Variable simple ou complexe, quantitative ou qualitative dont le suivi et/ou la comparaison dans le temps (ou dans l’espace) permet d’apprécier des changements intervenus

Unité d’information mesurée au fil du temps pour enregrister des changements

Pourquoi les indicateurs seuls ne suffisent pas ? Parfois trop difficils ou coûteux pour mesurer

Ce qui est simple à mesurer, parfois ne donne pas suffisament de sens pour agir

Choses importantes ne peuvent pas toujours être comptées

Indicateurs seuls n’expliquent pas les raisons de succès ou d’échec

Types d’informations nécessaires

Indicateurs Informations qualitatives ciblées Informations qualitatives ouvertes Informations générales Observations générales sur les interactions

avec et entre acteurs

Types d’indicateurs

Indicateurs quantitatifs simples Indicateurs quantitatifs complexes Indicateurs composites Indices Indicateurs indirects Indicateurs qualtitatifs ouverts Indicateurs qualitatifs ciblés (Guide FIDA , 5-22)

Formuler un indicateur quantitatif et clair Groupe cible spécifié

Unités de mesure spécifiques Période spécifique d’observation Mention des informations de référence à utiliser

aux fins de comparaison Critères de qualité Aire géographique spécifique

Nombre de nouvelles entreprises formelles et informelles créées chaque année par les femmes dans la province de X rapporté au nombre initial

Formuler un indicateur qualitatif

Domaine d’intérêt – question de performance Type de changement à comprendre et l’unité

d’analyse Periode spécifique d’observation du changement Aire géographique

Opinions de 25 % des participants à chaque programme de formation sur le thème Y, pour savoir si le programme les a aidés à mieux s’acquitter de leurs responsabilités dans leur travail.

Identification participative des indicateurs Décidez quel aspect su S&E sera participatif Consensus avec intéressés sur qui devrait être associé Organisez une réunion selon les modalités appropriées S’il y a plusieurs acteurs 2 options

Etablissez avec chaque acteur une liste d’indicateurs et priorisez-les

En tant que projet, faites une liste initiale et priorisez-les avec les acteurs concernés

Définissez les unités d’analyse (groupes, ménages, femmes) Choississez méthodes de collecte, de traitement et d’analyse Essais préalables des indicateurs, des méthodes de collecte

et d’analyse

Vérifier la qualité des indicateurs

Evitez double emplois ! Quelles organisations disposent déjà des

informations dont vous avez besoin Indicateurs quantitatifs et qualitatifs

Mesurable (clair) Representatif (couvre l’aspect de la question de

performance à répondre) Fiable (méthodes normalisée de collecte) Réaliste (coût et capacités ressources

humaines)

Exercise sous-groupes

3 sous-groupes sur un même projet (d’un participant) Chaque membre représente un autre acteur avec ces

propre besoins d’information.

Uilisez cartes couleurs Colonne 1 – montez la logique d’intervention du

CL Colonne 2 – identifiez questions de performance

(Réalisations, OS et OG) Colonne 3 – identifiez besoins d’information et

indicateurs Vérifiez la qualité des indicateurs

Question

Pourquoi est-il important de actualiser les indicateurs et les besoins en informations ?

Comment faire ? Qui utilise l’information Quelles lacunes importantes détectées

comment les combler quels nouveaux besoins d’information

Nécessité d’une base de comparaison : Méthodes d’analyse comparative

Avant/après projet + Moments de collecte bien déterminés - Attribution des changements

Avec/sans projet + Explique plus facilement les causes du

changement - Identification des zones géographiques

comparables

Nécessité d’une base de comparaison : Méthodes d’analyse comparative Echantillon témoin/groupe cible

+ Répond bien à l’aspect impact sur le groupe cible + Explique plus facilement les causes du

changement + Même zone moins de disparité entre groupe

témoin et cible - Problème moral d’inclusion – d’exclusion de

groupes - Groupes sont vraiment comparables? - Changement mi-parcours du projet fausseront les

constatations

Préparer et utiliser votre information de référence Concevez l’enquête de référence après révision du

cadre logique Planifiez votre enquête de référence comme

n’importe quelle autre enquête Limitez la collecte à ce que vous allez utiliser

questions de performance Veillez à ce que l’information de référence reste

réaliste Faites preuve de l‘imagination dans le choix des

méthodes de collecte : Méthodes quantitatives et qualitatives

Veillez à ce que les questions transversales soient comprises dans l’enquête de référence

Planifiez votre enquête de référence comme n’importe quelle autre enquête

Quelles informations déjà disponibles ? Où trouver l’information ? Quelles méthodes de collecte ? Quelles ressources nécessaires ? Qui est chargé de la collecte, de l’analyse et de

l’utilisation des données et quand l’exécutér ? Quel moment et quelles modalités pour réviser

l’information de référence au cours de la durée du projet ?

Fin de session

© Wageningen UR