Questions et critères
Méthodes et techniques
QualitéTermes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc...
Module 7- La qualité d'une évaluation et ses dimensions, les standards à
respecter
22
Quelles qualités pour une évaluation ?
Impartiale Indépendante Ouverte Diffusée Participative
CADIndépendance Rigueur Pluralisme Transparence
Utilité-pertinence Indépendante Fiabilité Objectivité Transparence Possibilité de généralisation
CSE
Indépendante Utilité Crédibilité Transparence
BIRD
Decret 22/1/90
Crédible
Qualité et transparence des méthodes employées, compétence des évaluateurs
Utile
Pertinente
Communication des résultats
Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements
Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique
Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique
Pour qu'une évaluation soit :
Elle doit être : Accessible
Qualité des mesures et des relations causales établies
Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions), séparation complète entre conclusions et recommandations
(digne de confiance)
Qualité du rapport : organisation, taille, style (clarté, concision)
Ce qui suppose :
Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes
Les qualités d'une évaluation
44
- Qualité de la demande et des TdR- "Evaluabilité" du programme- Qualité des évaluateurs- Qualité de la préparation- Qualité de la réalisation- Qualité des debriefings et des confrontations
- Qualité du rapport final
C'est un processus. La qualité est à assurer tout au long de la chaîne :
Les déterminants de la qualité
55
Qualité de la demande
- Justifiée par une volonté de progrès
- Dans un climat de transparence et de partenariat
- Pertinence des questions
- Choix du moment
- Cohérence entre question et moyens
- Qualité des termes de référence (qui traduisent la demande)
66
Qualité des termes de référence
Thèmes à inclure dans les TdR:• Origine du projet d'évaluation• Description schématique du programme à évaluer
avec identification des parties prenantes
• Les questions d’évaluations – les problèmes posés
• Les résultats attendus
• La démarche et le plan de travail
• Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises)
• Le calendrier
77
Termes de
référence
Commanditaire (s) Ensemble des parties prenantes
Equipe d'évaluation
Qui devrait participer à la préparation des termes de référence ?
88
"Evaluabilité" du programme
- Qualité de la structure logique du projet
- Précision des attentes (les indicateurs)
- Le cadre d'évaluation
- Le système de suivi
SI les résultats directs sont produits
Et SI les hypothèses de développement se vérifient,
ALORS l'objectif principal du projet sera atteintPrésentation Indicateurs
Moyens de vérification
Hypothèses
Finalités
Objectif Principal
Résultats opérationnels
Composantes d'activités
Ressources
Matrice du cadre logique
La structure logique
Indicateurs
Hiérarchie des objectifs Définition claire et précise d'un objectif
Indicateur objectivement vérifiable Clarification des résultats attendus Quel niveau sera jugé satisfaisant: • quantité • qualité • temps
Moyens de vérification Source et type de preuve nécessaires pour établir l'état de l'indicateur
Le travail sur les indicateurs oblige à préciser et clarifier les objectifs
La disponibilité de données valides et fiables limite l'utilité d'un indicateur
Définition des indicateurs de résultats
La logique horizontale
Rappel d'une phase essentielle de la préparation des programmes
1111
Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation)
Avoir des indicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet : - Montre comment le succès sera reconnu - Oblige à clarifier ce qu'on entend par objectif - Fournit une base objective pour l'évaluation
1212
L'objectif principal est bien un objectif de développement (il décrit un changement dans l'attitude ou les performances des bénéficiaires, pas de confusion avec les résultats opérationnels)
L'objectif principal est réaliste (pas de confusion avec les finalités)
Des indicateurs de performance et de résultat ont été définis. Ils sont mesurables et possèdent les trois dimensions (quantitatifs, qualitatifs, phases dans le temps)
Les points clés pour l'évaluabilité d'un programme
1313
Quand le suivi a été bien fait, c'est un acquis énorme pour les évaluations ultérieures
Le cadre d'évaluation défini au départ
C'est désormais une exigence dans le cahier des charges pour la définition des projets et des programmes
Le cadre de départ doit préciser :- Quel système de suivi- Quelles évaluations prévues- Les responsabilités et le plan d'action
1414
Qualité des évaluateurs
Quelles sont les qualités requises
pour une évaluation ?
Discussion
1515
Les qualités requises d’un évaluateur
• Capacité d'initiative et d'innovation. • Indépendance. • Connaissance du domaine. • Compétences analytiques. • Relations interpersonnelles. • Compétences dans la gestion des projets. • Qualités de synthèse et de rédaction.
1616
Qualité de la préparation
Au centre de la préparation se situe le choix de la démarche retenue, qui doit être pertinent, mais aussi la qualité du programme d'activité, la bonne préparation des outils et instruments, ...
La préparation suit un processus dont toutes les étapes doivent être respectées et réalisées correctement
(Voir la description des étapes à suivre, ci-dessous Module 8)
1717
Qualité de la réalisation
- le plan prévu a été réalisé, sans surprise ou accident. (le rapport final rendra compte de ce déroulement)
- qualité des mesures réalisées,
- qualité des argumentaires et des conclusions
1818
Comment se faire une opinion
Les critères utilisés doivent être connus et visibles. Convenir au départ, avec les parties prenantes, des critères/éléments qui seront utilisés pour évaluer. Utiliser ensuite en toute transparence ces mêmes critères pour construire les jugements d'évaluation
Normes: Rechercher des indicateurs de bonnes performances (autres organisations dans le domaine) et s’en servir comme point de référence
Panel d’experts: Présenter les données à des experts reconnus et utiliser les appréciations qu'ils en retirent à partir de leur expérience
1919
Chercher la sur-détermination ou des confirmations multiples
("Triangulation")Données des questionnaires
Données des groupes de discussion
Données des
entretiens
Le prix de l'eau à la
pompe est trop élevé en milieu rural et limite l'usage des ouvrages
Exemple d'une conclusion d'évaluation
La moindre divergence doit attirer l'attention des évaluateurs sur un risque
d'erreur
2020
L'argumentaire doit être construit avec soin
Montrer l'importance, pour la qualité de l'évaluation, d'un traitement différencié
de ces différents concepts
Exercice en groupe : réflexion sur un argumentaire simple conduisant à une
conclusionFaire apparaître les différents concepts en
jeu (faits, opinions, inférences, conclusions, ...)
Dans l'argumentaire, il est essentiel de bien séparer :
Faits Observés, incontestables, font généralement l'objet d'un consensusRésultat intermédiaire de l'évaluateur qui déduit ou "infère". Les infèrences doivent être éprouvésJugement personnel, à présenter clairement comme tel. A banir si pas justifiéesA banir totalement
Résultent de tout un argumentaire. Doivent être clairement reliées à cet argumentaire et présentées comme tellesA isoler très nettement des conclusions. Tendances fortes à sauter sur les recommandations avant même d'avoir clairement tirées les conclusionsSe rapport à un principe qui peut avoir des applications plus générales
Déductions
OpinionsSentiments
Conclusions
Recommandations
Enseignements
2222
Qualité des confrontations
• C'est la discipline de base de l'évaluateur
• Préparer les débriefing avec soin. Chacun d'eux doit améliorer la compréhension mutuelle et permettre de gagner de l'adhésion
• Ne pas supprimer la confrontation finale avec toutes les parties prenantes. Souvent difficile à réaliser. Doit être prévue dans le programme de l'évaluation.
2323
Le rapport final
Un exercice particulièrement difficile car :
• Pour faire partager les conclusions il faut tout expliquer
• Pour être lu il faut être court
• Pour être compris par des publics très différents, il faut des présentations différentes.
2424
Plusieurs rapports
- Le personnel du programme pourra avoir besoin d’un rapport verbal et d’une note interne avec les points principaux
- Les bailleurs de fonds et les intervenants externes pourront avoir besoin d’un rapport complet.
- Les décideurs pourront avoir besoin d’un résumé
- Le public pourra avoir besoin d’un sommaire des résultats
2525
Qualité du rapport final
• Répond aux questions et problèmes identifiés dans les termes de référence
• Clair et bien organisé, utiliser graphiques, matrices, ...
• Certains éléments peuvent être préparés avec les parties prenantes
• Fourni à temps
• Écrit dans la langue des utilisateurs
• Présente une position détachée et désintéressée. Est objectif.
2626
Le contenu du rapport final d'une évaluation rétrospective
Un résumé analytique de 1 à 3 pages Une description de la politique évaluée Un rappel du contexte de l'évaluation, du commanditaire, de ses
objectifs (les questions auxquelles l'évaluation devait répondre) Un exposé méthodologique rappelant les choix opérés, les
techniques utilisées et les étapes du travail d'évaluation Un bref compte rendu des études réalisées Des développements informatifs à partir des données recueillies et
des observations effectuées Des conclusions correspondant aux critères retenues pour
l'évaluation Des recommandations qui doivent apparaître clairement comme
telles Des annexes
2727
1- Niveau de réponse à la demande (par référence aux questions posées à l'origine dans les termes de référence) 2- Pertinence du champ couvert 3- Indépendance/pluralisme de l'équipe d'évaluation 4- Adéquation méthodologique 5- Fiabilité des données utilisées 6- Solidité des analyses 7- Crédibilité des conclusions 8- Clarté du rapport (ou de la présentation)
Exc
elle
nt
Bon
Acc
epta
ble
Inac
cept
able
Attention : la note générale n'est pas la moyenne des notes mais correspond à la plus mauvaise note obtenue pour l'un quelconque des 8 points ci-dessus.
Grille d'estimation de la qualité d'une évaluation (pour le commanditaire)
2828
Les standards à respecter
American National Standards Institute
Utility The Evaluation will serve the needs of intended users
Feasibility The Evaluation will be realistic and practical, prudent and diplomatic
Propriety The Evaluation will be conducted ethically, with regard for the welfare of those involved in the process, as well of those affected by its results.
Accuracy The evaluation will reveal and convey technically adequate information about the features that determine worth or merit of the program being evaluated
Utilité : L'évaluation doit répondre aux besoins des utilisateurs prévusFaisabilité : L'évaluation doit être réaliste et praticable, prudente et diplomatiqueRespectueuse : L'évaluation doit être conduite dans le respect du bien-être de ceux qui sont associés à sa réalisation et pourraient être affectés par ses résultats
Appropriée : L'évaluation doit produire et utiliser les informations techniquement adéquates pour déterminer la valeur ou les mérites du programme évalué
Top Related