LA GESTION DU CYCLE DE PROJET SURVEILLANCE DES PROGRES ET L’ EVALUATION DES
RESULTATS ET DE L’ IMPACT(Project Cycle Management - Monitoring and Evaluation )
Atelier International sur le Paludisme - Institut Pasteur de MadagascarAntananarivo Madagascar
15.03 - 24.04 2004
Dr. Luciano TUSEOOMS
GESTION DU CYCLE DU PROJET - DEFINITION ET OBJECTIFS
La Gestion du Cycle du Projet (GCP) est un méthode qui permet d’améliorer la qualité de la conception et de la gestion, afin d’augmenter l’efficacité des projets.
L’objectif de la GCP est l’amélioration de la gestion des actions, projets et programmes en tenant mieux compte des questions essentielles et des conditions - cadres dans la conception et la mise en oeuvre des projets et programmes.
La détermination d’objectifs clairs et réalistes pour les projets et programmes
L’identification des facteurs de « qualité » qui assurent les bénéfices du projet à long terme
La cohérence avec et la contribution aux « objectifspolitiques cadres plus larges » des projets et programmes.
GESTION DU CYCLE DU PROJET - DEFINITION ET OBJECTIFS (suite)
3 ÉLÉMENTS FONDAMENTAUX :
GCP - L' APPROCHE INTEGREE
La GCP est donc une approche intégrée de gestion des projets :
Elle suit les phases du cycle de projet afin d’assurer un processus de prise de décision structuré et argumenté
Elle utilise l’approche du cadre logique comme outil central pour la conception et la gestion des projets afin de garantir une analyse complète et cohérente
Elle met l’accent sur l’implication des bénéficiaires dans la prise de décisions
Elle insère les facteurs clés de la viabilité dans la conception des projets
Elle utilise un format standard pour planifier les activités et les ressources ainsi que pour présenter des documents sous une formetransparente et complète, et ce aux différentes phases du cycle de projet
LE CYCLE DU PROJET
PROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATION
Le Cycle du Projet fixe les séquences des actions nécessaires et préétablies, réalisées pour chaque Projet
LA GESTION DU CYCLE DU PROJET
PROGRAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATIONEtude de Pré - FaisabilitéObjectivesRésultatsActivités
Etude de FaisabilitéViabilitéFinalisation
PropositionApprobationConvention
ExécutionPlan OpérationnelRapport de Suivi
Analyse de RésultasAnalyse de l'ImpactÉvaluation Final (Ré-analyse de la Situation)
Analyse de la SituationPriority Setting ProcessAnalyse MultisectorielAnalyse des "Stakeholders"
PROGRAMMATIONPROGAMMATION
MISE EN OEUVRE
ÉVALUATIO N
INSTRUCTIONFINANCEMENT
IDENTIFICATIONInformations- Documents de Stratégie par Pays
- Conteste territorial- Contexte sectoriel
- Contexte Socio anthropologique (survey, focus group)- Etc.
Orientation Stratégique
Analyse de la Situation
Identification des principaux Problèmes (objectifs) et les priorités sectorielles
IDENTIFICATION
Analyse des Problèmes, des Besoins et Intérêts des parties prenantesOrientations et Priorités définies dans le cadre dela phase de Programmation.
Études sectorielles, thématiques Préfaisabilité)
Objectives
RésultatsPremière élaboration des idées du Projet
Activités
Étude De Faisabilité
PROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATION
INSTRUCTIONPROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATION
ELABORATION D’UN CADRELOGIQUE DU PROJET
Résultats
Activités
Indicateurs
HypothèsesMISE EN OEUVRE DU PROJETET STRUCTURE DE GESTION
BUDGET GLOBAL PAR GRAND POSTE
CALENDRIER PRÉVISIONNEL DE TRAVAIL
Tous les aspects importants de l’idée de projet sont examinés, en tenant compte des résultats de l’étude de préfaisabilité, desfacteurs de qualité clés et des points de vue des principales parties prenantes.
FINANCEMENTPROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATION
EVALUATION EX ANTE
PROPOSITION DE FINANCEMENT
CONVENTION DE FINACEMENT
MISE EN OEUVREPROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATION
PLAN OPERATIONEL
PASSATION DE CONTRATS DE SERVICES DE FOURNITURES
OU DE TRAVAUX.
RAPORTS SUR L’ ÉTAT D’ AVANCEMENT DU PROJET
MONITORING(Surveillance)
SUIVI RÉGULIER PERMETTANT L’ AJUSTEMENT À L’ ÉVOLUTION
DE LA SITUATION.
VIABILITÉVIABILITÉ
IMPACTIMPACT EFFICACITÉ,EFFICACITÉ,
EFFICIENCE,EFFICIENCE,
PERTINENCE,PERTINENCE,
PROGRAMMES.PROGRAMMES.
ÉVALUATION
PROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATIONL’évaluation est l’action qui consiste à porter une appréciation, aussi systématique et objective que possible, sur un projet en cours ou achevé, un programme ou un ensemble de lignes d’action, sa conception, sa mise en oeuvre et ses résultats.
VIABILITÉVIABILITÉ
IMPACTIMPACT EFFICACITÉEFFICACITÉ
EFFICIENCEEFFICIENCE
PERTINENCEdes
Objectives
PERTINENCEdes
Objectives
PROJETPROJET
INFORMATIONS CRÉDIBLES ET UTILES
ENSEIGNEMENTS TIRÉS
ÉLABORATION DES DÉCISIONS
PLANIFICATION ET LA MISE EN OEUVRE DEPROJETS COMPARABLES À L’AVENIR.
LOGIQUE DE L' INTERVENTIONElaboration du cadre de travail d'un Projet définissant l'Objectif, les Résultats et les Activités
OBJECTIFSGENERAUX
OBJECTIVSSPECIFIQUES
RESULTATS
ACTIVITESRESSOURCES
ÉVALUATION STRATÉGIE
L' effet auquel le programmecherche à contribuer
Le principal objectif du Programme, que ce dernier est en mesure d'atteindre
Les produits directs du Programme qui conduisentá la réalisation de l'objectif
Les interventions du Programme, qui conduisent á l'obtention des résultats
LOGIQUE TEMPOREL DU PROJET
PROBLEMES RESSOURCES
ACIVITES
RESULTATS EFFETS
IMPACT(Effets a long terme)
STRATEGIE:- Objectifs- Résultats- Activités
INDICATORS INDICATORS
PREPARATION REALISATION RESULTAT
LE CADRE LOGIQUE
Toutes les informations décisives sont ainsi utilement récapitulées dans un seul document: le Cadre Logique
Le cadre logique est utile pour la mise en oeuvredu projet. Il sert de base pour la préparation des plans d’action, l’élaboration d’un système de suiviet constitue le cadre de l’évaluation.
L’approche du cadre logique est constituée de 2 phases :
Phase d’analyse constituée de 4 étapes :
Analyse des parties prenantes
Analyse des problèmes (perception de la réalité)
Analyse des objectifs (perception d’une situation améliorée dans le futur)
Analyse d’une stratégie (comparaison de différentes options pourchanger une situation donnée)
LE CADRE LOGIQUE (suite)
Phase de planification qui va développer le cadre logique en un plan opérationnel pour la mise en oeuvre du programme. Il s’agit de détailler le cadre logique et de planifier les activités et les ressources humaines et financières. Étapes:
1. Analyse des parties prenantes
2. Identifier le ou les problème(s) existant(s) à aborder
3. Déterminer les objectifs (du projet) à partir du (ou des) problème(s) identifié(s)
4. Identifier une stratégie pour résoudre ce ou ces problème(s)
5. Sur base de la stratégie identifiée, définir des résultats attendus du projet et les activités à entreprendre pour atteindre les résultats
6. Identifier les Indicateurs Objectivement Vérifiables (I.O.V.) et les sources de vérification, qui permettront d’évaluer la façon dont le projet atteint ses objectifs
7. Définir les moyens physiques et non physiques nécessaires à la réalisation des activités du projet et à sa gestion et identifier les sources de financement
8. Définir les hypothèses, c’est-à-dire les facteurs externes qui échappent à l’influence directe de l’intervention mais qui sont très importants pour atteindre les objectifs du projet
9. Apprécier la pertinence, la faisabilité et la viabilité du projet et donc, prouver que le projet est susceptible de résoudre le (ou les) problème(s) et d’atteindre le (ou les) objectif(s) définis.
LE CADRE LOGIQUE (suite)
LA MATRICE DU CADRE LOGIQUE
PRE-CONDITIONS
COUTSRESOURCESACTIVITES
RESULTATS(ou Produits)
OBJECTIVES SPECIFIQUES
(ou But du Projet)
OBJECTIVES GENERAUX
(ou Ob. Globaux)
CONDITIONSSOURCES DE VERIFICATION
INDICATEURS(IOV)
STRATEGIELOGIQUE DE L' INTERVENTION
EXEMPLE D' UN CADRE LOGIQUE POUR UNE STRATEGIE DE DISTRIBUTION DES MII
COUTSRESOURCESACTIVITES-
1. Le déclin économique général pourrit inverser la tendance actuelle à l'accroissement de la demande.
2. La demande ne diminue pas du fait de crainte et de rumeurs liées à la toxicité de l'insecticide.
3. Les méthodes visant à empêcher le coulage des MII subventionnes peuvent échouer
1. Enquête CAP groupe de discussion, enquête sur la disponibilité des moustiquaires chez les détaillants.
2. Entretiens informels, discussion de groupes, enquêtes des stock, ventes.
3. Rapports de projets, rapports d'évaluation sociale et économique
1.1 Augmentation de ventes et de l'utilisation des MII du projet1.2 Augmentation de ventes et de l'utilisation des MII trouvées dans le commerce1.3 Augmentation du pourcentage des ménages disposant d'au moins une MII
2.1Nombre de point de vente dans le commerce
3. Enquête sur le devenir des moustiquaires fournies à des prix subventionnes.
RESULTATS1. Augmentation de la connaissance et demande accrue des moustiquaires. Leur utilisation devient la norme et non l'exception2. Mise en place de un systèmes efficaces de distribution et amélioration de l'accès aux moustiquaires disponibles dans le commerce3. Meilleur accès aux moustiquaires des groupes vulnérables (enfants femmes enceintes familles pauvres) grâces à une utilisation efficaces des subventions
Toute une série de stratégie appropriées et instructives sont testées. Le processus de surveillance est satisfaisant. Certaines stratégies s'avèrent réalisables, et les plus susceptibles d'être maintenues à moyen terme continuent d'être suivies pendant des périodes plus longues
1. Propositions, rapports et publications d'autres projets.2. Enquêtes de couverture; registres de la consommation 3. Rapports de surveillance et d'évaluation, ateliers publications scientifiques.
1. Stratégie testées dans le projet, adoptées avec succès ailleurs dans des interventions à plus grand échelle.2. Amélioration dans l'accès aux moustiquaires et aux insecticides et leur utilisation.3. La preuve du bien fonde des stratégique documentée
OBJECTIFElaborer des stratégies réalisables durables et testées pour augmenter la disponibilité, l'accès, à la propriété et l'utilisation des moustiquaires pour une application à grande échelles.
BUTRéduire l'incidence de paludisme et de ses séquelles en terme de maladie ou du décès
HYPOTHESECOMMENT LES QUANTIFIER ET LES EVALUER
(Source de Vérification)
INDICATEUR DE REALISATION (IOV)
STRUCTURE DU PROJECT
470,000,000-Supervisory reports and community reports
- No. of villages with defined health volunteers and right mark-up on drugs- Turn over rate of distributors - Number of quarterly meetings held with distributors
-Work with VHCs and communities to determine how to motivate distributors-Train and give certificates to community distributors-Follow up and supervise trained distributors
Rewarding and retaining of community drug distributors
400,000,000Private sector will take up sale of pre-packs at low profit margins
-Activity reports-Supervision reports-survey
-No of drug shops/vendors selling pre-packs-Amount of drugs sold through the private sector
-Develop guidelines for working with the private sector-Publicise the pre-packs to drug shops and vendors-Discuss with the private sector to determine the right mark-up on drugs-Publicising pre-packs to the communities-Monitor regulate prices of pre-packs in the private sector
Commercial marketing of pre-packs
1,782,800,000500,000,0000
Production of pre-packaged C/Q & SP at a reasonable costPublic & private sectors will work together
-Delivery notes -NDA reports-Activity reports-Community reports-Supervisory reports
-Amount of pre-packaged drugs procured and distributed-No of communities with drug distributors-Distribution system established-Proportion of drug shops/vendors recruited for distribution of pre-packs
-Drug quantification-Procure pre-packaged drugs that are appropriately labeled-Identify community distribution drug distributors through the IMCI tailored PRA approach-Establish distribution system for pre-packs through the private sector-Establish drug stock units for communities -Identify drug shops/vendors in communities to be used for distribution
Distribution of pre-packs through both the public and private sectors
BUDGET(Ug. Shs.)
ASSUMPTIONS
MEANS OF VERIFICAT.
INDICATORSACTIVITIESSTRATEGIES
Objective 1: To increase to 60% the proportion children under five years suffering from fever/malaria who have access to pre-packaged antimalarials at household level, by the end of 2003.
LOGFRAME FOR HOME BASED MANAGEMENT
1.2 Objectif Specifique
1.1.2.2 Activite
1.1.2.2 Activite
1.1.2.1 Activite
1.1.2 Resultat
1.1.1.2 Activite
1.1.1.1 Activite
1.1.1 Resultat1.1 Objectif Specifique
432143214321STRATEGIE200620052004
Le Project ne peut pas être considère complet sans la définition des temps d’exécution. Le Diagramme de GANTT permit d’individuérvisiblement et avec facilite la séquence dans le quelles les différentes activités seront réalisés
LE PLAN DE TRAVAILLE – GANTT CHART
Plande
TravailRBM
COMPOSITION DU BUDGET (GFATM)
• Frais de consultance technique à court terme, déplacements, visites sur le terrain et autres frais de planification du programme, supervision et administration (y compris ceux de gestion des relations avec les sous-bénéficiaires, monitoring et évaluation, et gestiondes achats et des stocks)• Frais généraux tels que loyers de bureaux, eau, électricité, téléphone, frais de communication internes, assurances, frais légaux, comptables et de contrôle, etc.• Imprimés et frais de communication liés aux campagnes en relation avec le programme, etc. (non compris les ressources humaines qui doivent être incluses dans la catégorie Ressources humaines ci-dessus)
Planification et Administration
Thérapie antirétrovirale, médicaments contre les infections opportunistes, médicaments contre le paludisme, médicaments anti-paludisme, etc.Médicaments
Moustiquaires, préservatifs, diagnostics, microscopes, seringues, etc.Matières premières et produits
Ateliers, réunions, manuels de formation, déplacements en vue d'une formation, etc. (non compris le coût des ressources humaines relatives à la formation qui doivent être comprises dans la catégorie Ressources Humaines)
Formation
Technologie de l'information (TIC) et infrastructure immobilière, équipementde bureau, équipement audiovisuel, véhicules et frais d'entretien et deréparation, etc.
Infrastructure et équipement
Salaires, traitements et coûts associés (retraites, incitants et autres avantagessociaux) relatifs au personnel (y compris celui sur le terrain), consultants(hors consultants à court terme inclus dans les catégories ci-dessous) et fraisde recrutement
Ressources humaines
EXEMPLES DE DÉPENSESCATÉGORIE
Les propositions doivent aussi inclure et préciser tous les coûts relatifs:
• au monitoring et à l'évaluation (dont le renforcement de toutecapacité associé à la consolidation des systèmes nationaux et aurenforcement de capacité parmi les partenaires de la mise en oeuvre);
• à la gestion des achats et des stocks (dont le renforcement decapacité et/ou l'assistance technique aux Bénéficiaires principaux ou aux sousbénéficiaires);
• à l'assistance technique (depuis l'assistance initiale dans lepréparation des plans jusqu'à l'expertise technique permanente pendant la mise en oeuvre.
COMPOSITION DU BUDGET (GFATM) suite
24
Grants by expenditure (GFATM)
Infrastructure & Equipment (15%)
Administration (4%)
Drugs & Commodities (46%)
Other (5%)
Human resources and training (25%)
Monitoring &Evaluation (5%)
SE GFATMBudget
Projet Budget
LE PROJET
CONTEXTE- Objectifs politiques cadres du bailleurs de fonds et du gouvernement partenaire, et liens avec le programme ou stratégie pays établi par le bailleur de fonds, engagement du gouvernement partenaire vis-à-vis des objectifs politiques cadres du bailleur de fonds
- Analyse sectorielle et analyse des problèmes, y compris l’analyse des parties prenantes
DESCRIPTION DU PROJET / PROGRAMME, OBJECTIFS, ET STRATÉGIE POUR LES ATTEINDRE- Prise en compte des leçons du passé, et lien avec les activités mises en oeuvre par les autres bailleurs de fonds
- Description de l’intervention (objectifs, et stratégie pour les atteindre, y compris l’objectif spécifique, les résultats et les activités, et les indicateurs principaux) (Diagramme des Problèmes - Diagramme des Objectifs)
HYPOTHÈSES, RISQUES ET FLEXIBILITÉ
• MODALITÉS DE MISE EN OEUVRE- Moyens physiques et non physiques- Procédures organisationnelles et de mise en oeuvre- Calendrier de mise en œuvre (GANTT Chart)- Estimation des coûts et plan de financement- Conditions spéciales et mesures d’accompagnement
du gouvernement / des partenaires- Suivi et évaluation
FACTEURS DE QUALITÉ- Participation et appropriation par les bénéficiaires- Politique(s) de soutien- Technologie appropriée- Aspects socioculturels- Egalité hommes / femmes- Protection de l’environnement- Capacités institutionnelles et de gestion- Viabilité économique et financière
MONOTORING ET EVALUATION
ANNEXE- Cadre logique. - GANTT Chart. - Budget. - Diagramme des Problèmes et des Objectifs. - Etc. Project
Pattern
LE PROJET (suite)
ProjectProposal
Project Time Table
Budget 01
SituationAnalysis
L’ ANALYSE DES STAKEHOLDERS
Stakeholdes sont celles, individus ou institutions, que ont des relations direct ou indirect avec les activités du Projet
Un Project que ne prend pas en considération les Stakeholders n’a aucun possibilité de succès
AJUTANTS BLOQUANTS
ALLIESHOSTILES
Opposition Active
SupportPassive
SupportActive
Haute Impact
Moyenne Impact
Bas Impact
Les Alliés appuient les changements proposés et sont objet de l’effet du projet.
Les Ajutants appuient les changements proposés mais ne sont pas l’objet de l’effet du projet.
Les Bloquants s’opposent aux changements mais ne font pas partie du projet.
Les Hostiles s’opposent aux changements proposés et sont objet de l’effet du projet.
PROGRAMME - PROJET - COMPOSANTE DU PROJET
En prenant un projet de dimensions considérables, et en décomposant la stratégie en levant les niveaux des membres différents:
- Les Objectifs Spécifiques deviendront Objectifs Généraux - Les Résultats seront Objectifs Spécifiques- Les Activités monteront de degré en devenant Résultats
De cette manière chaque Objectif Spécifique du premier projet,en devenant Objectif Général, il donnera origine à un Projet avec son individualité
Si la décomposition continuât et les mêmes Résultats fussent levés tellement de niveau à devenir Objectifs Généraux, on obtiendra un Projet pour chaque Résultat
PROGRAMME
Objectif Général
Objectif Spécifique
Résultat
Activité
PROJET
Activités
Résultat
Objectif Spécifique
Objectif Général
Activités
Résultats
Objectif Spécifique
Objectif Général
COMPOSANTE PROJET
NIVEAU D' INTERVENTION
WORK PACKAGE
CHACUN DES RÉSULTATS PRÉVUS PAR UN PROJET OU PROGRAMME COMPLEXE EST ARTICULÉ AVEC SES ACTIVITÉS CORRESPONDANTES, IL POURRAIT ÊTRE DÉCRIT DANS LE DOCUMENT RELATIF AU PROJET, COMME PAQUETS DE TRAVAIL CONSOLIDÉS (workpackage)
ÉVALUATION
PROGAMMATION
MISE EN OEUVRE
ÉVALUATION
INSTRUCTIONFINANCEMENT
IDENTIFICATIONL’évaluation est l’action qui consiste à porter une appréciation, aussi systématique et objective que possible, sur un projet en cours ou achevé, un programme ou un ensemble de lignes d’action, sa conception, sa mise en oeuvre et ses résultats.
SOUTENABILITÉSOUTENABILITÉ
IMPACTIMPACT EFFICACITÉEFFICACITÉ
EFFICIENCEEFFICIENCE
PERTINENCEdes
Objectives
PERTINENCEdes
Objectives
PROJETPROJET
INFORMATIONS CRÉDIBLES ET UTILES
ENSEIGNEMENTS TIRÉS
ÉLABORATION DES DÉCISIONS
PLANIFICATION ET LA MISE EN OEUVRE DEPROJETS COMPARABLES À L’AVENIR.
SURVEILLANCE et ÉVALUATION
SURVEILLANCE (Monitoring)
Est un processus continu qui permet d'estimer dans quelle mesure les activités du programme sont conformes à la planification et si des changements s'opèrent effectivement. La Surveillance peut être permanente ou périodique.
L'aspect le plus important de la surveillance est l'analyse des données recueillies et l'utilisation des résultats pour modifier les activités en fonction du besoin.
La surveillance permet de suivre pas à pas les progrès enregistrés par les Programmes. Cela permet aussi de détecter tout problèmes ou tout obstacle éventuel afin de les signaler aux autorités concernées et de les aider à perfectionner la planification des actions ultérieures possiblesIl importe des choisir les indicateurs de fonctionnement
SURVEILLANCE (Monitoring)
L’action du monitoring commence simultanément avec la phase de réalisation (début des activités), perdure pendant toute la durée du projet et se termine avec la fin des activités.
Le monitoring est constitué de deux actions principales:
1. Collecte et analyse des informations (indicateurs en corrélation avec les objectifs et les résultats des projets)
2. Réalisation des rapports périodiques du monitoring
ÉVALUATION
Est une vue d'ensemble d'un programme à un moment donné. Son but est de déterminer dans quelles mesures les activités permettent, ou ont permis, d'obtenir les résultats escomptés et ces dernier vont effectivement permettre ou ont permis, d'atteindre l'objectif vise.
Les évaluations sont normalement effectuées pendant et à la fin d'un programme, donc de manière discontinue Des évaluations au milieu du programme peuvent permettre l'identification de problèmes qui pourraient l'empêcher d'atteindre son objectif et ainsi apporter les changements nécessaires aux niveaux des activités et des résultats.Les évaluations en fin de programme permettent d'évaluer son succès général et de résumer les enseignements tirés
L’Evaluation des résultats et de l’impact permet de rendre compte périodiquement de la mesure dans la quelle certaines stratégies et activités mise en œuvre ont atteint les objectifs fixés en examinant:
- Leurs Résultats (par ex. Les changements interevenus dans les connaissances, les attitudes et le comportement de la population )
- Leur Impact ( par ex. mesurer la réduction de la morbidité, de la mortalité ou des pertes économiques
SURVEILLANCE et ÉVALUATION
ÉVALUATION- Une évaluation peut avoir lieu dans la phase précédente à la décision de financement: ÉVALUATION EX ANTE
- Au cours de la mise en oeuvre d’un projet: ÉVALUATION À MI PARCOURS
- A la fin d’un projet: ÉVALUATION FINALE
- Après son achèvement : ÉVALUATION EX POST, soit pour réorienter le projet ou pour tirer les leçons pour les futurs projets et la programmation suivante.
ÉVALUATION EX ANTE
ÉVALUATION À MI PARCOURS
ÉVALUATION FINALE
ÉVALUATION EX POST
LES TEMPS DU MONITORING ET DE L'ÉVALUATION
ÉVALUATION CYCLE DU PROJET MONITORING
PROGAMMATION
IDENTIFICATION
INSTRUCTION
FINANCEMENT
MISE EN OEUVRE
ÉVALUATION
EVALUATION EX ANTE
ÉVALUATION À MI-PARCOURS
ÉVALUATION FINALE
ÉVALUATION EX POST
MO
NO
TOR
ING
CRITERES D’ ÉVALUATION
Flux des avantages pour les bénéficiaires, et pour la société dans son ensemble, susceptible de durer après la fin du financement
PertinenceLe caractère approprié des objectifs du projet par rapport aux problèmes réels, aux besoins et priorités des groupes cibles et bénéficiaires envisagés auxquels le projet est supposé répondre,ainsi que par rapport à l’environnement physique et politique dans lequel le projet est mis en oeuvre
Efficience
Impact
Efficacité
Le fait que les résultats aient été atteints à des coûts raisonnables. Mesure dans laquelle les moyens et les activités ont été convertis en résultats, et la qualité des résultats atteints.
Mesure dans laquelle les résultats ont contribué à la réalisation de l’objectif spécifique. L’efficacité prend en compte la mesuredans laquelle les hypothèses ont affecté les accomplissements du projet.
Viabilité
Effet du projet sur son environnement plus large, et sa contribution aux objectifs sectoriels plus larges résumés dans les objectifs globaux du projet, et sur la réalisation des objectifspolitiques cadres.
LES CRITERES DE L' EVALUATION: RELATION ENTRE LES ELEMENTS DE LA STRUCTURE LOGIQUE DU PROJET
PROBLEMS
OBJECTIFS GENERAUX
OBJECTIFSSPECIFIQUES
RESSOURCES
ACTIVITES
RESULTATS
EFFETS
IMPACT(Effets a long terme
PREPARATION
REALISATION
RESULTAT
PER
TIN
ENC
E
IMPA
CT
VIAB
ILITE
EFFICIEN
CE
EFFICA
CITE
LES CRITERES DE L' EVALUATION:
L’ETAT D’AVANCEMENT
L’état d’avancement est détermine par la comparaison entre les activités effectives et les activités escomptées. C’est ici que faut identifier les raisons des succès ou des échecs et suggérés des mesures correctives pour les secondes
PRINCIPALES CARACTERISTIQUES DES INDICATEURS
INDICATEURS D’ INTRANTS
(INPUT)
INDICATEURS DE RÉALISATIONS
DIRECTES (OUTPUT)
INDICATEURS DE RÉSULTAT
(OUTCOME OU RESULTS)
INDICATEURSD’ IMPACT
LES INDICATEURS D’ INTRANTS (INPUT) Permettent de mesurer les ressources financières,administratives et réglementaires fournies par le Gouvernement et les bailleurs de fonds. Il est nécessaire de faire le lien entre les ressources utilisées et les résultats obtenus afin d’évaluer l’efficience des actions menées.Ex : Part du budget consacrée aux dépenses sanitaires.
LES INDICATEURS DE RÉALISATIONS DIRECTES (OUTPUT)Permettent de mesurer les conséquences immédiates et concrètes des mesures prises et des ressources fournies (inputs).Ex : Nombre des formations sanitaires construites, nombre de techniciens sanitaires formés
LES INDICATEURS DE RÉSULTAT (OUTCOME OU RESULTS) Permettent de mesurer les résultats au niveau des bénéficiaires.Ex : Taux d' utilisation de FS., Pourcentage de femmes accouchants dans les FS
LES INDICATEURS D’ IMPACTPermettent de mesurer les conséquences de l’évolution des résultats. Ils mesurent les objectifs généraux en terme de développement du pays et de réduction de la pauvreté.Ex : Taux morbidité, taux de mortalité
PRINCIPALES INDICATEURS DANS UN PROGRAMME NATIONAL DE LUTTE CONTRE LE PALUDISME
INDICATEURS D' IMPACT
1. Taux de mortalité et morbidité pour toutes maladies, paludisme, anémie sévère dans les hôpitaux par tranche d’âge (moins de 5 ans, plus de 5 ans, total). Voir tableau. 2. Nombre de cas de paludisme simple et sévère (présumé et confirmé) notifié dans les Formations Sanitaires, par tranche d’âge (moins de 5 ans, plus de 5 ans, total)3. Prévalence de l' infestation placentaire chez les femmes enceintes dans la maternité des structures sanitaires en étude
INDICATEURS DE RÉSULTATS
1. % des enfants de moins de 5 ans (0-59 mois) fébriles qui ont reçu à domicile un traitement approprie antipaludique dans le 24 heures2. % des cas de paludisme parasitologiquement confirmé chez les enfants de moins de 5 ans 3. % des malades des moins de 5 ans avec paludisme simple et % des malades moins de 5 ans avec paludisme sévère qui ont reçu le traitement correct dans les 24 heures depuis l’admission dans la Formation Sanitaire4. % des structures sanitaires ayant des ruptures de stock en médicaments antipaludéens conformes à la politique nationale, pas plus d' une semaine dans le dernier trimestre5. % de malades hospitalisés pour paludisme qui utilisent des moustiquaires imprégnées d’insecticides et celle qui utilisent la moustiquaire non imprégnée6. % des femmes ayant accouché qui utilisent les moustiquaires imprégnées d’insecticides et celle qui utilisent la moustiquaire non imprégnée.7. % des femmes ayant accouché qui ont reçu la chimioprophylaxie antipalustre conforme à la politique nationale
INDICATEURSExemple d' Indicateurs pour un Programme de mise en œuvre des MII
INDICATEURS D' IMPACT
-Morbidité attribuée au paludisme (grave ou non compliquée) chez les moins de 5 ans- Anémie chez les femmes enceintes.-Bébés avec un petit poids à la naissance
Réduction de la morbidité
- Taux brut de mortalité chez les enfants de moins de 5 ans- Taux de mortalité par paludisme chez les enfants de moins de 5 ans- Taux de létalité chez les enfants de moins de 5 ans atteints de paludisme grave et admis dans les hôpitaux et les centres de santé correctement équipés pour hospitaliser les malades
Réduction de la mortalité
(Instruments de recueil:- Système Surv. Sanit- Enquêtes spécifique - Système Surv. Demogr.)
-% des ménages de la population cible possèdent des MII- % des ménages utilisant correctement des MII
Secours d'urgence
- % des ventes de MII au niveau commercialVentes promotionnelles
- % des ménages possédant des MII- % des ménages utilisant correctement des MII
Marketing social
- % des ménages possédant des MII- % des ménages utilisant correctement des MII
Autogestion
- % de couverture dans les ménages comportant des groupes cibles ou vulnérables - % de couverture dans les ménages comportant des groupes cibles ou vulnérables utilisant correctement des MII
Subventions durables pour maintenir l'équité
- % de ménages ayant des MII- % de ménages utilisant correctement les MII- % de Femmes enceintes utilisant une MII
Création d'une demande
INDICATEURS D' OBJECTIFSTRATEGIE
INDICATEURSExemple d' Indicateurs pour un Programme de mise en œuvre des Moustiquaires Imprégnées d’Insecticides
INDICATEURS D' OBJECTIF (Dépendant de la Stratégie choisie)
INDICATEURSExemple d' Indicateurs pour un Programme de mise en œuvre des MII
Registres du Programme- Nombre de MII distribuées Secours d'urgence
Enregistrement des ventes au détail
- Nombre de MII vendusVentes promotionnelles
-Surveillance des ventes du programme -Enregistrement des prix de ventes au détail - Comptabilité générale
-Volume de ventes du programme-Volume de ventes commerciales- Coût par MII fournie- "Attractivité" (augmentation des ventes MII hors Programme au niveau du secteur commercial) et "Répulsivité" (diminution des ventes de MII hors du Programme au niveau du Secteur Commercial)
Marketing social
- Enregistrement des ventes- Comptabilité générale- Chiffre d'affaires des ventes dans le recouvrement des coûts
-Volume de ventes du programme-- Viabilité financière (indépendance vis a vis des subventions)- Coût par MII fournie
Autogestion
- Enquête familial dans les groupes cibles- Enregistrement des ventes- Comptabilité générale
- Efficacité du ciblage (pour éviter le coulage vers de groupes non cible)- Coût par MII fournies au groupe cible
Subventions durables pour maintenir l'équité
- Enregistrement des prix au détail- Volume de ventes commerciales (en %)Création d'un demande
MOYENS DE VERIFICATION
INDICATEURS DE RESULTATSSTRATEGIE
INDICATEURS de Résultats (Dépendant de la Stratégie choisie)
Les niveaux stratégiques sont liés aux niveaux des indicateurs:
Global Fund, pour exemple, définit les différents niveaux d'indicateurs comme suit:
IMPACT :les changements sur un période longue des comportements à risque et/ou des comportements sanitaires qui débouchent sur des changements des taux d'infection, de morbidité et/ou de mortalité indiquant des progrès sur la voie des buts fondamentaux des interventions (programmes)
COUVERTURE : les changements à moyen terme dans les variables essentielles qui démontrent que de plus en plus d'individus sont informés et profitent de l'amélioration des services ou des interventions;
PROCESSUS : les activités, systèmes et autres résultats qui doivent être réalisés à brève échéance pour atteindre les améliorations ou l'extension des services offerts.
ProcessusActivités CouvertureObjectifs (Services à fournir)
ImpactBut
NIVEAU INDICATEURNIVEAU STRATÉGIQUE
Tous les indicateurs doivent spécifier la quantité, la qualité et les délais. A titre d'exemple, ils doivent mentionner quels services seront fournis, à combien de personnes (par ex., le nombre de bénéficiaires touchés) et à quel niveau de qualité (par ex., “selon des normes et directives convenues au niveau local”).
Les indicateurs doivent également être réalistes car ils doivent éviter de formuler des objectifs trop ambitieux dans les délais fixés.
Il conviendra de choisir les indicateurs pour leur utilité, qu'il s'agisse de fournir des données en vue de la prise de décision ou d'évaluer les résultats et l'impact.
Si possible, des chiffres de référence devront être inclus pour tous les indicateurs (ou des données historiques qui permettent de les estimer).
Les niveaux stratégiques sont liés aux niveaux des indicateurs (suite)
Détermination Méthode Collecte de Données
Définitions du Système
d' Information
Collecte de Données
Evaluation
Mise en Oeuvre&
Monitoring
ProgrammationEvaluation
desOptions
Encadrementdes
Priorités
Analyse de la
Situation
Erreur
Inconsistance
Validité
Calcul
Validationdes
Données
Interprétation
Rapport
Calcul des Indicateurs
Collation des Donnes
STRATEGIE
- Ministère de la Santé / SLPP
- Partenaires RBM
Choix des Sites Sentinelle
Définition des ObjectifsTarget et Indicateurs
STRATEGIES
Utilisation
Communication
STEPS IN EVALUATION
Steps in Evaluation
CONCEPT DE LA PLANIFICATION ET DE L’ÉVALUATION
Cibles de fonctionnement
Cibles de résultats
Cibles opérationnelles
Stratégies ou approchesInterventionsServicesPersonnelsPopulation visée
Résultats
Objectifs d’impact =Objectifs épidémiologiques =Objectifs
EpidémiologiqueSocio - Economique
Impact
Activités du programme :Outputs : (Sorties)-de production-De personnes formées-De fournitures distribuées
Fonctionnement
Inputs : (Entrées)-de personnes-de ressources
OBJECTIFS ET CIBLESELÉMENTS CONCERNÉSNIVEAUCHAÎNE DE CAUSALITÉ
PRINCIPES
Tous les programmes de lutte antipaludiques doivent comporter une composante d’évaluation comme caractéristique permanente pour faire face à des changements de situation
la planification, la mise en œuvre, l’évaluation et la re planification doivent représenter un processus continu et une caractéristique intégrante à tout programme antipaludique
Les méthodes d’évaluation et les données pertinentes à récolter doivent être strictement liées aux objectifs, aux activités et aux résultats attendus du programme
L’évaluation d’un programme de lutte antipaludique devrait tenir compte de la situation du paludisme avant le début du plan et après sa mise en œuvre
Au point de vue de l’aspect quantitatif de l’évaluation, les outils d’une évaluation appropriée devraient être sélectionnés avec une attention particulière pour leur simplicité, leur coût et la pertinence des informations recueillies par rapport aux objectifs du programme
Une évaluation quantitative devrait être routinière et basée sur une supervision appropriée pour s’assurer que la qualité du rendement opérationnel est maintenue au niveau optimalSélection et définition des méthodes d’évaluation dans la lutte antipaludique
Des professionnels bien formés et expérimentés devraient jouer un rôle clé dans l’évaluation du processus pour :
- préciser les outils appropriés pour l’évaluation- concevoir les formulaires- former et superviser le personnel engagé dans le travail d’évaluation- gérer des situations de terrain et des études
PRINCIPES (Suite)
Evaluation de la Lutte Antipaludique
% de patients atteints de paludisme simple qui reçoivent un traitement correct, dans une formation sanitaire ou au niveau de la communauté, conformément aux directives nationales, dans les 24 heures qui suivent l’apparition des symptômes
Les indicateurs de résultat doivent refléter l’évolution des connaissances, des attitudes, du comportement ou du nombre de formations sanitaires, prévue dans les objectifs de résultat
RESULTATS INTERMEDIAIRES LIES AUX
INTERVENTIONS PRIORITAIRES DU
PROGRAMME
Taux (cas présumés et confirmés) de mortalité liée au paludisme parmi les groupes cibles
Réduction de la mortalité et de la morbidité
IMPACT
% du personnel soignant formé à la prise en charge des cas de paludisme et à la prise en charge intégrée des maladies de l’enfant
Les indicateurs de fonctionnement doivent permettre de vérifier que les activités prévues - ont bien été réalisées- en temps voulu
PROCESSUS OU FONCTIONNEMENT
EXEMPLES D’INDICATEURS A SELECTIONNER
QUE FAUT-ILSURVEILLER ET
EVALUER
OBJECTIFS DES PLANS D’ACTION FRP
LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
UNITE M & E
Une unité M & E mise en place dans le Ministère de la Santé avec les équipes techniques et de gestion appropriées
Un budget pour le M & E entre 5 et 10 % du budget commun national pour le VIH/SIDA, la tuberculose et un budget pour le paludisme englobant tous les financements
Une importante contribution nationale pour le budget national M & E (ne pas compter exclusivement sur les financements extérieurs)
Une relation formalisée (M&E), particulièrement avec les Ministères, ONG, donateurs et les institutions de recherche visant à renforcer les efforts en matière de recherche
Un groupe de travail multisectoriel pour fournir des données et aboutir à un consensus sur les indicateurs de sélection et les aspects variés de méthode et de mise en œuvre
Expertise épidémiologique dans l’unité M & E et associés
Constitution d’une base de données et expertise statistique dans l’unité M & E et associés
Dissémination de l’expertise des données dans l’unité M & E et associés
BUTS :
Programme national bien défini ou documents de projet avec des buts et des objectifs bien clairs ainsi que des plans opérationnels,
Revue réguliers / évaluations du progrès de la mise en œuvre du programme national ou des projets
Directives pour les districts, régions et provinces pour M & E
Directives pour la liaison de M & E à d’autre secteurs
Coordination de l’Etat et les donneurs pour les besoins de M & E
LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
INDICATEURS :
Un ensemble d’indicateurs prioritaires et des indicateurs supplémentaires à différents niveaux du M & EIndicateurs pouvant être comparés à tout momentUn nombre d’indicateurs clés pouvant être comparés avec ceux desautres pays
COLLECTE DE DONNES ET ANALYSE :
Collecte de données à niveau national et plan d’analyse incluant une assurance de la qualité des donnéesUn plan de collecte de données et une analyse périodique des indicateurs à différents niveaux de juridiction du M & E (y compris géographique)Sureveillance de seconde génération, où des données de comportement sont liées aux données de surveillance HIV/SIDA
LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
RESTITUTION DES DONNEES :
Un plan de restitution des données à niveau national effectif
Diffusion de rapports annuels d’information sur l’unité M & E
Réunion annuel pour diffuser et discuter des résultats des recherches M & E, avec les techniciens, plannificateurs et exécuteurs
A clearinghouse for generation and diffusion des résultats des recherches
Une banque de données ou une bibliothèque sur HIV/AIDS, TB, etPaludisme, incluant les recherches en cours
Une coordination de l’Etat et les donneurs pour M & E pour la répartition des besoins
LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
SECTEURS CRITIQUES POUR LA SURVEILLANCE ET L' EVALUATION ROLL BACK MALARIA
PREVENTION et CONTROLE des
EPIDEMIES
DIAGNOSTIC PRECOCEet TRAITEMENT
EFFECTIFPREVENTION
ACTIONCOMMUNAUTAIRE
POLITIQUE de la SANTÉ
LIAISONINTERSECTORIEL
SERVICES DELIVRES
SUPPORT TECHNIQUE
PARTENARIATNATIONAL
RECHERCHE OPERATIONELLE
FARDEAUDU
PALUDISME
PARTENARIATGLOBAL
IMPACT
PREVENTION du PALUDISME et PRISE en CHARGE de la MALADIE
DEVELOPPEMENT du SECTEUR de la SANTE
LIAISONS INTERSECTORIEL
APPUI & PARTENARIAT
GESTION SERVICES
SANITAIRES
BIBLIOGRAPHIEWHO, UNAIDS, GFATM, USAID, CDC, UNICEF, WB (January 2004) Monitoring and Evaluation Toolkit HIV/AIDS , Tuberculosis and Malaria. Roll Back Malaria (2000) Cadre pour la Surveillance des Progrès et l’Evaluation des Résultats et de l’Impact. WHO GenèveWHO/RBM,(Juillet 2003) La Planification de programme de lutte Contre le Plaudisme. WHO GenèveMinistero degli Affari Esteri Italia, Direzzione Generale per la Cooperazione allo Sviluppo, CooperazioneItaliana (Aprile 2002): Manuale operativo di monitoraggio e Valutazione delle Iniziative di Cooperazione allosviluppo. RomaDetogni C. (2001). Manuale di Progettazione Sanitaria Internazionale. Franco Angeli, MilanoSt Leger A.S., Schnieden H. (1992) Evaluation Health Services Effectiveness. Open University Press. Philadelphia ACYF CORE (2001) The Program Manager Guide to evaluation. www.acf.dhhs.govCDC (1999) Framework for Program Evaluation in Public Health. U.S. Department of Health & Human Service. AtlantaDe Angelis V., Ricciardi N., Storchi G. (1998) ORAHS 98 Monitoring, Evaluating, Planning Health Service. World ScientificDrew H. C., Duivenboden J., Bonnefoy X. (2000) Guidelines for evaluation of Environmental Health Service. WHO Regional Publications Series CopenhagenEuropean Commission (2001) Project Cycle Management. BruxellesEvaluation Cookbook (1999) Design Experiments www.icbi.hw.ac.ukMcNamara C. (2001) Basic Guide To Program Evaluation www.mapnp.orgNational Advisory Council on Aging (1988). A Participatory Evaluation Guide. Ottawa K1A 1B4NSF (1997) User-Friendly handbook for Mixed Method Evaluation. www.ehr.nsf.govNational Advisory Council on Aging (1998) A participatory Evaluation Guide. NACA Ottawa K1A 1B4Rotman I. & Others (2001) Evaluation in Health Promotion. WHO Regional Publication European Series. DenmarkSaint-Germain M.A. (2001) Research Methods. www.csulb.eduScotCIT (1998) ScotCIT Evaluation Framework www.scotcit.ac.ukThe World Bank Group (2001) evaluation Design www.worldbank.orgTrochim W. (2000) Research Methods Knowledge Base. http://trochim.huiman.cornell.eduU.S. General Accounting Office (1991) Program Evaluation and Methodology Division. www.gao.govKarani F. A. (1984) Monitoring and Evaluation. UNICEF Nairobi, KenyaW.K. Kellogg Foundation (1998) Evaluation Handbook
Dr. Luciano TUSEORoll Back Malaria OMS - Madagascar
OMS BP 362 Antananarivo [email protected]
Top Related