lndicateurs de Suivi et Evaluation
Introduction
Pourquoi les indicateurs sont-ils importants ?
Les indicateurs fournissent des informations de S&E vitales pour la prise de décisions à chaque niveau et à chaque étape de l’exécution du programme.
Objectif général
L’objectif général du module « Généralités sur les indicateurs » est de faire acquérir aux stagiaires les connaissances sur la construction d’indicateurs.
Objectifs spécifiques
A la fin de ce cours, les stagiaires doivent être capables de: Définir un indicateur ; Critiquer un indicateur; Décrire les caractéristiques d’un bon
indicateur; Montrer le lien des indicateurs avec les
cadres de suivi et évaluation précédemment présentés
Choisir un indicateur et remplir une feuille de référence de calcul d’indicateur.
Méthodes pédagogiques
1.Exposé introductif
2.Discussions
3.Travaux de groupes.
Plan du module
1. Définition d’un indicateur2. Types de mesures3. Méthodes de mesure4. Caractéristiques d’un bon indicateur5. Critères de sélection des indicateurs6. Différents niveaux d’indicateurs7. Liens entre les indicateurs et les cadres de
résultats8. Mode de calcul d’un indicateur9. Opérationnalisation des indicateurs10.Conclusion
Qu’est-ce qu’un indicateur ?
une variable
qui mesure
un aspect du programme ou projet (en terme de changement)
Un ensemble approprié d'indicateurs inclut au moins un indicateur de chaque aspect significatif du programme ou du projet (c.-à-d. au moins un par case du cadre de S&E)
Types de mesures d’un indicateur
Un indicateur peut être :
taux
ratio
pourcentage
moyenne
classement
nombre
index composite
Méthodes de mesure d’un indicateur
Décompte
Nombre de prestataires formés
Nombre de préservatifs distribués
Calcul
% d’établissements sanitaires ayant un prestataire formé
Taux de mortalité maternelle
Taux de fertilité
Index de qualité comportant la somme des points au dessus de six résultats de qualité.
Types d’indicateurs(1/3)
Taux : Nombre de sujets qui répondent aux critères de l’évènement étudié/Population cible, au cours d’une période de temps bien définie.
Exemple : Taux de vaccination
= Nb. d’enfant vaccinés / Nb. d’enfants âgés de 12-60 mois pendant l’année
Ratio : Le numérateur n’est pas inclus dans le dénominateur
Exemple : Ratio mortalité maternelle
= Nb. de femmes qui meurent pendant la grossesse ou à l’accouchement / Nb. de naissances vivantes
Types d’indicateurs(2/3)
Moyenne : La somme des valeurs observées sur le nombre total d’observations
Exemple : Moyenne des infirmier(e)s formés par an ou par région.
Le classement ou le rang : Le niveau dans le groupe
Exemple : le 1er, le 2ème , etc.
Types d’indicateurs(3/3)
Nombre
Exemple : Nombre de préservatifs distribués par les agents de santé communautaire.
Index composite : un ‘score’, une combinaison de plusieurs indicateurs
Exemple : L’index de l’effort des programmes de sida
Caractéristiques d’un bon indicateur SMART
Specific
Measurable
Attaignable (réaliste)
Relevant (pertinent)
Trackable (Que l’on peut suivre )
Caractéristiques d’un bon indicateur :
l’approche SMART.
« SMART » récapitule les critères principaux,
demandant « est-ce que l'indicateur est Spécifique, Mesurable,
Possible/Réaliste, Approprié et Trackable ? »
Spécifique: Mesure-t-il exactement ce qui est supposé mesurer ? Le niveau approprié de la désagrégation a-t-il été indiqué ?L'indicateur capture-t-il l'essence du résultat désiré ?
Caractéristiques d’un bon indicateur : l’approche SMART.
Capture-t-il des différences à travers des secteurs et catégories de personnes ? L'indicateur est-il assez spécifique pour mesurer
le progrès vers le résultat ?
Par exemple, en utilisant l'indicateur
« augmentez de 20 pour cent en nombre de plaintes
criminelles classées » peut refléter un système plus efficace de justice OU une augmentation de crime.
Caractéristiques d’un bon indicateur : l’approche SMART.
Mesurable: Les changements sont-ils objectivement
vérifiables L'indicateur montre-t-il le changement souhaité ? Est-ce une mesure fiable et claire du résultat ? Est-il sensible aux changements des politiques et
des programmes ? Les parties prenantes se sont-elles mises
d’accord sur ce que l’indicateur doit exactement mesurer ?
Caractéristiques d’un bon indicateur : l’approche SMART.
Attainable (réaliste) : Quels sont les changements prévus comme résultat de l’assistance
technique ? Les résultats (s) sont-ils réalistes ? Pour cela, un lien crédible entre les
produits et les contributions du partenariat et les résultats sont indispensables. .
Relevant (pertinent): Est-ce que l’indicateur capture l’essentiel des résultats désirés? Est-il pertinent pour les produits et les résultats ? Pour juger de la
pertinence de l’indicateur, on peut identifier les groupes cibles, leurs besoins, espérances et critères.
Est-ce que l’indicateur est associé avec la partie de l’activité ?
Caractéristiques d’un bon indicateur : l’approche SMART.
Trackable (que l’on peut suivre): Les données sont-elles réellement disponibles à un coût et
effort raisonnables ? Est-ce que les sources de données sont connues ? On
devrait établir des principes réalistes, les mécanismes et responsabilités pour la collecte des données.
Est-ce qu’il existe un plan de suivi de l’indicateur?
Critères de sélection d’un indicateur
Disponibilité de données
Logique et lien avec les cadres de suivi et évaluation
Ressources/ couts
Besoins programmatiques, du gouvernement, des bailleurs
Consensus entre les parties prenantes
Exigences des bailleurs.
Cinq niveaux d’indicateurs :
Intrants
Processus
Extrants
Effets
Impact
Différents niveaux d’indicateurs
Indicateurs d’intrant
Mesurent les ressources fournies pour exécuter les activités.
Exemples :
1. Le montant d’argent mobilisé
2. Le nombre de personnes recrutées
3. Les fournitures disponibles
Indicateurs de Processus
mesurent les activités exécutées
sont des données quantitatives
Exemples :
1. Le nombre de formations effectuées
2. Le nombre de matériels d’IEC imprimés
3. Le nombre de sites Conseil dépistage volontaire (CDV) crées
Indicateurs d’extrant
mesurent les produits ou les services offerts
Exemples :
1. Le nombre des CDV offrant des services aux jeunes;
2. Le nombre de médecins formés en suivi évaluation
Indicateurs d’effet
mesurent le changement dans le comportement des bénéficiaires
mesurent l’atteinte des objectifs
mettent l’accent sur les résultats immédiats, intermédiaires ou moyen terme du programme
Exemples
1. Pourcentage des jeunes de la population utilisant régulièrement les services CDV
2. des jeunes de la population dont le niveau de connaissance en matière de prévention du VIH s’est accru.
Indicateurs d’impact
mesurent le résultat à long terme
Exemples :
1. Taux de morbidité et de mortalité
2. Taux de fécondité
3. Taux l’incidence
Cadre type de résultats
OS1 : Usage accru des PF, SMI et mesures préventives du VIH/SIDA
RI1 : Disponibilité de services de qualité
RI2 : Demande deservices
RI1.1 : Information et accroissement des services
RI1.2 : Accroissement des compétences et connaissances des praticiens
RI1.3 : Gestion efficace durable
RI2.1 : Amélioration des connaissances des clients sur l’hygiène de la reproduction et la santé infantile
Cadre type ( Partiel ) avec activités
RI1 : Disponibilité de services de qualité
RI1.1 : Information et accroissement des services
RI1.2 : Accroissement des compétences et connaissances des praticiens
RI1.3 : Gestion efficace durable
Interventions :
Développement d’outils de suivi de la qualité des soins
Formation des superviseurs à la gestion
Formation clinique des prestataires
Support/approvision-ment en Matériel et médicaments.
Programmes IEC
Cadre type (partiel) avec indicateurs
RI1 : Disponibilité de services de qualité
RI1.1 : Information et accroissement des services
RI1.2 : Accroissement des compétences et connaissances des praticiens
RI1.3 : Gestion efficace durable
Interventions :
Développement d’outils de suivi de la qualité des soins
Formation des superviseurs à la gestion
Formation clinique des prestataires
Support/approvisioment des DC
Programmes IEC
a. % des établissements atteignant 85-100 sur la liste(rurale, urbaine) de Qualité des soins du MdS
b. % comptant au moins un prestataire formé dans chaque zone de service ciblée (rurale, urbaine)
a. Nb. de programmes IEC radiodiffusés pendant l’année précédente
b. % d’établissements offrant tous les services ciblés
a. Nb. de prestataires ayant achevé la formation cliniqueb. Nb. de personnel du centre ayant achevé la formation
a. % superviseurs ayant achevé tous les cours de formation à la gestion (niveau national et district)
b. % prestataires satisfaits de la gestion et des pratiques de supervision
c. Disponibilités de stocks continues pendant 90 jours précédents,
d. Disponibilités de stocks continues pendant 90 jours précédents, magasins de district
Mode de calcul des indicateurs (1/2)
RI1 : Disponibilité de services de qualité
Indicateurs :I. % des établissements atteignant 85-100 sur la liste (rurale, urbaine) de Qualité des soins
II. % comptant au moins un prestataire formé dans chaque zone de service ciblée (rurale, urbaine)
Mesures :1a. Numérateur : Nb. d’établissements ruraux
atteignant 85+ sur la liste de qualité des soins.
Dénominateur : Nb. total d’établissements ruraux contrôlés et cotés.
1b. Numérateur : Nb. d’établissements urbains atteignant 85+ sur la liste qualité des soins.
Dénominateur : Nb. total d’établissements urbains contrôlés et cotés.
1c. (Le % général peut aussi être calculé).
2a-f. Numérateur : Nb. d’établissements (ruraux, urbains) comptant au moins un prestataire formé (SMI, IST, PF).
Dénominateur : Nb. total d’établissements (ruraux, urbains)
Autre 2a-f. Limite des dénominateurs aux seuls établissements offrant le service pour lequel les prestataires formés sont comptés au numérateur.
Mode de calcul des indicateurs (2/2)
RI1.2 : Accroissement des compétences et connaissances des praticiens
Indicateurs :I. Nb. de prestataires ayant achevé la formation clinique
II. Nb. du personnel ayant achevé la formation
Mesures :1.Nombre de prestataires ayant achevé un cours de formation clinique dans un domaine de soins qu’ils pratiquent (SMI, MST, FP, etc.)
N.B.: Le plan S/E doit établir et préciser comment calculer ce nombre. Par exemple, un prestataire peut avoir achevé un cours élémentaire et un cours avancé. Le plan S/E doit préciser qu’il s’agit du compte d’un même prestataire. Les données de cet indicateur doivent par conséquent provenir d’entrevues avec les prestataires, et non pas du nombre de participants aux cours, afin d’éviter de compter en double. .
2. Nombre de personnel ayant achevé un cours de formation correspondant à leurs fonctions et responsabilités pertinentes.
N.B.: Le plan S/E doit établir et préciser la période appropriée de la formation (« jamais formé », « formépendant les 12 derniers mois », etc.) Si les taux de perte posent problème, une détermination de personnel formé « actif » peut être incluse dans la mesure.
Opérationnalisation d’un indicateur (1/2)
Un fois un indicateur choisi de façon appropriée, il aura besoin d’ être mieux défini pour être opérationnel
A ce stade, un indicateur précédemment sélectionné peut être rejeté simplement parce que non facilement opérationnel
Opérationnalisation d’un indicateur (2/2)
Questions utiles pour l’opérationnalisation
Sources des données (numérateur et dénominateur)?
Fréquence de collecte des numérateurs et dénominateurs ?
Fréquence de traitement et d’analyse de l’indicateur?
Niveau d’agrégation dans le temps et l’espace
Cible objective de l’indicateur qui a besoin d’ être atteinte?
Seuil ( valeur minimale ou maximale) pour lequel il faut déclencher une action?
Nature de la décision ou action quand le seuil est atteint?
Conclusion(1/2) Les indicateurs aident ā montrer les changements
directs ou indirects opérer dans un programme/projet
Le choix d’un indicateur requiert un haut degré de jugement faisant appel ā une approche participative : recherche de consensus
La sélection des indicateurs doit tenir compte des caractéristiques de ces derniers et des éléments ā considérer pour juger de leurs opérationnalisation
Conclusion(2/2).
L’importance de la décision ā prendre peut contrebalancer les problèmes de coût liés ā la collecte de l’indicateur et conduire ā le retenir.
Parfois les coût élevés des indicateurs peut conduire ā l’abandon d’un indicateur même si la décision ā prendre semble d’une grande importance.
Tuyau de sélection des indicateurs: Keep it straightforward and simple =
Rendre la sélection des indicateurs direct et simple
Références
Indicator Manuals/Guidelines: National AIDS Programmes: A Guide to Monitoring and Evaluating Antiretroviral Programmes, WHO(2005)
http://www.who.int/hiv/pub/me/naparv/en/
Guide to Monitoring and Evaluation of the national response for Children Orphaned and Made Vulnerable by HIV/AIDS, UNICEF(2005)
Directive pour l’elaboration d’indicateurs de base,ONUSIDA/Suvi de la Declaration d’engagement sur le VIH/sida, Rapport 2008
Programme sida Nationaux; Guide de S/E, ONUSIDA, septembre 2000.
. Design and Implementation of Health Information Systems
Top Related