CHAPITRE 9 Gestion de l’information : suivi et évaluation 9. Gérer l... · pratiques de...

48
© 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTÈMES DE SANTÉ EN ACTION CHAPITRE 9 Gestion de l’information : suivi et évaluation C e chapitre est un guide pratique. Il vous est destiné, vous qui êtes responsable d’un programme ou d’un service de santé et vous pourrez l’utiliser pour mieux comprendre et organiser les pratiques essentielles d’amélioration du suivi et de l’évaluation (S&E) des services de santé. Il explique le rôle et la fonction d’un système d’information de santé (SIS) efficace, décrit le suivi et l’évaluation en tant que fonctions clés de la gestion de programme et énonce la différence entre les deux. Des suggestions sont proposées qui renforcent l’utilité de chaque fonction et faciliteront votre apprentissage et vos actions. Enfin, il démontre que les bonnes pratiques de leadership et de gestion sont utiles au S&E. Vous pouvez utiliser l’information contenue dans ce chapitre pour : renforcer la performance d’un SIS ; utiliser le suivi de routine pour rendre plus performantes les activités d’une organisation ; produire des données exploitables pour prendre des décisions éclairées ; éviter les écueils habituels relatifs au S&E ; concevoir une évaluation ; utiliser des cadres pour l’élaboration d’un plan logique d’activité de programme ; préparer un plan de S&E. Pour conclure, ce chapitre contient un récit qui met en lumière l’aspect humain du S&E. Ce récit vous décrit comment l’utilisation de données quelque-peu-imparfaites et provenant d’un SIS peut être bénéfique et susciter la confiance dans le système. Ce récit propose également plusieurs pratiques avérées de S&E qui sont utiles à votre travail de responsable de la santé. Nancy LeMay 1. Obtenir des résultats en renforçant les systèmes de santé 2. Leadership et management : les compétences essentielles pour renforcer les systèmes de santé 3. Gouvernance des systèmes et des organisations de santé 5. Planification du travail et utilisation effective du plan 7. Gestion des finances et des systèmes connexes 8. Gestion des médicaments et des produits de santé 6. La gestion des ressources humaines 10. Gestion de la prestation de services de santé 9. Gestion de l’information : suivi et évaluation 4. Intégration de l’égalité des sexes dans les systèmes sanitaires

Transcript of CHAPITRE 9 Gestion de l’information : suivi et évaluation 9. Gérer l... · pratiques de...

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CHAPITRE 9

Gestion de lrsquoinformation suivi et eacutevaluation

Ce chapitre est un guide pratique Il vous est destineacute vous qui ecirctes responsable drsquoun programme ou drsquoun service de santeacute et vous pourrez lrsquoutiliser pour mieux comprendre et organiser

les pratiques essentielles drsquoameacutelioration du suivi et de lrsquoeacutevaluation (SampE) des services de santeacute Il explique le rocircle et la fonction drsquoun systegraveme drsquoinformation de santeacute (SIS) efficace deacutecrit le suivi et lrsquoeacutevaluation en tant que fonctions cleacutes de la gestion de programme et eacutenonce la diffeacuterence entre les deux Des suggestions sont proposeacutees qui renforcent lrsquoutiliteacute de chaque fonction et faciliteront votre apprentissage et vos actions Enfin il deacutemontre que les bonnes pratiques de leadership et de gestion sont utiles au SampE

Vous pouvez utiliser lrsquoinformation contenue dans ce chapitre pour

renforcer la performance drsquoun SIS utiliser le suivi de routine pour rendre plus

performantes les activiteacutes drsquoune organisation produire des donneacutees exploitables pour prendre des

deacutecisions eacuteclaireacutees eacuteviter les eacutecueils habituels relatifs au SampE concevoir une eacutevaluation utiliser des cadres pour lrsquoeacutelaboration drsquoun plan logique

drsquoactiviteacute de programme preacuteparer un plan de SampE

Pour conclure ce chapitre contient un reacutecit qui met en lumiegravere lrsquoaspect humain du SampE Ce reacutecit vous deacutecrit comment lrsquoutilisation de donneacutees quelque-peu-imparfaites et provenant drsquoun SIS peut ecirctre beacuteneacutefique et susciter la confiance dans le systegraveme Ce reacutecit propose eacutegalement plusieurs pratiques aveacutereacutees de SampE qui sont utiles agrave votre travail de responsable de la santeacute

Nancy LeMay

1 Obtenir des reacutesultats en renforccedilant les systegravemes de santeacute

2 Leadership et management les compeacutetences essentielles pour renforcer les systegravemes de santeacute

3 Gouvernance des systegravemes et des organisations de santeacute

5 Planification du travail et utilisation effective du plan

7 Gestion des finances et des systegravemes connexes

8 Gestion des meacutedicaments et des produits de santeacute

6 La gestion des ressources humaines

10 Gestion de la prestation de services de santeacute

9 Gestion de lrsquoinformation suivi et eacutevaluation

4 Inteacutegration de lrsquoeacutegaliteacute des sexes dans les systegravemes sanitaires

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 92

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Introduction

Dans le milieu du deacuteveloppement la production de reacutesultats quantifiables prend une place grandissante renforccedilant par la mecircme occasion lrsquoattention et lrsquointeacuterecirct porteacutes au SampE On discute beaucoup de la planification baseacutee sur les reacutesultats des cadres de reacutesultats et des eacutequipes de reacutesultats Mais freacutequemment la confusion porte sur ce qursquoil faut suivre ce qursquoil faut eacutevaluer et sur la faccedilon de proceacuteder au mieux agrave ces deux tacircches

Nous constatons que lrsquoon a souvent tendance agrave oublier lrsquoimportance drsquoun suivi seacuterieux et de bonne qualiteacute ce qui est essentiel agrave la production drsquoinformations neacutecessaires aux managers car ils en ont besoin pour agir et obtenir des reacutesultats Presseacutees drsquoeacutevaluer certaines organisations donnent une importance moindre au suivi et favorisent lrsquoeacutevaluation pour deacutemontrer qursquoelles ont obtenu des reacutesultats Le suivi est une pratique de gestion souvent sous utiliseacutee et susceptible drsquoecirctre neacutegligeacutee entre les phases drsquoeacutevaluation et de planification

En tant que manager vous avez besoin vous et votre eacutequipe de lrsquoinformation obtenue agrave partir du suivi et de lrsquoeacutevaluation pour pouvoir geacuterer les activiteacutes et produire des reacutesultats Vous utiliserez probablement vos compeacutetences de SampE pour mesurer les intrants les activiteacutes les produits et les reacutesultats de santeacute (termes qui seront expliqueacutes agrave la suite dans ce chapitre) On ne vous demandera sans doute pas de mesure drsquoimpact Agrave lrsquoexception drsquoorganisations de grande taille bien eacutetablies et bien financeacutees lrsquoeacutevaluation drsquoimpact incombe geacuteneacuteralement au ministegravere de la santeacute ou aux donateurs Bien que lrsquoeacutevaluation drsquoimpact ne relegraveve pas de ce chapitre vous y trouverez des liens vers des documents utiles sur ce thegraveme

Ce chapitre nrsquoest pas reacuteserveacute au personnel chargeacute du SampE ou du SIS Il srsquoadresse agrave un public bien plus large comprenant

les directeurs et autres cadres supeacuterieurs des organisations de la socieacuteteacute civile (OSC) notamment les organisations non-gouvernementales (ONG) les organisations confessionnelles et autres organisations agrave but non lucratif

les managers de projets financeacutes par des donateurs et mis en œuvre par des OSC les managers de district et de formations sanitaires du secteur public le personnel de SampE et de SIS des organisations du secteur public et des

organisations financeacutees par des donateurs

Information pour la gestion des services de santeacute

Il est geacuteneacuteralement admis que les directeurs et les prestataires de services de santeacute doivent ecirctre agrave mecircme drsquoacceacuteder plus facilement agrave une information fiable et de disposer de moyens plus adapteacutes pour utiliser cette information en vue drsquoassurer le suivi de la performance et de geacuterer les services Une gestion efficace de lrsquoensemble du systegraveme de santeacute est tributaire de la bonne utilisation drsquoinformations exactes et opportunes par lrsquoensemble du personnel agrave tous les niveaux Lrsquoutilisation drsquoune telle information repose agrave son tour sur la capaciteacute du SIS agrave geacuteneacuterer des informations utiles

LES SOUS-SYSTEgraveMES ET LES CYCLES DrsquoUN SYSTEgraveME DrsquoINFORMATION DE SANTEacute

Dans Lrsquoaffaire de tous renforcer les systegravemes de santeacute pour de meilleurs reacutesultats sanitaires cadre drsquoaction de lrsquoOMS (lien en anglais) lrsquoOrganisation mondiale de la santeacute (OMS) deacutemontre que lrsquoinformation est lrsquoune des six eacuteleacutements constitutifs de tout systegraveme de santeacute LrsquoOMS deacutefinit

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 93

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

ainsi un SIS qui fonctionne bien [crsquoest un systegraveme] qui garantit la production lrsquoanalyse la disseacutemination et lrsquoutilisation drsquoinformations fiables et opportunes sur les deacuteterminants de la santeacute la performance du systegraveme de santeacute et lrsquoeacutetat de la santeacute (OMS 2007) Le terme SIS regroupe geacuteneacuteralement les nombreux sous-systegravemes qui geacutenegraverent lrsquoinformation neacutecessaire agrave la gestion des services de santeacute La Figure 1 offre un aperccedilu des sous-systegravemes communs au sein drsquoun SIS

Un SIS bien conccedilu et fonctionnant correctement devrait appuyer les processus cleacutes neacutecessaires agrave la gestion des services de santeacute Ces processus sont cycliques et continus et la collecte lrsquoanalyse et lrsquoutilisation drsquoinformations pour mener agrave bien les fonctions de gestion de la santeacute engendrent aussi un processus cyclique

La Figure 2 illustre le SampE comme eacuteleacutement drsquoun cycle de gestion classique qui alimente le cycle drsquoinformations en donneacutees Il est ensuite traiteacute et transformeacute en information qui est recycleacutee dans les diverses fonctions du cycle de gestion

FIGURE 1 Sous systegravemes communs drsquoinformation de santeacute

Surveillance eacutepideacutemiologique

Deacutetection et notification des maladies et facteurs de risque enquecircte de suivi et mesures de lutte contre les flambeacutees

Reporting de service de routine

Enregistrement et reporting de services baseacutes dans les structures de niveau communautaire et de proximiteacute en termes de suivi des cas suivi de lrsquoaccomplissement des missions (qualiteacute)

de produit du service et de performance de la couverture ainsi que de la disponibiliteacute et de lrsquoutilisation des ressources

Reporting speacutecifique au programme

Programmes tels que

preacutevention et lutte contre le paludisme

santeacute geacuteneacutesique et planification familiale (PF)

vaccination

lutte contre la tuberculose

preacutevention et prise en charge du VIH amp sida et des IST

lutte contre legravepre

Prise en charge inteacutegreacutee des maladies de lrsquoenfance esu et assainissement

eau et assainissement

hygiegravene et seacutecuriteacute des denreacutees alimentaires

Information administrative

gestion financiegravere et du budget

gestion des ressources humaines

administration de la formation

gestion des stocks de meacutedicaments essentiels

mise en place et entretien des infrastructures et des eacutequipements

gestion de la recherche en santeacute

gestion de documents et donneacutees

gestion des ressources externes

Enregistrement agrave lrsquoeacutetat civil

Enregistrement dans le systegraveme de santeacute et drsquoeacutetat civil des naissances deacutecegraves constitution de famille et migration

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 94

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

DISTINCTIONS ENTRE SUIVI ET EacuteVALUATION

Le suivi et lrsquoeacutevaluation sont des fonctions cleacutes de la gestion drsquoune organisation Ensemble ils servent agrave appuyer des deacutecisions eacuteclaireacutees agrave utiliser plus judicieusement les ressources et agrave eacutevaluer objectivement dans quelle mesure les prestations et autres activiteacutes drsquoune organisation ont abouti au reacutesultat deacutesireacute

Pour prendre des deacutecisions eacuteclaireacutees les responsables des soins de santeacute ont besoin drsquoun systegraveme de SampE produisant des informations fiables sur des facteurs tels que

les besoins de santeacute des populations dans leur zone desservie la zone drsquoougrave viennent les usagers pour recevoir des services

les prioriteacutes du pays de la province du district et les communauteacutes qursquoils desservent

la qualiteacute des services dispenseacutes et ce qursquoils recouvrent les ressources utiliseacutees et celles qui restent le progregraves dans la mise en œuvre de leurs activiteacutes

Pour satisfaire de tels besoins en information des activiteacutes de suivi et drsquoeacutevaluation sont toutes deux neacutecessaires Mais lesquelles faut-il utiliser et agrave quel moment Les diffeacuterences entre le suivi et lrsquoeacutevaluation srsquoinscrivent dans leur objet leur deacutelai et leurs sources drsquoinformation

Le suivi sert agrave surveiller reacuteguliegraverement lrsquoeacutevolution des indicateurs (marqueurs mesurables de lrsquoeacutevolution dans le temps) en vue de geacuterer la mise en œuvre drsquoun programme Le suivi mesure les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les activiteacutes les produits et parfois les reacutesultats agrave court terme Pour vous le manager cela peut signifier que vous devrez suivre les progregraves par rapport agrave vos plans opeacuterationnels etou proceacuteder au suivi des services offerts

FIGURE 2 Relations entre lrsquoinformation et les cycles de gestion

Cycle de linformation

Cycle de gestion

Budgeacutetsation

Mise en œuvre

Controcircle

Suivi eteacutevaluation

Planication

Preacutesentation de linformation

Interpreacutetation de linformation

Utilisation de linformation

Recueil des donneacutees

Analyse des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 95

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Des proceacutedures courantes de suivi de programmes comprennent le suivi des statistiques sur les services et lrsquoexamen des registres et des rapports de formations Un suivi reacutegulier et systeacutematique procure des informations pour les besoins de la planification et offre une base fiable pour une eacutevaluation

Lrsquoeacutevaluation est par contre employeacutee pour eacutevaluer lrsquoefficaciteacute (et parfois le coucirct) des initiatives drsquoameacutelioration des services et pour preacutevenir et geacuterer les problegravemes de santeacute prioritaires Lrsquoeacutevaluation mesure les reacutesultats et lrsquoimpact Elle eacutevalue dans quelle mesure votre organisation obtient les reacutesultats escompteacutes et vous aide agrave comprendre pourquoi ces reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation vous offre eacutegalement la possibiliteacute drsquoun apprentissage continu agrave partir de lrsquoexpeacuterience

Ainsi le premier facteur qui distingue le suivi de lrsquoeacutevaluation est une diffeacuterence drsquoobjet Le suivi est motiveacute par des besoins de gestion tandis que lrsquoeacutevaluation est motiveacutee par le besoin de documenter les reacutesultats drsquoune intervention et de faire un rapport agrave un donateur ou agrave drsquoautres parties prenantes Ainsi le suivi se concentre sur la mise en œuvre opeacuterationnelle tandis que lrsquoeacutevaluation srsquointeacuteresse aux effets des activiteacutes sur la santeacute des populations cibleacutees

Ce qui nous megravene agrave une deuxiegraveme diffeacuterence essentielle le deacutelai pendant lequel chacune de ces fonctions est utiliseacutee Le suivi est un processus continu reacutegulier utiliseacute pendant toute la dureacutee de lrsquointervention Lrsquoeacutevaluation exige le recueil de donneacutees de reacutefeacuterence et de donneacutees posteacuterieures agrave lrsquointervention ce qui vous permet de constater les changements survenus lors de la peacuteriode drsquointervention (et de faire des comparaisons) et parfois eacutegalement apregraves une peacuteriode de suivi adeacutequate

Pour finir la troisiegraveme diffeacuterence est lieacutee aux sources drsquoinformation utiliseacutees par chacune des fonctions Les donneacutees de suivi proviennent geacuteneacuteralement de sources deacutejagrave disponibles le systegraveme drsquoinformation de santeacute ou les dossiers de routine relatifs aux prestations Les statistiques sur les prestations contiennent des donneacutees de suivi telles que inventaire de fournitures nombre de doses vaccinales administreacutees par mois et reacutesultats chez les patients Les donneacutees de suivi peuvent aussi ecirctre obtenues en proceacutedant agrave une compilation des archives habituelles de lrsquoorganisation Par exemple des listes de participants agrave un atelier de formation peuvent contenir des informations sur le nombre de personnes formeacutees sur un sujet donneacute

Les indicateurs de reacutesultats et drsquoimpact exigent des mesures agrave lrsquoeacutechelle du beacuteneacuteficiaire ou de la population ce qursquoil faut obtenir par lrsquointermeacutediaire drsquoune eacutevaluation Par exemple pour deacuteterminer le reacutesultat drsquoune initiative de conseil en planification familiale vous devez connaicirctre le pourcentage de celles parmi les femmes conseilleacutees qui ont veacuteritablement adopteacute une meacutethode de planification familiale Cette information ne peut ecirctre extraite des statistiques relatives aux prestations ou des archives habituelles de lrsquoorganisation vous devez proceacuteder agrave une enquecircte pour recueillir ces donneacutees

Dans une eacutevaluation des mesures communes incluent lrsquoeacutevolution de lrsquoutilisation des prestations de santeacute drsquoune peacuteriode agrave lrsquoautre la proportion des accouchements sans risques la couverture des services de vaccination et lrsquoeacutevolution des connaissances des attitudes et du comportement drsquoun groupe cible

Pratiques de leadership et de management pour le suivi et lrsquoeacutevaluation En deacutepit des diffeacuterences entre le suivi et lrsquoeacutevaluation ces deux fonctions seront optimiseacutees si vous recourez agrave drsquoautres pratiques de leadership et de management au moment drsquoexeacutecuter des tacircches de suivi ou drsquoeacutevaluation Par exemple le suivi et lrsquoeacutevaluation (lrsquoune des pratiques de management abordeacutees dans le Chapitre 2 de ce guide) exige que vous cibliez les buts et les prioriteacutes et employiez vos capaciteacutes drsquoexamen attentif pour recueillir et analyser les donneacutees neacutecessaires

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 96

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

En reacuteponse aux reacutesultats recueillis par le suivi et lrsquoeacutevaluation il se peut que vous deviez cibler et mettre en phase et mobiliser le personnel pour modifier les plans drsquointervention et obtenir de meilleurs reacutesultats Si les activiteacutes correspondent aux objectifs et obtiennent les reacutesultats escompteacutes vous pouvez aussi employer lrsquoinformation de suivi et drsquoeacutevaluation pour inspirer les employeacutes afin qursquoils ameacuteliorent leurs performances ou sinon qursquoils poursuivent lrsquoexcellent travail qursquoils fournissent

Lorsque vous dirigez les activiteacutes de SampE vous devez eacutelaborer un plan de SampE puis organiser les structures les sous-systegravemes et les processus pour mettre en œuvre le plan Et bien entendu vous ferez le suivi et lrsquoeacutevaluation du programme de SampE lui-mecircme pour deacuteterminer les progregraves et lrsquoobtention des reacutesultats

Les pratiques de leadership et de management discuteacutees dans ce chapitre et dans le Chapitre 2 de ce guide sont aussi entiegraverement deacutecrites dans le laquo Electronic Resource Center raquo de MSH section laquo Deacuteveloppement du leadership raquo intituleacutee laquo Transformer les managers en leaders raquo

Qui srsquoapproprie le SampE

Qui est le client du SampE Qui a besoin de lrsquoinformation sur la santeacute Agrave tous les niveaux drsquoune organisation les responsables ont inteacuterecirct agrave utiliser lrsquoinformation pour agir ce qui leur permet de diriger et de geacuterer efficacement agrave tout niveau En fait les managers procurent le fondement du systegraveme de SampE

Malheureusement la fonction de SampE nrsquoest pas toujours inteacutegreacutee au sein de lrsquoorganisation Dans de nombreux cas les organisations (et parfois les donateurs) font comme si le SampE relevait uniquement de la responsabiliteacute du personnel de SampE En lrsquoabsence de proceacutedure de communication et de feedback adeacutequat lrsquoinformation et les connaissances pourraient rester entre les mains des effectifs de SampE En conseacutequence les reacutesultats (bons comme mauvais) ne sont pas toujours communiqueacutes agrave ceux qui en ont besoin et lrsquoinformation ne sert pas agrave prendre de deacutecisions de gestion

Agrave titre drsquoexemple des eacutevaluations sont trop souvent meneacutees et des informations produites pour reacutepondre aux besoins drsquoun donateur ou drsquoune agence gouvernementale et non pour ameacuteliorer les services de lrsquoorganisation Pour les managers agrave tous les eacutechelons de lrsquoorganisation du centre de santeacute au ministegravere de la santeacute un moyen de srsquoassurer que les reacutesultats de lrsquoeacutevaluation sont utiliseacutes consiste agrave srsquoapproprier les processus et les reacutesultats de SampE

Les besoins en Information agrave divers niveaux Toute lrsquoinformation nrsquoest pas neacutecessaire agrave tous les niveaux ou agrave tout moment Les managers les donateurs et lrsquoadministration centrale peuvent avoir besoin drsquoinformations diffeacuterentes agrave diffeacuterents moments pour satisfaire leurs besoins de reporting et prendre des deacutecisions Par exemple les responsables de projets financeacutes par des donateurs travaillent souvent sur la base de cycles trimestriels ou biannuels et le donateur sur un cycle annuel tandis que le ministegravere de la santeacute peut exiger de trois agrave cinq anneacutees de donneacutees pour deacutemontrer lrsquoimpact et le communiquer aux politiciens et aux meacutedias

Les besoins drsquoinformation dans un systegraveme de santeacute peuvent ecirctre envisageacutes sous la forme drsquoune hieacuterarchie La Figure 3 illustre le fait que des quantiteacutes deacutecroissantes drsquoinformations sont requises au fur et agrave mesure que lrsquoon srsquoeacutelegraveve dans la hieacuterarchie de lrsquoorganisation Il existe un noyau drsquoinformation dont ont besoin tous les responsables agrave tous les niveaux mais seul le plus petit sous-ensemble drsquoinformations est neacutecessaire au niveau national Agrave lrsquoeacutechelle du

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 92

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Introduction

Dans le milieu du deacuteveloppement la production de reacutesultats quantifiables prend une place grandissante renforccedilant par la mecircme occasion lrsquoattention et lrsquointeacuterecirct porteacutes au SampE On discute beaucoup de la planification baseacutee sur les reacutesultats des cadres de reacutesultats et des eacutequipes de reacutesultats Mais freacutequemment la confusion porte sur ce qursquoil faut suivre ce qursquoil faut eacutevaluer et sur la faccedilon de proceacuteder au mieux agrave ces deux tacircches

Nous constatons que lrsquoon a souvent tendance agrave oublier lrsquoimportance drsquoun suivi seacuterieux et de bonne qualiteacute ce qui est essentiel agrave la production drsquoinformations neacutecessaires aux managers car ils en ont besoin pour agir et obtenir des reacutesultats Presseacutees drsquoeacutevaluer certaines organisations donnent une importance moindre au suivi et favorisent lrsquoeacutevaluation pour deacutemontrer qursquoelles ont obtenu des reacutesultats Le suivi est une pratique de gestion souvent sous utiliseacutee et susceptible drsquoecirctre neacutegligeacutee entre les phases drsquoeacutevaluation et de planification

En tant que manager vous avez besoin vous et votre eacutequipe de lrsquoinformation obtenue agrave partir du suivi et de lrsquoeacutevaluation pour pouvoir geacuterer les activiteacutes et produire des reacutesultats Vous utiliserez probablement vos compeacutetences de SampE pour mesurer les intrants les activiteacutes les produits et les reacutesultats de santeacute (termes qui seront expliqueacutes agrave la suite dans ce chapitre) On ne vous demandera sans doute pas de mesure drsquoimpact Agrave lrsquoexception drsquoorganisations de grande taille bien eacutetablies et bien financeacutees lrsquoeacutevaluation drsquoimpact incombe geacuteneacuteralement au ministegravere de la santeacute ou aux donateurs Bien que lrsquoeacutevaluation drsquoimpact ne relegraveve pas de ce chapitre vous y trouverez des liens vers des documents utiles sur ce thegraveme

Ce chapitre nrsquoest pas reacuteserveacute au personnel chargeacute du SampE ou du SIS Il srsquoadresse agrave un public bien plus large comprenant

les directeurs et autres cadres supeacuterieurs des organisations de la socieacuteteacute civile (OSC) notamment les organisations non-gouvernementales (ONG) les organisations confessionnelles et autres organisations agrave but non lucratif

les managers de projets financeacutes par des donateurs et mis en œuvre par des OSC les managers de district et de formations sanitaires du secteur public le personnel de SampE et de SIS des organisations du secteur public et des

organisations financeacutees par des donateurs

Information pour la gestion des services de santeacute

Il est geacuteneacuteralement admis que les directeurs et les prestataires de services de santeacute doivent ecirctre agrave mecircme drsquoacceacuteder plus facilement agrave une information fiable et de disposer de moyens plus adapteacutes pour utiliser cette information en vue drsquoassurer le suivi de la performance et de geacuterer les services Une gestion efficace de lrsquoensemble du systegraveme de santeacute est tributaire de la bonne utilisation drsquoinformations exactes et opportunes par lrsquoensemble du personnel agrave tous les niveaux Lrsquoutilisation drsquoune telle information repose agrave son tour sur la capaciteacute du SIS agrave geacuteneacuterer des informations utiles

LES SOUS-SYSTEgraveMES ET LES CYCLES DrsquoUN SYSTEgraveME DrsquoINFORMATION DE SANTEacute

Dans Lrsquoaffaire de tous renforcer les systegravemes de santeacute pour de meilleurs reacutesultats sanitaires cadre drsquoaction de lrsquoOMS (lien en anglais) lrsquoOrganisation mondiale de la santeacute (OMS) deacutemontre que lrsquoinformation est lrsquoune des six eacuteleacutements constitutifs de tout systegraveme de santeacute LrsquoOMS deacutefinit

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 93

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

ainsi un SIS qui fonctionne bien [crsquoest un systegraveme] qui garantit la production lrsquoanalyse la disseacutemination et lrsquoutilisation drsquoinformations fiables et opportunes sur les deacuteterminants de la santeacute la performance du systegraveme de santeacute et lrsquoeacutetat de la santeacute (OMS 2007) Le terme SIS regroupe geacuteneacuteralement les nombreux sous-systegravemes qui geacutenegraverent lrsquoinformation neacutecessaire agrave la gestion des services de santeacute La Figure 1 offre un aperccedilu des sous-systegravemes communs au sein drsquoun SIS

Un SIS bien conccedilu et fonctionnant correctement devrait appuyer les processus cleacutes neacutecessaires agrave la gestion des services de santeacute Ces processus sont cycliques et continus et la collecte lrsquoanalyse et lrsquoutilisation drsquoinformations pour mener agrave bien les fonctions de gestion de la santeacute engendrent aussi un processus cyclique

La Figure 2 illustre le SampE comme eacuteleacutement drsquoun cycle de gestion classique qui alimente le cycle drsquoinformations en donneacutees Il est ensuite traiteacute et transformeacute en information qui est recycleacutee dans les diverses fonctions du cycle de gestion

FIGURE 1 Sous systegravemes communs drsquoinformation de santeacute

Surveillance eacutepideacutemiologique

Deacutetection et notification des maladies et facteurs de risque enquecircte de suivi et mesures de lutte contre les flambeacutees

Reporting de service de routine

Enregistrement et reporting de services baseacutes dans les structures de niveau communautaire et de proximiteacute en termes de suivi des cas suivi de lrsquoaccomplissement des missions (qualiteacute)

de produit du service et de performance de la couverture ainsi que de la disponibiliteacute et de lrsquoutilisation des ressources

Reporting speacutecifique au programme

Programmes tels que

preacutevention et lutte contre le paludisme

santeacute geacuteneacutesique et planification familiale (PF)

vaccination

lutte contre la tuberculose

preacutevention et prise en charge du VIH amp sida et des IST

lutte contre legravepre

Prise en charge inteacutegreacutee des maladies de lrsquoenfance esu et assainissement

eau et assainissement

hygiegravene et seacutecuriteacute des denreacutees alimentaires

Information administrative

gestion financiegravere et du budget

gestion des ressources humaines

administration de la formation

gestion des stocks de meacutedicaments essentiels

mise en place et entretien des infrastructures et des eacutequipements

gestion de la recherche en santeacute

gestion de documents et donneacutees

gestion des ressources externes

Enregistrement agrave lrsquoeacutetat civil

Enregistrement dans le systegraveme de santeacute et drsquoeacutetat civil des naissances deacutecegraves constitution de famille et migration

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 94

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

DISTINCTIONS ENTRE SUIVI ET EacuteVALUATION

Le suivi et lrsquoeacutevaluation sont des fonctions cleacutes de la gestion drsquoune organisation Ensemble ils servent agrave appuyer des deacutecisions eacuteclaireacutees agrave utiliser plus judicieusement les ressources et agrave eacutevaluer objectivement dans quelle mesure les prestations et autres activiteacutes drsquoune organisation ont abouti au reacutesultat deacutesireacute

Pour prendre des deacutecisions eacuteclaireacutees les responsables des soins de santeacute ont besoin drsquoun systegraveme de SampE produisant des informations fiables sur des facteurs tels que

les besoins de santeacute des populations dans leur zone desservie la zone drsquoougrave viennent les usagers pour recevoir des services

les prioriteacutes du pays de la province du district et les communauteacutes qursquoils desservent

la qualiteacute des services dispenseacutes et ce qursquoils recouvrent les ressources utiliseacutees et celles qui restent le progregraves dans la mise en œuvre de leurs activiteacutes

Pour satisfaire de tels besoins en information des activiteacutes de suivi et drsquoeacutevaluation sont toutes deux neacutecessaires Mais lesquelles faut-il utiliser et agrave quel moment Les diffeacuterences entre le suivi et lrsquoeacutevaluation srsquoinscrivent dans leur objet leur deacutelai et leurs sources drsquoinformation

Le suivi sert agrave surveiller reacuteguliegraverement lrsquoeacutevolution des indicateurs (marqueurs mesurables de lrsquoeacutevolution dans le temps) en vue de geacuterer la mise en œuvre drsquoun programme Le suivi mesure les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les activiteacutes les produits et parfois les reacutesultats agrave court terme Pour vous le manager cela peut signifier que vous devrez suivre les progregraves par rapport agrave vos plans opeacuterationnels etou proceacuteder au suivi des services offerts

FIGURE 2 Relations entre lrsquoinformation et les cycles de gestion

Cycle de linformation

Cycle de gestion

Budgeacutetsation

Mise en œuvre

Controcircle

Suivi eteacutevaluation

Planication

Preacutesentation de linformation

Interpreacutetation de linformation

Utilisation de linformation

Recueil des donneacutees

Analyse des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 95

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Des proceacutedures courantes de suivi de programmes comprennent le suivi des statistiques sur les services et lrsquoexamen des registres et des rapports de formations Un suivi reacutegulier et systeacutematique procure des informations pour les besoins de la planification et offre une base fiable pour une eacutevaluation

Lrsquoeacutevaluation est par contre employeacutee pour eacutevaluer lrsquoefficaciteacute (et parfois le coucirct) des initiatives drsquoameacutelioration des services et pour preacutevenir et geacuterer les problegravemes de santeacute prioritaires Lrsquoeacutevaluation mesure les reacutesultats et lrsquoimpact Elle eacutevalue dans quelle mesure votre organisation obtient les reacutesultats escompteacutes et vous aide agrave comprendre pourquoi ces reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation vous offre eacutegalement la possibiliteacute drsquoun apprentissage continu agrave partir de lrsquoexpeacuterience

Ainsi le premier facteur qui distingue le suivi de lrsquoeacutevaluation est une diffeacuterence drsquoobjet Le suivi est motiveacute par des besoins de gestion tandis que lrsquoeacutevaluation est motiveacutee par le besoin de documenter les reacutesultats drsquoune intervention et de faire un rapport agrave un donateur ou agrave drsquoautres parties prenantes Ainsi le suivi se concentre sur la mise en œuvre opeacuterationnelle tandis que lrsquoeacutevaluation srsquointeacuteresse aux effets des activiteacutes sur la santeacute des populations cibleacutees

Ce qui nous megravene agrave une deuxiegraveme diffeacuterence essentielle le deacutelai pendant lequel chacune de ces fonctions est utiliseacutee Le suivi est un processus continu reacutegulier utiliseacute pendant toute la dureacutee de lrsquointervention Lrsquoeacutevaluation exige le recueil de donneacutees de reacutefeacuterence et de donneacutees posteacuterieures agrave lrsquointervention ce qui vous permet de constater les changements survenus lors de la peacuteriode drsquointervention (et de faire des comparaisons) et parfois eacutegalement apregraves une peacuteriode de suivi adeacutequate

Pour finir la troisiegraveme diffeacuterence est lieacutee aux sources drsquoinformation utiliseacutees par chacune des fonctions Les donneacutees de suivi proviennent geacuteneacuteralement de sources deacutejagrave disponibles le systegraveme drsquoinformation de santeacute ou les dossiers de routine relatifs aux prestations Les statistiques sur les prestations contiennent des donneacutees de suivi telles que inventaire de fournitures nombre de doses vaccinales administreacutees par mois et reacutesultats chez les patients Les donneacutees de suivi peuvent aussi ecirctre obtenues en proceacutedant agrave une compilation des archives habituelles de lrsquoorganisation Par exemple des listes de participants agrave un atelier de formation peuvent contenir des informations sur le nombre de personnes formeacutees sur un sujet donneacute

Les indicateurs de reacutesultats et drsquoimpact exigent des mesures agrave lrsquoeacutechelle du beacuteneacuteficiaire ou de la population ce qursquoil faut obtenir par lrsquointermeacutediaire drsquoune eacutevaluation Par exemple pour deacuteterminer le reacutesultat drsquoune initiative de conseil en planification familiale vous devez connaicirctre le pourcentage de celles parmi les femmes conseilleacutees qui ont veacuteritablement adopteacute une meacutethode de planification familiale Cette information ne peut ecirctre extraite des statistiques relatives aux prestations ou des archives habituelles de lrsquoorganisation vous devez proceacuteder agrave une enquecircte pour recueillir ces donneacutees

Dans une eacutevaluation des mesures communes incluent lrsquoeacutevolution de lrsquoutilisation des prestations de santeacute drsquoune peacuteriode agrave lrsquoautre la proportion des accouchements sans risques la couverture des services de vaccination et lrsquoeacutevolution des connaissances des attitudes et du comportement drsquoun groupe cible

Pratiques de leadership et de management pour le suivi et lrsquoeacutevaluation En deacutepit des diffeacuterences entre le suivi et lrsquoeacutevaluation ces deux fonctions seront optimiseacutees si vous recourez agrave drsquoautres pratiques de leadership et de management au moment drsquoexeacutecuter des tacircches de suivi ou drsquoeacutevaluation Par exemple le suivi et lrsquoeacutevaluation (lrsquoune des pratiques de management abordeacutees dans le Chapitre 2 de ce guide) exige que vous cibliez les buts et les prioriteacutes et employiez vos capaciteacutes drsquoexamen attentif pour recueillir et analyser les donneacutees neacutecessaires

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 96

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

En reacuteponse aux reacutesultats recueillis par le suivi et lrsquoeacutevaluation il se peut que vous deviez cibler et mettre en phase et mobiliser le personnel pour modifier les plans drsquointervention et obtenir de meilleurs reacutesultats Si les activiteacutes correspondent aux objectifs et obtiennent les reacutesultats escompteacutes vous pouvez aussi employer lrsquoinformation de suivi et drsquoeacutevaluation pour inspirer les employeacutes afin qursquoils ameacuteliorent leurs performances ou sinon qursquoils poursuivent lrsquoexcellent travail qursquoils fournissent

Lorsque vous dirigez les activiteacutes de SampE vous devez eacutelaborer un plan de SampE puis organiser les structures les sous-systegravemes et les processus pour mettre en œuvre le plan Et bien entendu vous ferez le suivi et lrsquoeacutevaluation du programme de SampE lui-mecircme pour deacuteterminer les progregraves et lrsquoobtention des reacutesultats

Les pratiques de leadership et de management discuteacutees dans ce chapitre et dans le Chapitre 2 de ce guide sont aussi entiegraverement deacutecrites dans le laquo Electronic Resource Center raquo de MSH section laquo Deacuteveloppement du leadership raquo intituleacutee laquo Transformer les managers en leaders raquo

Qui srsquoapproprie le SampE

Qui est le client du SampE Qui a besoin de lrsquoinformation sur la santeacute Agrave tous les niveaux drsquoune organisation les responsables ont inteacuterecirct agrave utiliser lrsquoinformation pour agir ce qui leur permet de diriger et de geacuterer efficacement agrave tout niveau En fait les managers procurent le fondement du systegraveme de SampE

Malheureusement la fonction de SampE nrsquoest pas toujours inteacutegreacutee au sein de lrsquoorganisation Dans de nombreux cas les organisations (et parfois les donateurs) font comme si le SampE relevait uniquement de la responsabiliteacute du personnel de SampE En lrsquoabsence de proceacutedure de communication et de feedback adeacutequat lrsquoinformation et les connaissances pourraient rester entre les mains des effectifs de SampE En conseacutequence les reacutesultats (bons comme mauvais) ne sont pas toujours communiqueacutes agrave ceux qui en ont besoin et lrsquoinformation ne sert pas agrave prendre de deacutecisions de gestion

Agrave titre drsquoexemple des eacutevaluations sont trop souvent meneacutees et des informations produites pour reacutepondre aux besoins drsquoun donateur ou drsquoune agence gouvernementale et non pour ameacuteliorer les services de lrsquoorganisation Pour les managers agrave tous les eacutechelons de lrsquoorganisation du centre de santeacute au ministegravere de la santeacute un moyen de srsquoassurer que les reacutesultats de lrsquoeacutevaluation sont utiliseacutes consiste agrave srsquoapproprier les processus et les reacutesultats de SampE

Les besoins en Information agrave divers niveaux Toute lrsquoinformation nrsquoest pas neacutecessaire agrave tous les niveaux ou agrave tout moment Les managers les donateurs et lrsquoadministration centrale peuvent avoir besoin drsquoinformations diffeacuterentes agrave diffeacuterents moments pour satisfaire leurs besoins de reporting et prendre des deacutecisions Par exemple les responsables de projets financeacutes par des donateurs travaillent souvent sur la base de cycles trimestriels ou biannuels et le donateur sur un cycle annuel tandis que le ministegravere de la santeacute peut exiger de trois agrave cinq anneacutees de donneacutees pour deacutemontrer lrsquoimpact et le communiquer aux politiciens et aux meacutedias

Les besoins drsquoinformation dans un systegraveme de santeacute peuvent ecirctre envisageacutes sous la forme drsquoune hieacuterarchie La Figure 3 illustre le fait que des quantiteacutes deacutecroissantes drsquoinformations sont requises au fur et agrave mesure que lrsquoon srsquoeacutelegraveve dans la hieacuterarchie de lrsquoorganisation Il existe un noyau drsquoinformation dont ont besoin tous les responsables agrave tous les niveaux mais seul le plus petit sous-ensemble drsquoinformations est neacutecessaire au niveau national Agrave lrsquoeacutechelle du

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 93

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

ainsi un SIS qui fonctionne bien [crsquoest un systegraveme] qui garantit la production lrsquoanalyse la disseacutemination et lrsquoutilisation drsquoinformations fiables et opportunes sur les deacuteterminants de la santeacute la performance du systegraveme de santeacute et lrsquoeacutetat de la santeacute (OMS 2007) Le terme SIS regroupe geacuteneacuteralement les nombreux sous-systegravemes qui geacutenegraverent lrsquoinformation neacutecessaire agrave la gestion des services de santeacute La Figure 1 offre un aperccedilu des sous-systegravemes communs au sein drsquoun SIS

Un SIS bien conccedilu et fonctionnant correctement devrait appuyer les processus cleacutes neacutecessaires agrave la gestion des services de santeacute Ces processus sont cycliques et continus et la collecte lrsquoanalyse et lrsquoutilisation drsquoinformations pour mener agrave bien les fonctions de gestion de la santeacute engendrent aussi un processus cyclique

La Figure 2 illustre le SampE comme eacuteleacutement drsquoun cycle de gestion classique qui alimente le cycle drsquoinformations en donneacutees Il est ensuite traiteacute et transformeacute en information qui est recycleacutee dans les diverses fonctions du cycle de gestion

FIGURE 1 Sous systegravemes communs drsquoinformation de santeacute

Surveillance eacutepideacutemiologique

Deacutetection et notification des maladies et facteurs de risque enquecircte de suivi et mesures de lutte contre les flambeacutees

Reporting de service de routine

Enregistrement et reporting de services baseacutes dans les structures de niveau communautaire et de proximiteacute en termes de suivi des cas suivi de lrsquoaccomplissement des missions (qualiteacute)

de produit du service et de performance de la couverture ainsi que de la disponibiliteacute et de lrsquoutilisation des ressources

Reporting speacutecifique au programme

Programmes tels que

preacutevention et lutte contre le paludisme

santeacute geacuteneacutesique et planification familiale (PF)

vaccination

lutte contre la tuberculose

preacutevention et prise en charge du VIH amp sida et des IST

lutte contre legravepre

Prise en charge inteacutegreacutee des maladies de lrsquoenfance esu et assainissement

eau et assainissement

hygiegravene et seacutecuriteacute des denreacutees alimentaires

Information administrative

gestion financiegravere et du budget

gestion des ressources humaines

administration de la formation

gestion des stocks de meacutedicaments essentiels

mise en place et entretien des infrastructures et des eacutequipements

gestion de la recherche en santeacute

gestion de documents et donneacutees

gestion des ressources externes

Enregistrement agrave lrsquoeacutetat civil

Enregistrement dans le systegraveme de santeacute et drsquoeacutetat civil des naissances deacutecegraves constitution de famille et migration

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 94

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

DISTINCTIONS ENTRE SUIVI ET EacuteVALUATION

Le suivi et lrsquoeacutevaluation sont des fonctions cleacutes de la gestion drsquoune organisation Ensemble ils servent agrave appuyer des deacutecisions eacuteclaireacutees agrave utiliser plus judicieusement les ressources et agrave eacutevaluer objectivement dans quelle mesure les prestations et autres activiteacutes drsquoune organisation ont abouti au reacutesultat deacutesireacute

Pour prendre des deacutecisions eacuteclaireacutees les responsables des soins de santeacute ont besoin drsquoun systegraveme de SampE produisant des informations fiables sur des facteurs tels que

les besoins de santeacute des populations dans leur zone desservie la zone drsquoougrave viennent les usagers pour recevoir des services

les prioriteacutes du pays de la province du district et les communauteacutes qursquoils desservent

la qualiteacute des services dispenseacutes et ce qursquoils recouvrent les ressources utiliseacutees et celles qui restent le progregraves dans la mise en œuvre de leurs activiteacutes

Pour satisfaire de tels besoins en information des activiteacutes de suivi et drsquoeacutevaluation sont toutes deux neacutecessaires Mais lesquelles faut-il utiliser et agrave quel moment Les diffeacuterences entre le suivi et lrsquoeacutevaluation srsquoinscrivent dans leur objet leur deacutelai et leurs sources drsquoinformation

Le suivi sert agrave surveiller reacuteguliegraverement lrsquoeacutevolution des indicateurs (marqueurs mesurables de lrsquoeacutevolution dans le temps) en vue de geacuterer la mise en œuvre drsquoun programme Le suivi mesure les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les activiteacutes les produits et parfois les reacutesultats agrave court terme Pour vous le manager cela peut signifier que vous devrez suivre les progregraves par rapport agrave vos plans opeacuterationnels etou proceacuteder au suivi des services offerts

FIGURE 2 Relations entre lrsquoinformation et les cycles de gestion

Cycle de linformation

Cycle de gestion

Budgeacutetsation

Mise en œuvre

Controcircle

Suivi eteacutevaluation

Planication

Preacutesentation de linformation

Interpreacutetation de linformation

Utilisation de linformation

Recueil des donneacutees

Analyse des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 95

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Des proceacutedures courantes de suivi de programmes comprennent le suivi des statistiques sur les services et lrsquoexamen des registres et des rapports de formations Un suivi reacutegulier et systeacutematique procure des informations pour les besoins de la planification et offre une base fiable pour une eacutevaluation

Lrsquoeacutevaluation est par contre employeacutee pour eacutevaluer lrsquoefficaciteacute (et parfois le coucirct) des initiatives drsquoameacutelioration des services et pour preacutevenir et geacuterer les problegravemes de santeacute prioritaires Lrsquoeacutevaluation mesure les reacutesultats et lrsquoimpact Elle eacutevalue dans quelle mesure votre organisation obtient les reacutesultats escompteacutes et vous aide agrave comprendre pourquoi ces reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation vous offre eacutegalement la possibiliteacute drsquoun apprentissage continu agrave partir de lrsquoexpeacuterience

Ainsi le premier facteur qui distingue le suivi de lrsquoeacutevaluation est une diffeacuterence drsquoobjet Le suivi est motiveacute par des besoins de gestion tandis que lrsquoeacutevaluation est motiveacutee par le besoin de documenter les reacutesultats drsquoune intervention et de faire un rapport agrave un donateur ou agrave drsquoautres parties prenantes Ainsi le suivi se concentre sur la mise en œuvre opeacuterationnelle tandis que lrsquoeacutevaluation srsquointeacuteresse aux effets des activiteacutes sur la santeacute des populations cibleacutees

Ce qui nous megravene agrave une deuxiegraveme diffeacuterence essentielle le deacutelai pendant lequel chacune de ces fonctions est utiliseacutee Le suivi est un processus continu reacutegulier utiliseacute pendant toute la dureacutee de lrsquointervention Lrsquoeacutevaluation exige le recueil de donneacutees de reacutefeacuterence et de donneacutees posteacuterieures agrave lrsquointervention ce qui vous permet de constater les changements survenus lors de la peacuteriode drsquointervention (et de faire des comparaisons) et parfois eacutegalement apregraves une peacuteriode de suivi adeacutequate

Pour finir la troisiegraveme diffeacuterence est lieacutee aux sources drsquoinformation utiliseacutees par chacune des fonctions Les donneacutees de suivi proviennent geacuteneacuteralement de sources deacutejagrave disponibles le systegraveme drsquoinformation de santeacute ou les dossiers de routine relatifs aux prestations Les statistiques sur les prestations contiennent des donneacutees de suivi telles que inventaire de fournitures nombre de doses vaccinales administreacutees par mois et reacutesultats chez les patients Les donneacutees de suivi peuvent aussi ecirctre obtenues en proceacutedant agrave une compilation des archives habituelles de lrsquoorganisation Par exemple des listes de participants agrave un atelier de formation peuvent contenir des informations sur le nombre de personnes formeacutees sur un sujet donneacute

Les indicateurs de reacutesultats et drsquoimpact exigent des mesures agrave lrsquoeacutechelle du beacuteneacuteficiaire ou de la population ce qursquoil faut obtenir par lrsquointermeacutediaire drsquoune eacutevaluation Par exemple pour deacuteterminer le reacutesultat drsquoune initiative de conseil en planification familiale vous devez connaicirctre le pourcentage de celles parmi les femmes conseilleacutees qui ont veacuteritablement adopteacute une meacutethode de planification familiale Cette information ne peut ecirctre extraite des statistiques relatives aux prestations ou des archives habituelles de lrsquoorganisation vous devez proceacuteder agrave une enquecircte pour recueillir ces donneacutees

Dans une eacutevaluation des mesures communes incluent lrsquoeacutevolution de lrsquoutilisation des prestations de santeacute drsquoune peacuteriode agrave lrsquoautre la proportion des accouchements sans risques la couverture des services de vaccination et lrsquoeacutevolution des connaissances des attitudes et du comportement drsquoun groupe cible

Pratiques de leadership et de management pour le suivi et lrsquoeacutevaluation En deacutepit des diffeacuterences entre le suivi et lrsquoeacutevaluation ces deux fonctions seront optimiseacutees si vous recourez agrave drsquoautres pratiques de leadership et de management au moment drsquoexeacutecuter des tacircches de suivi ou drsquoeacutevaluation Par exemple le suivi et lrsquoeacutevaluation (lrsquoune des pratiques de management abordeacutees dans le Chapitre 2 de ce guide) exige que vous cibliez les buts et les prioriteacutes et employiez vos capaciteacutes drsquoexamen attentif pour recueillir et analyser les donneacutees neacutecessaires

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 96

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

En reacuteponse aux reacutesultats recueillis par le suivi et lrsquoeacutevaluation il se peut que vous deviez cibler et mettre en phase et mobiliser le personnel pour modifier les plans drsquointervention et obtenir de meilleurs reacutesultats Si les activiteacutes correspondent aux objectifs et obtiennent les reacutesultats escompteacutes vous pouvez aussi employer lrsquoinformation de suivi et drsquoeacutevaluation pour inspirer les employeacutes afin qursquoils ameacuteliorent leurs performances ou sinon qursquoils poursuivent lrsquoexcellent travail qursquoils fournissent

Lorsque vous dirigez les activiteacutes de SampE vous devez eacutelaborer un plan de SampE puis organiser les structures les sous-systegravemes et les processus pour mettre en œuvre le plan Et bien entendu vous ferez le suivi et lrsquoeacutevaluation du programme de SampE lui-mecircme pour deacuteterminer les progregraves et lrsquoobtention des reacutesultats

Les pratiques de leadership et de management discuteacutees dans ce chapitre et dans le Chapitre 2 de ce guide sont aussi entiegraverement deacutecrites dans le laquo Electronic Resource Center raquo de MSH section laquo Deacuteveloppement du leadership raquo intituleacutee laquo Transformer les managers en leaders raquo

Qui srsquoapproprie le SampE

Qui est le client du SampE Qui a besoin de lrsquoinformation sur la santeacute Agrave tous les niveaux drsquoune organisation les responsables ont inteacuterecirct agrave utiliser lrsquoinformation pour agir ce qui leur permet de diriger et de geacuterer efficacement agrave tout niveau En fait les managers procurent le fondement du systegraveme de SampE

Malheureusement la fonction de SampE nrsquoest pas toujours inteacutegreacutee au sein de lrsquoorganisation Dans de nombreux cas les organisations (et parfois les donateurs) font comme si le SampE relevait uniquement de la responsabiliteacute du personnel de SampE En lrsquoabsence de proceacutedure de communication et de feedback adeacutequat lrsquoinformation et les connaissances pourraient rester entre les mains des effectifs de SampE En conseacutequence les reacutesultats (bons comme mauvais) ne sont pas toujours communiqueacutes agrave ceux qui en ont besoin et lrsquoinformation ne sert pas agrave prendre de deacutecisions de gestion

Agrave titre drsquoexemple des eacutevaluations sont trop souvent meneacutees et des informations produites pour reacutepondre aux besoins drsquoun donateur ou drsquoune agence gouvernementale et non pour ameacuteliorer les services de lrsquoorganisation Pour les managers agrave tous les eacutechelons de lrsquoorganisation du centre de santeacute au ministegravere de la santeacute un moyen de srsquoassurer que les reacutesultats de lrsquoeacutevaluation sont utiliseacutes consiste agrave srsquoapproprier les processus et les reacutesultats de SampE

Les besoins en Information agrave divers niveaux Toute lrsquoinformation nrsquoest pas neacutecessaire agrave tous les niveaux ou agrave tout moment Les managers les donateurs et lrsquoadministration centrale peuvent avoir besoin drsquoinformations diffeacuterentes agrave diffeacuterents moments pour satisfaire leurs besoins de reporting et prendre des deacutecisions Par exemple les responsables de projets financeacutes par des donateurs travaillent souvent sur la base de cycles trimestriels ou biannuels et le donateur sur un cycle annuel tandis que le ministegravere de la santeacute peut exiger de trois agrave cinq anneacutees de donneacutees pour deacutemontrer lrsquoimpact et le communiquer aux politiciens et aux meacutedias

Les besoins drsquoinformation dans un systegraveme de santeacute peuvent ecirctre envisageacutes sous la forme drsquoune hieacuterarchie La Figure 3 illustre le fait que des quantiteacutes deacutecroissantes drsquoinformations sont requises au fur et agrave mesure que lrsquoon srsquoeacutelegraveve dans la hieacuterarchie de lrsquoorganisation Il existe un noyau drsquoinformation dont ont besoin tous les responsables agrave tous les niveaux mais seul le plus petit sous-ensemble drsquoinformations est neacutecessaire au niveau national Agrave lrsquoeacutechelle du

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 94

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

DISTINCTIONS ENTRE SUIVI ET EacuteVALUATION

Le suivi et lrsquoeacutevaluation sont des fonctions cleacutes de la gestion drsquoune organisation Ensemble ils servent agrave appuyer des deacutecisions eacuteclaireacutees agrave utiliser plus judicieusement les ressources et agrave eacutevaluer objectivement dans quelle mesure les prestations et autres activiteacutes drsquoune organisation ont abouti au reacutesultat deacutesireacute

Pour prendre des deacutecisions eacuteclaireacutees les responsables des soins de santeacute ont besoin drsquoun systegraveme de SampE produisant des informations fiables sur des facteurs tels que

les besoins de santeacute des populations dans leur zone desservie la zone drsquoougrave viennent les usagers pour recevoir des services

les prioriteacutes du pays de la province du district et les communauteacutes qursquoils desservent

la qualiteacute des services dispenseacutes et ce qursquoils recouvrent les ressources utiliseacutees et celles qui restent le progregraves dans la mise en œuvre de leurs activiteacutes

Pour satisfaire de tels besoins en information des activiteacutes de suivi et drsquoeacutevaluation sont toutes deux neacutecessaires Mais lesquelles faut-il utiliser et agrave quel moment Les diffeacuterences entre le suivi et lrsquoeacutevaluation srsquoinscrivent dans leur objet leur deacutelai et leurs sources drsquoinformation

Le suivi sert agrave surveiller reacuteguliegraverement lrsquoeacutevolution des indicateurs (marqueurs mesurables de lrsquoeacutevolution dans le temps) en vue de geacuterer la mise en œuvre drsquoun programme Le suivi mesure les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les activiteacutes les produits et parfois les reacutesultats agrave court terme Pour vous le manager cela peut signifier que vous devrez suivre les progregraves par rapport agrave vos plans opeacuterationnels etou proceacuteder au suivi des services offerts

FIGURE 2 Relations entre lrsquoinformation et les cycles de gestion

Cycle de linformation

Cycle de gestion

Budgeacutetsation

Mise en œuvre

Controcircle

Suivi eteacutevaluation

Planication

Preacutesentation de linformation

Interpreacutetation de linformation

Utilisation de linformation

Recueil des donneacutees

Analyse des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 95

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Des proceacutedures courantes de suivi de programmes comprennent le suivi des statistiques sur les services et lrsquoexamen des registres et des rapports de formations Un suivi reacutegulier et systeacutematique procure des informations pour les besoins de la planification et offre une base fiable pour une eacutevaluation

Lrsquoeacutevaluation est par contre employeacutee pour eacutevaluer lrsquoefficaciteacute (et parfois le coucirct) des initiatives drsquoameacutelioration des services et pour preacutevenir et geacuterer les problegravemes de santeacute prioritaires Lrsquoeacutevaluation mesure les reacutesultats et lrsquoimpact Elle eacutevalue dans quelle mesure votre organisation obtient les reacutesultats escompteacutes et vous aide agrave comprendre pourquoi ces reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation vous offre eacutegalement la possibiliteacute drsquoun apprentissage continu agrave partir de lrsquoexpeacuterience

Ainsi le premier facteur qui distingue le suivi de lrsquoeacutevaluation est une diffeacuterence drsquoobjet Le suivi est motiveacute par des besoins de gestion tandis que lrsquoeacutevaluation est motiveacutee par le besoin de documenter les reacutesultats drsquoune intervention et de faire un rapport agrave un donateur ou agrave drsquoautres parties prenantes Ainsi le suivi se concentre sur la mise en œuvre opeacuterationnelle tandis que lrsquoeacutevaluation srsquointeacuteresse aux effets des activiteacutes sur la santeacute des populations cibleacutees

Ce qui nous megravene agrave une deuxiegraveme diffeacuterence essentielle le deacutelai pendant lequel chacune de ces fonctions est utiliseacutee Le suivi est un processus continu reacutegulier utiliseacute pendant toute la dureacutee de lrsquointervention Lrsquoeacutevaluation exige le recueil de donneacutees de reacutefeacuterence et de donneacutees posteacuterieures agrave lrsquointervention ce qui vous permet de constater les changements survenus lors de la peacuteriode drsquointervention (et de faire des comparaisons) et parfois eacutegalement apregraves une peacuteriode de suivi adeacutequate

Pour finir la troisiegraveme diffeacuterence est lieacutee aux sources drsquoinformation utiliseacutees par chacune des fonctions Les donneacutees de suivi proviennent geacuteneacuteralement de sources deacutejagrave disponibles le systegraveme drsquoinformation de santeacute ou les dossiers de routine relatifs aux prestations Les statistiques sur les prestations contiennent des donneacutees de suivi telles que inventaire de fournitures nombre de doses vaccinales administreacutees par mois et reacutesultats chez les patients Les donneacutees de suivi peuvent aussi ecirctre obtenues en proceacutedant agrave une compilation des archives habituelles de lrsquoorganisation Par exemple des listes de participants agrave un atelier de formation peuvent contenir des informations sur le nombre de personnes formeacutees sur un sujet donneacute

Les indicateurs de reacutesultats et drsquoimpact exigent des mesures agrave lrsquoeacutechelle du beacuteneacuteficiaire ou de la population ce qursquoil faut obtenir par lrsquointermeacutediaire drsquoune eacutevaluation Par exemple pour deacuteterminer le reacutesultat drsquoune initiative de conseil en planification familiale vous devez connaicirctre le pourcentage de celles parmi les femmes conseilleacutees qui ont veacuteritablement adopteacute une meacutethode de planification familiale Cette information ne peut ecirctre extraite des statistiques relatives aux prestations ou des archives habituelles de lrsquoorganisation vous devez proceacuteder agrave une enquecircte pour recueillir ces donneacutees

Dans une eacutevaluation des mesures communes incluent lrsquoeacutevolution de lrsquoutilisation des prestations de santeacute drsquoune peacuteriode agrave lrsquoautre la proportion des accouchements sans risques la couverture des services de vaccination et lrsquoeacutevolution des connaissances des attitudes et du comportement drsquoun groupe cible

Pratiques de leadership et de management pour le suivi et lrsquoeacutevaluation En deacutepit des diffeacuterences entre le suivi et lrsquoeacutevaluation ces deux fonctions seront optimiseacutees si vous recourez agrave drsquoautres pratiques de leadership et de management au moment drsquoexeacutecuter des tacircches de suivi ou drsquoeacutevaluation Par exemple le suivi et lrsquoeacutevaluation (lrsquoune des pratiques de management abordeacutees dans le Chapitre 2 de ce guide) exige que vous cibliez les buts et les prioriteacutes et employiez vos capaciteacutes drsquoexamen attentif pour recueillir et analyser les donneacutees neacutecessaires

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 96

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

En reacuteponse aux reacutesultats recueillis par le suivi et lrsquoeacutevaluation il se peut que vous deviez cibler et mettre en phase et mobiliser le personnel pour modifier les plans drsquointervention et obtenir de meilleurs reacutesultats Si les activiteacutes correspondent aux objectifs et obtiennent les reacutesultats escompteacutes vous pouvez aussi employer lrsquoinformation de suivi et drsquoeacutevaluation pour inspirer les employeacutes afin qursquoils ameacuteliorent leurs performances ou sinon qursquoils poursuivent lrsquoexcellent travail qursquoils fournissent

Lorsque vous dirigez les activiteacutes de SampE vous devez eacutelaborer un plan de SampE puis organiser les structures les sous-systegravemes et les processus pour mettre en œuvre le plan Et bien entendu vous ferez le suivi et lrsquoeacutevaluation du programme de SampE lui-mecircme pour deacuteterminer les progregraves et lrsquoobtention des reacutesultats

Les pratiques de leadership et de management discuteacutees dans ce chapitre et dans le Chapitre 2 de ce guide sont aussi entiegraverement deacutecrites dans le laquo Electronic Resource Center raquo de MSH section laquo Deacuteveloppement du leadership raquo intituleacutee laquo Transformer les managers en leaders raquo

Qui srsquoapproprie le SampE

Qui est le client du SampE Qui a besoin de lrsquoinformation sur la santeacute Agrave tous les niveaux drsquoune organisation les responsables ont inteacuterecirct agrave utiliser lrsquoinformation pour agir ce qui leur permet de diriger et de geacuterer efficacement agrave tout niveau En fait les managers procurent le fondement du systegraveme de SampE

Malheureusement la fonction de SampE nrsquoest pas toujours inteacutegreacutee au sein de lrsquoorganisation Dans de nombreux cas les organisations (et parfois les donateurs) font comme si le SampE relevait uniquement de la responsabiliteacute du personnel de SampE En lrsquoabsence de proceacutedure de communication et de feedback adeacutequat lrsquoinformation et les connaissances pourraient rester entre les mains des effectifs de SampE En conseacutequence les reacutesultats (bons comme mauvais) ne sont pas toujours communiqueacutes agrave ceux qui en ont besoin et lrsquoinformation ne sert pas agrave prendre de deacutecisions de gestion

Agrave titre drsquoexemple des eacutevaluations sont trop souvent meneacutees et des informations produites pour reacutepondre aux besoins drsquoun donateur ou drsquoune agence gouvernementale et non pour ameacuteliorer les services de lrsquoorganisation Pour les managers agrave tous les eacutechelons de lrsquoorganisation du centre de santeacute au ministegravere de la santeacute un moyen de srsquoassurer que les reacutesultats de lrsquoeacutevaluation sont utiliseacutes consiste agrave srsquoapproprier les processus et les reacutesultats de SampE

Les besoins en Information agrave divers niveaux Toute lrsquoinformation nrsquoest pas neacutecessaire agrave tous les niveaux ou agrave tout moment Les managers les donateurs et lrsquoadministration centrale peuvent avoir besoin drsquoinformations diffeacuterentes agrave diffeacuterents moments pour satisfaire leurs besoins de reporting et prendre des deacutecisions Par exemple les responsables de projets financeacutes par des donateurs travaillent souvent sur la base de cycles trimestriels ou biannuels et le donateur sur un cycle annuel tandis que le ministegravere de la santeacute peut exiger de trois agrave cinq anneacutees de donneacutees pour deacutemontrer lrsquoimpact et le communiquer aux politiciens et aux meacutedias

Les besoins drsquoinformation dans un systegraveme de santeacute peuvent ecirctre envisageacutes sous la forme drsquoune hieacuterarchie La Figure 3 illustre le fait que des quantiteacutes deacutecroissantes drsquoinformations sont requises au fur et agrave mesure que lrsquoon srsquoeacutelegraveve dans la hieacuterarchie de lrsquoorganisation Il existe un noyau drsquoinformation dont ont besoin tous les responsables agrave tous les niveaux mais seul le plus petit sous-ensemble drsquoinformations est neacutecessaire au niveau national Agrave lrsquoeacutechelle du

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 95

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Des proceacutedures courantes de suivi de programmes comprennent le suivi des statistiques sur les services et lrsquoexamen des registres et des rapports de formations Un suivi reacutegulier et systeacutematique procure des informations pour les besoins de la planification et offre une base fiable pour une eacutevaluation

Lrsquoeacutevaluation est par contre employeacutee pour eacutevaluer lrsquoefficaciteacute (et parfois le coucirct) des initiatives drsquoameacutelioration des services et pour preacutevenir et geacuterer les problegravemes de santeacute prioritaires Lrsquoeacutevaluation mesure les reacutesultats et lrsquoimpact Elle eacutevalue dans quelle mesure votre organisation obtient les reacutesultats escompteacutes et vous aide agrave comprendre pourquoi ces reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation vous offre eacutegalement la possibiliteacute drsquoun apprentissage continu agrave partir de lrsquoexpeacuterience

Ainsi le premier facteur qui distingue le suivi de lrsquoeacutevaluation est une diffeacuterence drsquoobjet Le suivi est motiveacute par des besoins de gestion tandis que lrsquoeacutevaluation est motiveacutee par le besoin de documenter les reacutesultats drsquoune intervention et de faire un rapport agrave un donateur ou agrave drsquoautres parties prenantes Ainsi le suivi se concentre sur la mise en œuvre opeacuterationnelle tandis que lrsquoeacutevaluation srsquointeacuteresse aux effets des activiteacutes sur la santeacute des populations cibleacutees

Ce qui nous megravene agrave une deuxiegraveme diffeacuterence essentielle le deacutelai pendant lequel chacune de ces fonctions est utiliseacutee Le suivi est un processus continu reacutegulier utiliseacute pendant toute la dureacutee de lrsquointervention Lrsquoeacutevaluation exige le recueil de donneacutees de reacutefeacuterence et de donneacutees posteacuterieures agrave lrsquointervention ce qui vous permet de constater les changements survenus lors de la peacuteriode drsquointervention (et de faire des comparaisons) et parfois eacutegalement apregraves une peacuteriode de suivi adeacutequate

Pour finir la troisiegraveme diffeacuterence est lieacutee aux sources drsquoinformation utiliseacutees par chacune des fonctions Les donneacutees de suivi proviennent geacuteneacuteralement de sources deacutejagrave disponibles le systegraveme drsquoinformation de santeacute ou les dossiers de routine relatifs aux prestations Les statistiques sur les prestations contiennent des donneacutees de suivi telles que inventaire de fournitures nombre de doses vaccinales administreacutees par mois et reacutesultats chez les patients Les donneacutees de suivi peuvent aussi ecirctre obtenues en proceacutedant agrave une compilation des archives habituelles de lrsquoorganisation Par exemple des listes de participants agrave un atelier de formation peuvent contenir des informations sur le nombre de personnes formeacutees sur un sujet donneacute

Les indicateurs de reacutesultats et drsquoimpact exigent des mesures agrave lrsquoeacutechelle du beacuteneacuteficiaire ou de la population ce qursquoil faut obtenir par lrsquointermeacutediaire drsquoune eacutevaluation Par exemple pour deacuteterminer le reacutesultat drsquoune initiative de conseil en planification familiale vous devez connaicirctre le pourcentage de celles parmi les femmes conseilleacutees qui ont veacuteritablement adopteacute une meacutethode de planification familiale Cette information ne peut ecirctre extraite des statistiques relatives aux prestations ou des archives habituelles de lrsquoorganisation vous devez proceacuteder agrave une enquecircte pour recueillir ces donneacutees

Dans une eacutevaluation des mesures communes incluent lrsquoeacutevolution de lrsquoutilisation des prestations de santeacute drsquoune peacuteriode agrave lrsquoautre la proportion des accouchements sans risques la couverture des services de vaccination et lrsquoeacutevolution des connaissances des attitudes et du comportement drsquoun groupe cible

Pratiques de leadership et de management pour le suivi et lrsquoeacutevaluation En deacutepit des diffeacuterences entre le suivi et lrsquoeacutevaluation ces deux fonctions seront optimiseacutees si vous recourez agrave drsquoautres pratiques de leadership et de management au moment drsquoexeacutecuter des tacircches de suivi ou drsquoeacutevaluation Par exemple le suivi et lrsquoeacutevaluation (lrsquoune des pratiques de management abordeacutees dans le Chapitre 2 de ce guide) exige que vous cibliez les buts et les prioriteacutes et employiez vos capaciteacutes drsquoexamen attentif pour recueillir et analyser les donneacutees neacutecessaires

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 96

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

En reacuteponse aux reacutesultats recueillis par le suivi et lrsquoeacutevaluation il se peut que vous deviez cibler et mettre en phase et mobiliser le personnel pour modifier les plans drsquointervention et obtenir de meilleurs reacutesultats Si les activiteacutes correspondent aux objectifs et obtiennent les reacutesultats escompteacutes vous pouvez aussi employer lrsquoinformation de suivi et drsquoeacutevaluation pour inspirer les employeacutes afin qursquoils ameacuteliorent leurs performances ou sinon qursquoils poursuivent lrsquoexcellent travail qursquoils fournissent

Lorsque vous dirigez les activiteacutes de SampE vous devez eacutelaborer un plan de SampE puis organiser les structures les sous-systegravemes et les processus pour mettre en œuvre le plan Et bien entendu vous ferez le suivi et lrsquoeacutevaluation du programme de SampE lui-mecircme pour deacuteterminer les progregraves et lrsquoobtention des reacutesultats

Les pratiques de leadership et de management discuteacutees dans ce chapitre et dans le Chapitre 2 de ce guide sont aussi entiegraverement deacutecrites dans le laquo Electronic Resource Center raquo de MSH section laquo Deacuteveloppement du leadership raquo intituleacutee laquo Transformer les managers en leaders raquo

Qui srsquoapproprie le SampE

Qui est le client du SampE Qui a besoin de lrsquoinformation sur la santeacute Agrave tous les niveaux drsquoune organisation les responsables ont inteacuterecirct agrave utiliser lrsquoinformation pour agir ce qui leur permet de diriger et de geacuterer efficacement agrave tout niveau En fait les managers procurent le fondement du systegraveme de SampE

Malheureusement la fonction de SampE nrsquoest pas toujours inteacutegreacutee au sein de lrsquoorganisation Dans de nombreux cas les organisations (et parfois les donateurs) font comme si le SampE relevait uniquement de la responsabiliteacute du personnel de SampE En lrsquoabsence de proceacutedure de communication et de feedback adeacutequat lrsquoinformation et les connaissances pourraient rester entre les mains des effectifs de SampE En conseacutequence les reacutesultats (bons comme mauvais) ne sont pas toujours communiqueacutes agrave ceux qui en ont besoin et lrsquoinformation ne sert pas agrave prendre de deacutecisions de gestion

Agrave titre drsquoexemple des eacutevaluations sont trop souvent meneacutees et des informations produites pour reacutepondre aux besoins drsquoun donateur ou drsquoune agence gouvernementale et non pour ameacuteliorer les services de lrsquoorganisation Pour les managers agrave tous les eacutechelons de lrsquoorganisation du centre de santeacute au ministegravere de la santeacute un moyen de srsquoassurer que les reacutesultats de lrsquoeacutevaluation sont utiliseacutes consiste agrave srsquoapproprier les processus et les reacutesultats de SampE

Les besoins en Information agrave divers niveaux Toute lrsquoinformation nrsquoest pas neacutecessaire agrave tous les niveaux ou agrave tout moment Les managers les donateurs et lrsquoadministration centrale peuvent avoir besoin drsquoinformations diffeacuterentes agrave diffeacuterents moments pour satisfaire leurs besoins de reporting et prendre des deacutecisions Par exemple les responsables de projets financeacutes par des donateurs travaillent souvent sur la base de cycles trimestriels ou biannuels et le donateur sur un cycle annuel tandis que le ministegravere de la santeacute peut exiger de trois agrave cinq anneacutees de donneacutees pour deacutemontrer lrsquoimpact et le communiquer aux politiciens et aux meacutedias

Les besoins drsquoinformation dans un systegraveme de santeacute peuvent ecirctre envisageacutes sous la forme drsquoune hieacuterarchie La Figure 3 illustre le fait que des quantiteacutes deacutecroissantes drsquoinformations sont requises au fur et agrave mesure que lrsquoon srsquoeacutelegraveve dans la hieacuterarchie de lrsquoorganisation Il existe un noyau drsquoinformation dont ont besoin tous les responsables agrave tous les niveaux mais seul le plus petit sous-ensemble drsquoinformations est neacutecessaire au niveau national Agrave lrsquoeacutechelle du

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 96

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

En reacuteponse aux reacutesultats recueillis par le suivi et lrsquoeacutevaluation il se peut que vous deviez cibler et mettre en phase et mobiliser le personnel pour modifier les plans drsquointervention et obtenir de meilleurs reacutesultats Si les activiteacutes correspondent aux objectifs et obtiennent les reacutesultats escompteacutes vous pouvez aussi employer lrsquoinformation de suivi et drsquoeacutevaluation pour inspirer les employeacutes afin qursquoils ameacuteliorent leurs performances ou sinon qursquoils poursuivent lrsquoexcellent travail qursquoils fournissent

Lorsque vous dirigez les activiteacutes de SampE vous devez eacutelaborer un plan de SampE puis organiser les structures les sous-systegravemes et les processus pour mettre en œuvre le plan Et bien entendu vous ferez le suivi et lrsquoeacutevaluation du programme de SampE lui-mecircme pour deacuteterminer les progregraves et lrsquoobtention des reacutesultats

Les pratiques de leadership et de management discuteacutees dans ce chapitre et dans le Chapitre 2 de ce guide sont aussi entiegraverement deacutecrites dans le laquo Electronic Resource Center raquo de MSH section laquo Deacuteveloppement du leadership raquo intituleacutee laquo Transformer les managers en leaders raquo

Qui srsquoapproprie le SampE

Qui est le client du SampE Qui a besoin de lrsquoinformation sur la santeacute Agrave tous les niveaux drsquoune organisation les responsables ont inteacuterecirct agrave utiliser lrsquoinformation pour agir ce qui leur permet de diriger et de geacuterer efficacement agrave tout niveau En fait les managers procurent le fondement du systegraveme de SampE

Malheureusement la fonction de SampE nrsquoest pas toujours inteacutegreacutee au sein de lrsquoorganisation Dans de nombreux cas les organisations (et parfois les donateurs) font comme si le SampE relevait uniquement de la responsabiliteacute du personnel de SampE En lrsquoabsence de proceacutedure de communication et de feedback adeacutequat lrsquoinformation et les connaissances pourraient rester entre les mains des effectifs de SampE En conseacutequence les reacutesultats (bons comme mauvais) ne sont pas toujours communiqueacutes agrave ceux qui en ont besoin et lrsquoinformation ne sert pas agrave prendre de deacutecisions de gestion

Agrave titre drsquoexemple des eacutevaluations sont trop souvent meneacutees et des informations produites pour reacutepondre aux besoins drsquoun donateur ou drsquoune agence gouvernementale et non pour ameacuteliorer les services de lrsquoorganisation Pour les managers agrave tous les eacutechelons de lrsquoorganisation du centre de santeacute au ministegravere de la santeacute un moyen de srsquoassurer que les reacutesultats de lrsquoeacutevaluation sont utiliseacutes consiste agrave srsquoapproprier les processus et les reacutesultats de SampE

Les besoins en Information agrave divers niveaux Toute lrsquoinformation nrsquoest pas neacutecessaire agrave tous les niveaux ou agrave tout moment Les managers les donateurs et lrsquoadministration centrale peuvent avoir besoin drsquoinformations diffeacuterentes agrave diffeacuterents moments pour satisfaire leurs besoins de reporting et prendre des deacutecisions Par exemple les responsables de projets financeacutes par des donateurs travaillent souvent sur la base de cycles trimestriels ou biannuels et le donateur sur un cycle annuel tandis que le ministegravere de la santeacute peut exiger de trois agrave cinq anneacutees de donneacutees pour deacutemontrer lrsquoimpact et le communiquer aux politiciens et aux meacutedias

Les besoins drsquoinformation dans un systegraveme de santeacute peuvent ecirctre envisageacutes sous la forme drsquoune hieacuterarchie La Figure 3 illustre le fait que des quantiteacutes deacutecroissantes drsquoinformations sont requises au fur et agrave mesure que lrsquoon srsquoeacutelegraveve dans la hieacuterarchie de lrsquoorganisation Il existe un noyau drsquoinformation dont ont besoin tous les responsables agrave tous les niveaux mais seul le plus petit sous-ensemble drsquoinformations est neacutecessaire au niveau national Agrave lrsquoeacutechelle du

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 97

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

district et de la formation sanitaire les managers ont un besoin constant drsquoinformations deacutesagreacutegeacutees puisque crsquoest lagrave que les actions sont meneacutees en reacuteponse aux donneacutees opeacuterationnelles (par exemple ruptures de stocks et abandons)

Le suivi des indicateurs opeacuterationnels est moins important agrave lrsquoeacutechelle nationale En fait les deacutecideurs agrave lrsquoeacutechelle nationale ont besoin drsquoindicateurs qui mesurent agrave plus long terme lrsquoimpact des programmes de santeacute et des services sur lrsquoeacutetat de la santeacute Par conseacutequent un SIS doit ecirctre conccedilu de faccedilon agrave desservir tous les clients en procurant des informations fiables agrave court moyen et long terme

Agrave lrsquoeacutechelle de la formation sanitaire par exemple les managers recueillent et utilisent des informations sur la distribution mensuelle de contraceptifs les ruptures de stocks et les abandons A lrsquoeacutechelle du district ou de la province ou au siegravege drsquoune grosse ONG lrsquoinformation la plus utile comprendra les taux annuels de preacutevalence des contraceptifs tandis que pour le ministegravere de la santeacute il pourrait srsquoagir des taux de morbiditeacute et de mortaliteacute maternelle agrave des intervalles de trois agrave cinq ans

Pour plus drsquoinformation sur la hieacuterarchie des besoins drsquoinformation voir un article (articles en anglais) sur le site Web de lrsquoOMS

Principes drsquoameacutelioration de la gestion de lrsquoinformation Le chapitre 1 de ce guide souligne qursquoaucun systegraveme de gestion ne peut ecirctre renforceacute lorsque le processus nrsquoest pas totalement inclusif Renforcer un SIS nrsquoest en rien diffeacuterent Il faut travailler de concert avec les personnes impliqueacutees les proprieacutetaires du systegraveme qui enregistre transfegravere analyse communique et utilise les donneacutees et lrsquoinformation pour geacuterer les services

Comment faut-il travailler avec autrui dans le SIS Lrsquoencadreacute 1 preacutesente des principes directeurs visant agrave concevoir un SIS efficace ou agrave ameacuteliorer la gestion de lrsquoinformation Le but est drsquoameacuteliorer la disponibiliteacute et la fiabiliteacute de lrsquoinformation pour qursquoelle serve agrave geacuterer plus efficacement les organisations et les services de santeacute Ces principes insistent sur le besoin de faire participer lrsquoensemble du personnel de SIS des managers et des prestataires de service qui utiliseront lrsquoinformation

FIGURE 3 Hieacuterarchie des besoins en information

Information utiliseacutee par les managers nationaux de programmes

Information recueillie par la structure et utiliseacutee au niveau de la structure

Information requisepar les autoriteacutes nationales

Information suppleacutementairerequise par le deacutepartement du district ou le deacutepartement municipal

Information suppleacutementairerequise par la direction de la structure

Source Reproduite avec lrsquoautorisation de laquo Health Information System Reform in South Africa Developing an Essential Data Set raquo by Vincent Shaw 2005

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 98

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ENCADREacute 1 Principes directeurs pour une meilleure gestion de lrsquoinformation

Comprendre les fonctions et les responsabiliteacutes des services de santeacute Eacutetant donneacute qursquoun SIS est lieacute au cycle de gestion de la santeacute une condition preacutealable agrave un meilleur SIS consiste agrave bien comprendre les fonctions et les responsabiliteacutes de chaque service et programme de santeacute niveau de fonctionnement et secteur (public priveacute communautaire OSC ONG) participant agrave lrsquooffre des services de santeacute

Cibler lrsquoameacutelioration de la santeacute et des services de santeacute Toute modification de lrsquoenregistrement des donneacutees et du reporting pour ce qui est de la santeacute doit se faire en vue drsquoameacuteliorer la performance des services de santeacute Il est important de trouver des moyens de reacutepondre aux besoins drsquoinformation aux niveaux les plus eacuteleveacutes du systegraveme de santeacute sans demander aux managers et aux prestataires drsquoenregistrer et de communiquer des donneacutees qui ne sont pas utiliseacutees au niveau des prestations de service

Renforcer les systegravemes existants Bien qursquoil soit tentant de refondre complegravetement les systegravemes et drsquointeacutegrer des systegravemes de reporting parallegraveles par programme le temps lrsquoargent le deacuterangement et les coucircts pegravesent souvent plus dans la balance que les avantages eacuteventuels Rares sont les efforts drsquoeacutelaboration de SIS totalement inteacutegreacutes qui ont reacuteussi Une meilleure alternative serait de fixer des normes pour les formats et codifications de donneacutees qui facilitent lrsquoeacutechange de donneacutees entre des systegravemes distincts

Veiller agrave inteacuteresser les groupes nationaux Toutes les activiteacutes visant agrave eacutelaborer ou agrave ameacuteliorer un systegraveme drsquoinformation doivent ecirctre meneacutees par des groupes de travail dans le pays geacutereacutes par du personnel national Il est essentiel drsquoimpliquer le personnel des systegravemes drsquoinformation mais aussi les managers et les offreurs de service car ce sont les principaux utilisateurs de lrsquoinformation Lorsqursquoil faut faire appel agrave un consultant exteacuterieur cette personne doit assumer un rocircle de facilitateur permettant au personnel local de mettre sur pied son propre systegraveme Par leur participation active les membres du personnel comprendront et adopteront les meacutethodes et les instruments du systegraveme et du mecircme coup seront plus capables de lrsquoentretenir

Renforcer les aptitudes du personnel de santeacute Ces aptitudes comprennent enregistrement reporting transmission traitement preacutesentation analyse et interpreacutetation des donneacutees et recours aux donneacutees pour la prise de deacutecisions Lrsquoutilisation et lrsquoentretien des systegravemes informatiques peut aussi ecirctre enseigneacute Pour acqueacuterir ces aptitudes lrsquoapproche recommandeacutee est celle qui consiste agrave laquo apprendre en faisant raquo via

ateliers maison au cours desquels le personnel des services de santeacute et les gestionnaires de donneacutees travaillent ensemble agrave reacutesoudre des problegravemes agrave partir de donneacutees reacuteelles

participation du personnel national agrave la planification et la mise en œuvre drsquoeacutetudes et agrave la conception de modifications de systegravemes

clarification des rocircles et des responsabiliteacutes par le biais du consensus

Utiliser correctement la technologie Vous pouvez utiliser des ordinateurs pour lrsquoentretien de bases de donneacutees la production de rapports lrsquoanalyse de donneacutees et les communications si vos systegravemes informatiques et logiciels peuvent ecirctre entretenus localement par du personnel existant Mais veillez agrave ce que lrsquoinformatisation ne ralentisse pas le flux et lrsquoaccegraves aux donneacutees nrsquoajoute pas un fardeau excessif agrave la charge de travail ou nrsquoencourage pas la falsification ce qui reacuteduit alors la fiabiliteacute des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 99

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le suivi en tant que cheminement vers lrsquoaction

LrsquoIMPORTANCE DU SUIVI REGULIER

Pourquoi lrsquoeacutevaluation seule ne suffit-elle pas Dans la communauteacute du deacuteveloppement certaines organisations tendent agrave srsquoappuyer plus sur des eacutetudes drsquoeacutevaluation que sur un suivi de programme solide Nombreuses sont celles qui ont lrsquointention drsquoeffectuer le suivi ainsi que lrsquoeacutevaluation mais qui dans la pratique consacrent plus de temps et de ressources agrave lrsquoeacutevaluation

Les donateurs les gouvernements et les organisations favorisent peut-ecirctre les eacutevaluations car ces derniegraveres offrent des preuves concregravetes des progregraves comme par exemple la preacutevalence des contraceptifs (mesure de reacutesultat typique de planification familialesanteacute de la reproduction) mesureacutee via une enquecircte annuelle dans les foyers

Le suivi ne peut produire le reacutesultat ou lrsquoindicateur de reacutesultat crsquoest-agrave-dire la preuve concregravete que ces contraceptifs sont effectivement utiliseacutes Il ne peut fournir qursquoun indicateur de progregraves ou une reacutefeacuterence comme par exemple la distribution mensuelle des contraceptifs qui vous permet de suivre les progregraves par rapport aux buts opeacuterationnels Vous pouvez assurer le suivi de la distribution des produits mais ne pouvez conclure que les produits ont eacuteteacute veacuteritablement utiliseacutes

Mais pour vous le responsable les donneacutees se rapportant agrave la distribution repreacutesentent exactement le genre drsquoinformation dont vous avez besoin pour montrer votre avancement par rapport au but fixeacute et bien faire votre travail

Prenez par exemple une intervention au Peacuterou se rapportant au changement de comportement qui est deacutecrite et analyseacutee dans lrsquoencadreacute suivant

Dans le contexte des services de santeacute publics les responsables de district et de formation sanitaire doivent assurer le suivi des indicateurs de produit et de couverture Les indicateurs de couverture indiquent au responsable de santeacute si les services essentiels sont fournis aux groupes speacutecifiques cibleacutes de faccedilon agrave pouvoir prendre des mesures expresses pour combler les lacunes de service dans les communauteacutes ou les sous-groupes mal desservis

Un bon systegraveme de suivi vous procure lrsquoinformation essentielle pour la gestion de lrsquointervention et lrsquoadoption de mesures de redressement Une eacutevaluation ne peut vous fournir ce genre drsquoinformation Par conseacutequent lorsque vous constatez la preacutesence drsquoun bon systegraveme de suivi crsquoest geacuteneacuteralement un manager qui le demande car il (ou elle) a besoin drsquoinformation de suivi exploitable provenant du systegraveme de SampE

PRODUCTION DrsquoINFORMATION EXPLOITABLE

Lrsquoinformation exploitable comprend des donneacutees susceptibles drsquoecirctre utiliseacutees pour prendre des deacutecisions et agir Elle vous aide agrave identifier les lacunes de performance et agrave trouver des moyens de les combler Pour ecirctre exploitable lrsquoinformation obtenue agrave partir du suivi doit se fonder sur des indicateurs utiles produits sous un format simple qui vient agrave temps pour la planification ou pour le cycle de reporting

laquo Exploitable raquo revecirct des significations diffeacuterentes selon les clients Lrsquoinformation dont a besoin le manager nrsquoest pas du mecircme type que celle que le directeur geacuteneacuteral drsquoune organisation ou le ministegravere de la santeacute utiliserait pour soumettre son rapport aux donateurs aux politiciens ou aux meacutedias

Comment des informations exploitables peuvent-elles ecirctre produites pour les besoins du manager

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 910

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Tout drsquoabord les indicateurs doivent ecirctre utiles au manager Ils doivent ecirctre directement lieacutes au plan opeacuterationnel de lrsquoorganisation (ou au plan drsquointervention) et aux reacutesultats escompteacutes Certaines organisations ont tendance agrave se focaliser sur le suivi du processus entre les enquecirctes CAP (connaissances attitudes et pratiques) Cela signifie qursquoils assurent le suivi de processus tels que la formation qui a eacuteteacute formeacute sur quel thegraveme et agrave quel moment Crsquoest important mais insuffisant Le suivi du processus ne suit pas le progregraves par rapport au reacutesultat mais simplement lrsquoachegravevement des activiteacutes

Outre le suivi du processus les managers doivent aussi assurer le suivi des indicateurs substitutifs qui sont aussi proches que possible des reacutesultats reacuteels lors de la mise en œuvre drsquoun ensemble drsquoactiviteacutes au moment ougrave les reacutesultats ne sont pas encore facilement mesurables Les indicateurs substitutifs sont des mesures indirectes qui se rapprochent drsquoune cible ou drsquoun reacutesultat ou qui les repreacutesentent lorsque lrsquoinformation directe nrsquoest pas accessible

Dans le cas de la prestation de services de planification familiale par exemple puisque certains contraceptifs sont distribueacutes par lrsquointermeacutediaire du centre de santeacute les donneacutees de suivi devraient provenir du centre de santeacute Bien que vous ne puissiez pas conclure que le reacutesultat cibleacute a eacuteteacute atteint (que les produits sont effectivement utiliseacutes par la population beacuteneacuteficiaire) lrsquoinformation sur la distribution vous donne certains indices sur la reacuteussite eacuteventuelle des activiteacutes La plupart des donneacutees pour le suivi des indicateurs substitutifs peuvent ecirctre obtenues aupregraves du SIS

Suivi pour une meilleure gestion des programmes en action ndash Un exemple du Peacuterou

Au Peacuterou une organisation de planification familiale a meneacute une campagne de communication pour augmenter lrsquoutilisation des meacutethodes de contraception dans la zone desservies par lrsquoorganisation Ils ont deacuteveloppeacute les ressources neacutecessaires et formeacute des agents de santeacute communautaires en vue de sensibiliser les femmes dans leurs villages Lrsquoorganisation a envisageacute de mener seulement une eacutetude de reacutefeacuterence et de la deacutevelopper ensuite par des eacutetudes sur les connaissances attitudes et pratiques Ces activiteacutes eacutetaient de premiegraveres eacutetapes neacutecessaires et de bonnes meacutethodes pour eacutevaluer lrsquoefficaciteacute de la campagne Toutefois eacutetaient-elles agrave mecircme de fournir des donneacutees exploitables et suffisantes pour satisfaire les besoins du manager La reacuteponse est non car les reacutesultats allaient sortir apregraves la fin de la campagne Le manager avait besoin des informations pour prendre des mesures correctives pendant le deacuteroulement de la campagne de communication

Mettez-vous agrave la place du manager dans ce sceacutenario Que devez-vous suivre Vous pouvez commencer par la distribution mensuelle de contraceptifs pendant la campagne de communication agrave lrsquoaide de donneacutees faciles agrave obtenir aupregraves de lrsquoentrepocirct Les mouvements de stocks de produits contraceptifs de la chaicircne drsquoapprovisionnement allaient indiquer que la campagne creacuteait de la demande tandis lrsquoabsence de mouvement allait indiquer que la campagne ou le systegraveme drsquoapprovisionnement ne fonctionne pas correctement Observez-vous des flambeacutees dans la distribution durant la campagne Y a-t-il au niveau des contraceptifs un mouvement plus important durant la campagne qursquoavant celle-ci

Si vous ne constatez aucun changement au bout de deux agrave trois mois vous savez qursquoil faut revoir la campagne de communication ou la chaicircne drsquoapprovisionnement ou les deux Vous devrez effectuer des visites sur site pour identifier les raisons Est-ce les stocks Lrsquoabsence de changement dans la distribution est-elle due agrave lrsquoabsence de produits Ou cette absence de changement est-elle due au fait que la station de radio nrsquoa pas passeacute lrsquoannonce de la campagne de communication Ou encore les agents de distribution communautaires nrsquoont jamais reccedilu les tableaux agrave feuilles mobiles et les modegraveles neacutecessaires pour sensibiliser les femmes dans leurs communauteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 911

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Ensuite lrsquoinformation exploitable doit ecirctre communiqueacutee sous un format utilisable Souvent les responsables reccediloivent trop drsquoinformation sous un format trop compliqueacute Il vous faut un simple outil qui renvoie seulement lrsquoinformation essentielle Vous pouvez vous renseigner sur de tels outils dans la section de ce chapitre intituleacutee laquo Caracteacuteristiques drsquoun bon outil de suivi raquo

Pour finir les managers doivent recevoir lrsquoinformation en temps opportun pour pouvoir agir sur la base de cette derniegravere Les projets mis en œuvre par des organisations et financeacutes par lrsquoEtat ou par un donateur fonctionnent souvent avec deux calendriers

A titre drsquoexemple vous geacuterez peut-ecirctre un projet sur cinq ans diviseacute en cycles annuels de reporting baseacutes sur des plans opeacuterationnels annuels Pour assurer le suivi du plan annuel et soumettre les rapports exigeacutes vous avez neacuteanmoins besoin drsquoinformations trimestrielles Si vos centres de santeacute soumettent leurs donneacutees apregraves la date butoir arrecircteacutee lrsquoinformation arrivera trop tard pour vos rapports

Lrsquoinformation en action pour ameacuteliorer les services ndash Expeacuteriences de la Bolivie et de lrsquoAfrique du Sud

Utiliser lrsquoinformation pour mobiliser la chaicircne drsquoapprovisionnement Le programme de suppleacutementation en folate de fer en Bolivie a eacuteteacute une activiteacute de mobilisation communautaire mise en œuvre par plusieurs ONG dans les zones rurales du pays

Apregraves seulement trois mois de mise en œuvre un problegraveme est survenu Si le manager srsquoeacutetait contenteacute de surveiller le processus elle aurait constateacute que toutes les activiteacutes avaient eacuteteacute effectueacutees agrave temps et comme preacutevu Toutefois les donneacutees mensuelles des centres de santeacute dans les zones desservies par le programme ont montreacute que dans de nombreuses communauteacutes la distribution de folate de fer aux femmes enceintes eacutetait resteacutee agrave zeacutero depuis le premier mois de mise en œuvre du programme

Le manager a immeacutediatement meneacute une enquecircte et a deacutecouvert qursquoil y avait des ruptures de stock dans 16 centres de santeacute Mecircme srsquoil y avait un protocole eacutecrit pour la distribution de folate de fer et que tous les centres de santeacute eacutetaient censeacutes en disposer dans leurs stocks ce produit nrsquoavait jamais fait lrsquoobjet de demande auparavant Les centres de santeacute avaient depuis longtemps deacutecideacute de cesser de lrsquoacqueacuterir Le manager a porteacute le problegraveme agrave lrsquoattention du vice-ministre de la santeacute et en quelques jours le ministegravere de la santeacute a mobiliseacute toute sa chaicircne drsquoapprovisionnement pour garantir des stocks suffisants tout au long de la chaicircne Agrave la fin de lrsquoanneacutee la suppleacutementation en folate de fer srsquoeacutetait nettement ameacutelioreacutee sur lrsquoensemble du pays gracircce notamment agrave un outil de suivi mensuel simple dont srsquoest servi le manager pour prendre tregraves tocirct des mesures correctives pendant la mise en œuvre

Simplifier la collecte de donneacutees et encourager lrsquoutilisation des donneacutees Il est geacuteneacuteralement admis que si la collecte et le traitement des donneacutees sont trop fastidieux la qualiteacute et lrsquoutilisation de celles-ci auront tendance agrave diminuer En Afrique du Sud les infirmiers des centres de santeacute doivent souvent srsquoacquitter de deux fonctions (1) fournir des soins agrave leurs clients et (2) collecter et utiliser des donneacutees Le problegraveme est que les infirmiers se consacrent principalement agrave lrsquoadministration de soins et perccediloivent la collecte de donneacutees comme un fardeau inutile qui vient srsquoajouter agrave leurs autres responsabiliteacutes quotidiennes

Des infirmiers sud-africains ayant reconnu lrsquoimportance de lrsquoinformation dans la prestation de services ont voulu faire de la collecte et de lrsquoutilisation des donneacutees de routine une activiteacute agrave part entiegravere dans leur travail quotidien Ils se sont rendu compte qursquoil eacutetait neacutecessaire de reacuteduire la quantiteacute de donneacutees neacutecessaires et de simplifier le processus de collecte

Par conseacutequent ils ont creacuteeacute un registre simple avec cases agrave cocher (liste de controcircle) leur permettant de voir agrave la fin de chaque journeacutee un instantaneacute des soins qursquoils ont fournis Agrave la fin du mois ils pouvaient rapidement compiler et analyser les donneacutees relatives agrave leurs services Ce type de reacutesumeacute quotidien et mensuel de leurs activiteacutes srsquoest aveacutereacute immenseacutement satisfaisant Il a motiveacute leur utilisation continue du registre pour suivre analyser et ameacuteliorer les services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 912

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Outils pratiques de SampE et approches

CADRES POUR LA CONCEPTION ET LE SampE DES SERVICES DE SANTEacute

Les reacutesultats des services de santeacute et des interventions de programmes peuvent se mesurer agrave divers niveaux De nombreuses orientations de SampE reposent sur une chaicircne de cinq niveaux de reacutesultats intrants activiteacutes produits reacutesultats et impact La Figure 4 reacutesume les niveaux de reacutesultat qui peuvent ecirctre suivis et eacutevalueacutes

Pour mieux comprendre la chaicircne de reacutesultats voyez les deacutefinitions ci-dessous

Intrants Les mateacuteriaux et ressources requises pour exeacutecuter le plan de mise en œuvre de votre eacutequipe ou de votre uniteacute et obtenir les reacutesultats escompteacutes Par exemple des ressources financiegraveres techniques humaines des fournitures et des produits de base

Processus Les activiteacutes meneacutees agrave bien par le biais de votre plan de mise en œuvre Par exemple formation des prestataires de service ameacutelioration du systegraveme de gestion des approvisionnements et distribution des meacutethodes de planification familiale

Produit Le produit immeacutediat drsquoune activiteacute Par exemple le nombre de personnes formeacutees le nombre de nouveaux utilisateurs de contraceptifs et la quantiteacute de produits distribueacutes

Reacutesultat Un changement agrave court-terme dans un groupe deacutemographique reacutesultant drsquoun ensemble drsquoactiviteacutes Par exemple changement de couverture des soins preacutenataux proportion drsquoaccouchements sans danger connaissances et attitudes des meacutethodes de planification familialesanteacute geacuteneacutesique besoin de planning familial non satisfait et taux de preacutevalence des contraceptifs

Impact Changements agrave long terme au sein drsquoun groupe deacutemographique de beacuteneacuteficiaires Par exemple changement du taux global de feacuteconditeacute et des taux de morbiditeacute et de mortaliteacute maternelle

Deux types de cadres sont couramment utiliseacutes pour planifier et organiser la conception drsquoune intervention ou drsquoun service et de son plan de SampE cadre logique et cadre conceptuel

FIGURE 4 Niveaux dans la chaicircne des reacutesultats

IntrantsProcessus (Activiteacutes)

Produits Reacutesultats Impact

ressources humaines

ressources financiegraveres

eacutequipement structures politiques

reacuteunions formation supervision services

nombre de membres du personnel formeacutes

nombre de clients

nombre de produits

supervision ameacutelioreacutee

chaicircne de froid ameacutelioreacutee

changement au niveau des connaissances

changement au niveau des comportements

changement au niveau des pratiques

services ameacutelioreacutes

changement au niveau des taux drsquoattaque

changement au niveau des taux de mortaliteacute

changement au niveau des taux de nataliteacute

changement au niveau des taux de feacuteconditeacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 913

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

CADRES LOGIQUES

Depuis lrsquoeacutelaboration de lrsquoapproche de cadre logique pour lrsquoAgence des Eacutetats-Unis pour le deacuteveloppement international (USAID) en 1969 les cadres logiques (que lrsquoon appelle eacutegalement LogFrames ou modegraveles logiques) ont eacuteteacute adopteacutes et adapteacutes sous diverses formes par de nombreux organismes de deacuteveloppement bilateacuteral et international

La Figure 5 illustre les eacuteleacutements drsquoun LogFrame

LogFrame aide les responsables et les eacutequipes agrave reacutepondre aux quatre questions cleacutes suivantes

1 Qursquoessayons-nous drsquoaccomplir et pourquoi 2 Comment allons-nous mesurer la reacuteussite 3 Quelles sont les conditions devant exister agrave chaque eacutetape de notre

intervention 4 De quelles ressources et de quels processus aurons-nous besoin pour y

parvenir

LogFrame aide agrave repeacuterer les liens de causaliteacute dans la chaicircne de reacutesultats intrants rarr processus (activiteacutes) rarr produits rarr reacutesultats rarr impact Ces liens de causaliteacute faccedilonnent la logique de lrsquointervention et guident le choix des indicateurs agrave chaque eacutetape de la chaicircne de reacutesultat

FIGURE 5 Eleacutements classiques drsquoun cadre logique

Objectifs IndicateursMoyens de veacuterification Hypothegraveses

But Objectif ultime ou impact envisageacute de lrsquointervention

Mesures utiliseacutees pour eacutevaluer dans quelle mesure le but a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs au but

Facteurs ou conditions neacutecessaires pour la durabiliteacute agrave long terme

ObjetReacutesultat Les avantages attendus ou changements agrave reacutealiser au niveau des beacuteneacuteficiaires des communauteacutes des organisations ou des systegravemes

Mesures utiliseacutees pour eacutevaluer dans quelle mesure lrsquoobjetreacutesultat a eacuteteacute atteint

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs agrave lrsquoobjetreacutesultat

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

Produits Reacutesultats tangibles directs des activiteacutes du programme attendus pour reacutealiser lrsquoobjet

Mesures utiliseacutees pour eacutevaluer dans quelle mesure les produits ont eacuteteacute reacutealiseacutes

Meacutethodes et sources drsquoinformation pour mesurer ou eacutevaluer les indicateurs relatifs aux produits

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

ProcessusActiviteacutes Actions entreprises par un programme en vue drsquoatteindre les objectifs fixeacutes

IntrantsRessources Personnes temps mateacuteriel fonds neacutecessaires pour mener agrave bien les activiteacutes

Meacutethodes et sources drsquoinformation utiliseacutees pour montrer que les activiteacutes ont eacuteteacute exeacutecuteacutees

Facteurs ou conditions neacutecessaires pour le succegraves du programme agrave ce niveau et la progression vers le niveau suivant

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 914

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour comprendre comment LogFrame illustre explicitement la logique drsquoune intervention examinez une nouvelle fois la Figure 5 Une seacuterie de laquo sihellipalors raquo relie entre eux tous les eacuteleacutements du LogFrame

1 Si les ressources neacutecessaires sont disponibles et dans lrsquohypothegravese ougrave les conditions seraient favorables alors les activiteacutes de programme peuvent ecirctre mises en œuvre et hellip

2 hellipsi les activiteacutes de programme sont mises en œuvre avec succegraves et en supposant lrsquoexistence de conditions favorables speacutecifiques alors les produits et reacutesultats souhaiteacutes peuvent ecirctre obtenus et hellip

3 hellipsi les produits et reacutesultats escompteacutes sont obtenus et en supposant que des conditions speacutecifiques favorables existent alors le but strateacutegique peut ecirctre atteint

Ce LogFrame peut servir agrave conceptualiser un projet lors de la phase de planification et lors de lrsquoexamen des progregraves et des mesures de redressement en cours de mise en œuvre A lrsquoinstar de tout cadre il a des avantages et des inconveacutenients comme on le voit dans le Tableau 1

LrsquoAnnexe A de ce chapitre contient une illustration de LogFrame pour un programme de visites agrave domicile deacuteveloppeacute par la Banque interameacutericaine de deacuteveloppement

CADRES CONCEPTUELS

Ces cadres sont semblables aux LogFrame dans la mesure ougrave ils deacutecrivent une chaicircne de reacutesultats mais ils tiennent compte des raisons sous-jacentes pour lesquelles les changements se produisent le long de la chaicircne des reacutesultats Lagrave ougrave LogFrames eacutenonce simplement que les activiteacutes megraveneront agrave des reacutesultats encore plus vastes les cadres conceptuels vous permettent de cartographier les facteurs qui agrave votre avis sont essentiels et drsquoexpliquer pourquoi ils contribuent fortement agrave la reacuteussite

Ce type de cartographie vous aide agrave deacutecider quels facteurs suivre lors de la mise en œuvre des activiteacutes Lorsque les donneacutees montrent que ces eacuteleacutements essentiels ont eacuteteacute obtenus ou non vous pouvez mieux comprendre pourquoi une intervention a eacuteteacute reacuteussie ou non et les changements agrave apporter dans lrsquoavenir

Vous pouvez voir les avantages et les inconveacutenients des cadres conceptuels sur le Tableau 2

TABLEAU 1 Preacutesentation du Cadre logique

Avantages Inconveacutenients

Ameacuteliore la qualiteacute des plans drsquointervention en exigeant la deacutefinition drsquoobjectifs et drsquoindicateurs clairs et lrsquoanalyse des hypothegraveses et des risques

Quand il est utiliseacute reacuteguliegraverement pendant une intervention crsquoest un outil de management efficace pour guider la mise en œuvre et le SampE

Reacutesume la conception de plans complexes

Appuie la preacuteparation de plans de mise en œuvre deacutetailleacutes

Suppose une relation lineacuteaire entre intrants produits et reacutesultats qui ne tient pas compte drsquoautres facteurs influents

Srsquoil est employeacute de faccedilon rigide pendant le processus de conception il peut entraver la creacuteativiteacute et lrsquoinnovation

Srsquoil nrsquoest pas mis agrave jour pendant la mise en œuvre cet outil peut srsquoaveacuterer statique et ne pas refleacuteter lrsquoeacutevolution des conditions

Pour utiliser correctement cette approche il est souvent neacutecessaire de recourir agrave la formation et au suivi

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 915

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Le cheminement vers le changement est un exemple de cadre conceptuel particuliegraverement utile Ce modegravele adopte la formule laquo sihellipalors raquo pour montrer pas agrave pas comment les reacutesultats ont eacuteteacute conceptualiseacutes et seront obtenus La Figure 6 est un exemple de Cheminement vers le changement pour un projet sanitaire municipal sur six mois au Nicaragua

Le cheminement vers le changement Le cheminement vers le changement figure dans ce chapitre en raison de son utiliteacute pour les managers et de ses avantages en tant qursquoactiviteacute de promotion du travail drsquoeacutequipe Lrsquoeacutelaboration drsquoun cheminement vers le changement est en geacuteneacuteral un processus participatif qui permet agrave votre eacutequipe ou agrave votre uniteacute et agrave drsquoautres parties prenantes de concevoir une intervention et de deacuteterminer son fonctionnement Le produit final est une carte qui illustre comment les actions sont relieacutees entre elles et comment elles deacutebouchent toutes sur le reacutesultat escompteacute La construction drsquoun cheminement reacutevegravele souvent ce que les employeacutes drsquoune organisation pensent de la faccedilon dont leurs actions contribuent au changement

La creacuteation drsquoun cheminement vers le changement a plusieurs avantages Tout drsquoabord elle exige que votre eacutequipe examine chaque action proposeacutee et reacuteponde aux questions suivantes

Chaque activiteacute megravene-t-elle au reacutesultat souhaiteacute Sinon faut-il changer certaines activiteacutes en ajouter ou en eacuteliminer

Les activiteacutes sont-elles seacutequentielles Sont-elles relieacutees entre elles logiquement Srsquoenchaicircnent-elles sous la forme drsquoune seacuterie drsquoactions logique et rationnelle

Avons-nous penseacute agrave tous les produits et reacutesultats requis pour obtenir lrsquoissue escompteacutee

Disposons-nous des ressources neacutecessaires pour mettre en œuvre les activiteacutes proposeacutees

Combien de temps faudra-t-il pour obtenir le reacutesultat escompteacute Quels autres facteurs pourraient renforcer ou entraver les activiteacutes sur ce

cheminement

Deuxiegravemement votre eacutequipe doit clairement expliquer et accepter la logique sous-jacente drsquoun plan drsquointervention Ce qui veut dire qursquoil faut repreacutesenter sur le papier comment chaque action megravenera au changement escompteacute agrave chaque niveau de la carte Pour finir

TABLEAU 2 Preacutesentation du Cadre conceptuel

Avantages Inconveacutenients

Procure une cartographie souple et visuelle de plans drsquointervention complexes

Lorsqursquoil est utiliseacute reacuteguliegraverement pendant la mise en œuvre il permet de recevoir tregraves tocirct des commentaires en retour sur ce qui marche ou non et les raisons qui lrsquoexpliquent

Aide agrave identifier les effets secondaires non voulus

Permet de deacutefinir quelles sont les probleacutematiques sur lesquelles enquecircter en profondeur peut-ecirctre en utilisant des meacutethodes de recueil de donneacutees plus cibleacutees ou des techniques de SampE plus sophistiqueacutees

Peut devenir trop complexe si lrsquoeacutechelle des activiteacutes est grande ou si une liste exhaustive de facteurs et drsquohypothegraveses est reacuteunie

Les parties prenantes peuvent ne pas ecirctre drsquoaccord sur les facteurs deacuteterminants qui sont agrave leur avis les plus importants

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 916

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

le cheminement montre quels produits et reacutesultats doivent ecirctre suivis par lrsquoeacutequipe et quels indicateurs il faut utiliser

Comment deacutechiffrer la cartographie du cheminement vers le changement Un cheminement peut se deacutechiffrer comme un diagramme avec des encadreacutes et des flegraveches illustrant la relation entre les actions et leurs effets comme on le voit sur la Figure 6 Le reacutesultat escompteacute apparaicirct en haut du cheminement et les reacutesultats qui doivent ecirctre obtenus pour y parvenir sont organiseacutes dans la rangeacutee suivante Les produits qui doivent ecirctre obtenus pour parvenir aux reacutesultats sont arrangeacutes dans la rangeacutee en dessous Et pour finir les activiteacutes se trouvent tout en bas

Lorsque vous partez du bas pour aller vers le haut la carte repreacutesente les activiteacutes neacutecessaires pour aboutir aux produits et les reacutesultats neacutecessaires pour parvenir au sommet Il faut toujours pouvoir tracer le cheminement du deacutebut de vos actions au reacutesultat escompteacute

Il peut srsquoaveacuterer utile de reacutefleacutechir au cheminement comme agrave un organigramme vous pouvez commencer au bas de lrsquoorganigramme au poste drsquoassistant administratif monter au poste de coordinateur de bureau puis aux fonctions de manager puis de directeur du bureau

FIGURE 6 Exemple de Cheminement vers le changement

Reacutesultat 1 80 des

patients sont satisfaits des services fournis au centre de

santeacute

Reacutesultat 2 60 des femmes

acircgeacutees de 15 agrave 49 ans de la zone desservie du centre

de santeacute comprennent lrsquoimportance de la PF

pour lrsquoespacement des naissances

Reacutesultat 3 Toutes les

meacutethodes de contraceptions modernes sont disponibles au centre de santeacute

Produit 1 Le temps

drsquoattente au centre de santeacute est reacuteduit de

40 agrave 20 minutes

Produit 2 Tous les patients

beacuteneacutecient de conseils dans un espace priveacute au centre de santeacute

Produit 3 Les femmes

volontaires dirigent chaque semaine des deacutebats sur la santeacute geacuteneacutesique dans la

communauteacute

Produit 4 Tous les stocks

de contraception font lrsquoobjet drsquoun suivi

hebdomadaire

Activiteacute 1 Conduire une enquecircte sur le

ux des patients et

formuler des recommanda-

tions

Activiteacute 2 Transformer un coin du centre

de santeacute en espace conseil

pour les patients

Activiteacute 3 Mobiliser les

ONG partenaires

pour imprimer des brochures

IEC

Activiteacute 4 Mobiliser les

ONG partenaires

pour formereacutequiper

les femmes volontaires

Activiteacute 5 Recruter des

leaders communautaires pour soutenir

les deacutebats hebdomadaires

sur la SG

Activiteacute 6 Eacutelaborer un systegraveme drsquoenregistrement et

de passation de commandes pour

les appro-visionnements en

contraceptifs

Reacutesultat souhaiteacute Augmentation de la proportion des

utilisateurs de la planication familiale de 50 agrave 52 entre juin 2006 et deacutecembre 2006

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 917

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Creacuteer un cheminement vers le changement Pour concevoir un cheminement vers le changement votre eacutequipe doit repreacutesenter ce changement en partant de la fin pour aller vers le deacutebut Vous commencez agrave la fin du cheminement (le sommet de la chaicircne) et deacutefinissez le but agrave long-terme de lrsquoorganisation ou le reacutesultat escompteacute drsquoune intervention Ensuite vous remplissez le scheacutema en allant du sommet vers le bas lagrave ougrave vous identifiez finalement les principales activiteacutes les premiers eacuteleacutements de votre plan de mise en œuvre

Au fur et agrave mesure que vous cheminez vers le bas posez-vous trois questions Quels reacutesultats doivent ecirctre obtenus pour contribuer au but agrave long terme Quels produits doivent ecirctre obtenus auparavant pour obtenir les reacutesultats Et quelles activiteacutes doivent exister preacutealablement pour obtenir les produits

Concevoir ainsi une intervention peut contribuer agrave indiquer les conditions neacutecessaires pour obtenir des reacutesultats et atteindre le but agrave long terme Il faut parfois srsquoy reprendre agrave plusieurs fois pour eacutelaborer un cheminement vers le changement qui soit accepteacute de tous Des reacutesultats des produits et des actions peuvent ecirctre ajouteacutes modifieacutes ou supprimeacutes jusqursquoagrave ce que finalement une carte prenne forme qui illustre un reacutecit accepteacute par toute lrsquoeacutequipe Le deacutebat est souvent lrsquoaspect le plus utile de cette expeacuterience car lrsquoeacutequipe deacutefinit ensemble les attentes les hypothegraveses et les caracteacuteristiques du processus de changement

Utiliser une chaicircne de laquo de sorte que raquo pour veacuterifier le cheminement dans un cheminement vers le changement Un bon moyen de veacuterifier la logique de votre

FIGURE 7 Chaicircne laquo de sorte que raquo drsquoune seule activiteacute du cheminement vers le changement

Former les femmes volontaires de la communauteacute et leur fournir les mateacuteriaux IEC neacutecessaires

De sorte que

Les femmes volontaires conduisent des seacuteances de sensibilisation sur les sujets touchant la PF dans la zone desservie

De sorte que

Les femmes en acircge de procreacuteer dans la zone desservie se sentent agrave lrsquoaise durant les seacuteances animeacutees par les volontaires

De sorte que

Les femmes preacutesentes lors des seacuteances comprennent lrsquoimportance de la planification familiale pour lrsquoespacement des naissances

De sorte que

Davantage de femmes en acircge de procreacuteer recherchent des meacutethodes PF au centre de santeacute et que la proportion de femmes beacuteneacuteficiaires de ces meacutethodes augmente de 2 pendant la peacuteriode du projet (reacutesultat souhaiteacute)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 918

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

repreacutesentation du cheminement est drsquoinverser le processus et de creacuteer une chaicircne de laquo de sorte que raquo pour chaque activiteacute Les exemples de la Figure 7 illustrent comment proceacuteder pour lrsquoActiviteacute 5 sur la Figure 6 Le mouvement dans la chaicircne du laquo de sorte que raquo est exactement lrsquoinverse de celui du cheminement vers le changement Vous placez chaque activiteacute au sommet de sa propre chaicircne et cheminez du haut vers le bas de la chaicircne en direction du but ou du reacutesultat escompteacute Cette seacutequence permet de confirmer que chaque cheminement individuel contenu dans le plus vaste cheminement vers le changement est logique

Pour utiliser cette technique vous devez creacuteer une chaicircne seacutepareacutee de laquo de sorte que raquo pour chaque activiteacute contenue dans votre cheminement vers le changement Vous commencez par deacutecrire chaque activiteacute et ajoutez les mots laquo de sorte que raquo suivis drsquoune description de ce qui se produit ensuite lorsque lrsquoactiviteacute est meneacutee agrave bien Continuez de la sorte jusqursquoagrave ce que vous ayez atteint votre but agrave long terme ou le reacutesultat escompteacute

Les eacutetapes drsquoeacutelaboration drsquoun plan de SampE

Pour vous qui ecirctes un manager et un leader lrsquoune de vos principales tacircches de MampE consiste agrave eacutelaborer un plan qui vous aidera vous et votre eacutequipe a obtenir les reacutesultats escompteacutes et agrave proceacuteder au suivi des progregraves par rapport aux reacutesultats pendant la mise en œuvre Pour cela vous devez non seulement choisir des indicateurs fiables mais aussi mesurer de faccedilon organiseacutee Votre plan de SampE doit preacuteciser quels seront les indicateurs mesureacutes comment ils le seront quand et par qui

Un plan de SampE bien conccedilu reacutepond aux cinq questions ci-dessous

1 Le reacutesultat attendu est-il mesurable 2 Quels indicateurs utiliserez-vous pour assurer le suivi de vos produits et eacutevaluer

vos reacutesultats 3 Quelles sont vos sources de donneacutees et comment recueillerez-vous des donneacutees

agrave partir de ces sources 4 Quels sont les deacutelais pour chaque indicateur 5 Qui recueillera les donneacutees

Ces questions sont importantes parce qursquoen lrsquoabsence drsquoun plan de SampE vous pourriez mal interpreacuteter les effets de votre intervention Vous pourriez deacutecider qursquoelle nrsquoa eu aucun effet bien qursquoen reacutealiteacute elle ait produit des reacutesultats positifs ou vous pourriez conclure qursquoelle a eu un effet positif quand en fait elle nrsquoa obtenu aucun reacutesultat ce qui est une erreur bien plus courante et destructrice

Lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de SampE assure que des donneacutees comparables seront collecteacutees de faccedilon reacuteguliegravere et opportune mecircme lors de changements drsquoeffectifs au fil du temps Le Tableau 3 reacutesume les eacutetapes drsquoeacutelaboration et de mise en œuvre du plan de SampE Le reste de la section deacutecrit chaque eacutetape en deacutetail

EacuteTAPE 1 DEacuteFINIR LES REacuteSULTATS ESCOMPTEacuteS

La premiegravere eacutetape drsquoeacutelaboration du plan de SampE consiste agrave deacuteterminer un niveau adapteacute de reacutesultats Ensemble le type et la porteacutee de lrsquointervention les ressources disponibles et le deacutelai de mise en œuvre deacuteterminent un reacutesultat reacutealisable

Comme vous lrsquoavez vu plus tocirct dans ce chapitre les interventions meneacutees par des organisations financeacutees par des donateurs et par les services publics engendrent des produits ou des reacutesultats Bien que lrsquoimpact prenne du temps agrave ecirctre ressenti et ne soit geacuteneacuteralement pas

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 919

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 3 Eacutetapes pour lrsquoeacutelaboration et lrsquoutilisation drsquoun plan de S amp E

Eacutetapes Indications

1 Deacutefinir les reacutesultats attendus

Les reacutesultats doivent ecirctre identifieacutes en fonction du cahier des charges et du calendrier de votre intervention

Les reacutesultats doivent satisfaire les critegraveres SMART (Speacutecifique mesurable acceptable reacutealiste temporellement deacutefini)

2 Seacutelectionner les indicateurs

Les indicateurs doivent se conformer aux qualiteacutes drsquoun bon indicateur

Les indicateurs doivent ecirctre drsquoun prix abordable faciles agrave recueillir et comparables sur la dureacutee et dans des lieux divers

Pour les problegravemes sanitaires prioritaires et les services essentiels utiliser des indicateurs principaux standards ou nationaux

Choisir un nombre minimum drsquoindicateurs cleacutes en srsquoassurant que les indicateurs choisis sont vraiment neacutecessaires pour mesurer les reacutesultats souhaiteacutes

3 Identifier les sources des donneacutees

Identifier la source des donneacutees de chaque indicateur Les sources de donneacutees courantes comprennent les statistiques de services les archives des organisations les clients ou la communauteacute

4 Deacuteterminer les meacutethodes de recueil de donneacutees

Choisir les meacutethodes de recueil de donneacutees les mieux adapteacutees et les plus fiables pour chaque indicateur Elles peuvent comprendre un examen des journaux ou registres pour les statistiques de service lrsquoemploi de listes de veacuterification drsquoobservation des entretiens avec les clients agrave la sortie ou une enquecircte-eacutechantillon pour des donneacutees prises dans la communauteacute

Deacutecider de la freacutequence du recueil des donneacutees Vous pourriez recueillir uniquement les donneacutees initiales et posteacuterieures agrave lrsquointervention ou encore vous pourriez avoir agrave recueillir des donneacutees quotidiennes mensuelles ou trimestrielles tout deacutepend du type drsquoindicateur

Concernant chaque indicateur affectez la responsabiliteacute du recueil des donneacutees agrave un bureau une eacutequipe ou une personne donneacutee

5 Recueil des donneacutees initiales et apregraves lrsquointervention

Reconnaitre que les reacutesultats initiaux serviront agrave deacuteterminer vos cibles

Deacutefinir clairement la peacuteriode couverte par les donneacutees initiales car il vous faut une peacuteriode de temps similaire pour eacutetablir une comparaison agrave la fin de la peacuteriode de mise en œuvre

Employer la mecircme meacutethodologie et les mecircmes outils pour le recueil des donneacutees que pour les mesures initiales et les donneacutees posteacuterieures agrave lrsquointervention

6 Partagez et utilisez vos reacutesultats

Preacutevoir des reacuteunions des ateliers et des rapports pour preacutesenter les reacutesultats au personnel de projet agrave la direction et aux principales parties prenantes

Preacutesenter des options drsquoapprentissage et drsquoaction sur la base des reacutesultats de SampE

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 920

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

agrave la porteacutee drsquoun seul ensemble drsquoactiviteacutes il est important de lrsquoinclure dans votre plan de SampE pour que la contribution agrave long terme de votre intervention soit claire

Pour deacuteterminer agrave quel niveau vous devez suivre et eacutevaluer vos reacutesultats il est utile drsquoexaminer une nouvelle fois la chaicircne de reacutesultat et de la compleacuteter en commenccedilant sur la droite par le reacutesultat ultime (impact) et en remontant aux mateacuteriaux et ressources neacutecessaires (intrants)

Intrants rarr Processus rarr Produits rarr Reacutesultats rarr Impact

Impact Ces reacutesultats se mesurent dans la population prennent relativement longtemps agrave obtenir (en geacuteneacuteral trois agrave cinq ans) et exigent les efforts concerteacutes de plusieurs interventions et mecircme de plusieurs organisations En tant que manager vous nrsquoecirctes peut-ecirctre pas chargeacute de mesurer lrsquoimpact mais il faudra lrsquoinclure dans la logique de votre plan de SampE pour savoir ce que votre organisation et vous mecircme souhaitez accomplir agrave long terme

Reacutesultat Dans la plupart des cas les managers sont chargeacutes de mesurer les conseacutequences au niveau du produit etou des reacutesultats Les reacutesultats sont lrsquoaboutissement des activiteacutes visant agrave produire un changement de comportement chez les prestataires ou chez les usagers Les reacutesultats se mesurent souvent en termes de changement dans lrsquooffre de service et drsquoeacutevolution dans les connaissances les attitudes et les pratiques des populations beacuteneacuteficiaires Un reacutesultat pourrait ecirctre par exemple le lancement drsquoune pratique eacuteprouveacutee de prestation de service lrsquoadoption de nouvelles approches de gestion ou le plaidoyer pour la conception drsquoune politique de santeacute Il pourrait aussi srsquoagir drsquoune augmentation du nombre de femmes accouchant dans un eacutetablissement sanitaire ou du nombre drsquoenfants ayant reccedilu tous leurs vaccins Dans la plupart des cas il est possible drsquoeacutetablir une relation claire entre les produits et les reacutesultats

Produits Ils sont les produits directs des activiteacutes Ils doivent faire lrsquoobjet drsquoun suivi pendant toute la dureacutee de la mise en œuvre car ils constituent un eacuteleacutement essentiel drsquoune bonne gestion Les plans de SampE doivent deacutefinir les produits attendus de chaque activiteacute Pour les points drsquooffre de service cela signifie geacuteneacuteralement des produits relatifs aux services (par exemple nombre de clients servis ou longueur de la peacuteriode drsquoattente des clients) Pour les organisations qui nrsquooffrent pas directement de services de santeacute cela peut signifier la distribution de produits de santeacute ou le fait de dispenser des formations (par exemple nombre de produits de planification familiale distribueacutes ou nombre de participants formeacutes)

Processus Le suivi des processus ou des activiteacutes est essentiellement une mesure de responsabilisation il faut srsquoassurer que les activiteacutes sont meneacutees dans les temps et avec des ressources suffisantes Le suivi agrave ce niveau retrace les progregraves de mise en œuvre par rapport aux deacutelais proposeacutes et lrsquoutilisation des ressources par rapport aux budgets Il est geacuteneacuteralement effectueacute via la soumission de rapports trimestriels semi-annuels et annuels

Intrants Lorsque vous mettez sur pied une intervention vous devez deacuteterminer le nombre et le genre de ressources neacutecessaires agrave la mise en œuvre de lrsquoactiviteacute La performance peut ecirctre suivie en termes de quantiteacute et de cateacutegories drsquointrants fournis et du nombre et de la cateacutegorie des activiteacutes meneacutees agrave bien

La prochaine eacutetape dans la deacutefinition des reacutesultats attendus consiste agrave srsquoassurer qursquoils reacutepondent aux critegraveres SMART (voir Tableau 4) Vous pouvez assurer le suivi et lrsquoeacutevaluation des progregraves par rapport agrave lrsquoeacutevaluation uniquement lorsque ce reacutesultat a eacuteteacute deacutefini en termes mesurables

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 921

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Voici un exemple de reacutesultat mesurable pour une intervention visant agrave promouvoir la couverture vaccinale des enfants de 12 agrave 24 mois La proportion drsquoenfants de 12 agrave 24 mois totalement vaccineacutes dans la zone desservie augmentera pour atteindre 70 percent au cours de lrsquoanneacutee suivante

EacuteTAPE 2 IDENTIFIER LES INDICATEURS ET LEURS DEacuteFINITIONS

Les indicateurs sont normalement des pourcentages ou des proportions qui repreacutesentent la mesure drsquoune situation speacutecifique dans la population concerneacutee Ils peuvent aussi repreacutesenter une valeur absolue comme le nombre drsquooccurrences drsquoun eacuteveacutenement sanitaire (par exemple deacutecegraves maternel ou cas de paludisme)

Tous les indicateurs doivent ecirctre deacutefinis de faccedilon deacutetailleacutee Srsquoagit-il drsquoun indicateur qualitatif ou quantitatif Srsquoil srsquoagit drsquoun pourcentage quels sont le numeacuterateur et le deacutenominateur Les deacutefinitions doivent ecirctre suffisamment deacutetailleacutees pour que des personnes diffeacuterentes puissent agrave divers moments recueillir des cateacutegories de donneacutees identiques pour lrsquoindicateur

Vous verrez les caracteacuteristiques drsquoun bon indicateur dans lrsquoencadreacute 2

Les indicateurs peuvent ecirctre classeacutes en tant qursquoindicateurs drsquoeacutetat de santeacute ou en tant qursquoindicateurs de performance de services

Les indicateurs drsquoeacutetat de santeacute pourraient inclure le

le nombre de cas et de deacutecegraves dus agrave des maladies speacutecifiques dans une peacuteriode de temps donneacutee

la proportion de la population qui souffre drsquoune maladie ou drsquoune situation agrave un moment preacutecis dans le temps ou pendant une certaine peacuteriode

la proportion de la population affecteacutee par un facteur ou une situation qui les expose agrave des maladies par exemple des connaissances insuffisantes ou un comportement dangereux

Les indicateurs de performance pourraient inclure

la proportion de la population ayant beacuteneacuteficieacute drsquoune prestation particuliegravere la proportion de la population beacuteneacuteficiaire deacutemontrant avoir des connaissances

et des comportements sanitaires particuliers

TABLEAU 4 Critegraveres drsquoun reacutesultat SMART

Critegravere Description

Speacutecifique (S) Reacutedigeacute clairement et bien compris Le reacutesultat souhaiteacute est suffisamment speacutecifique pour ecirctre mesureacute par une freacutequence un pourcentage ou un nombre

Mesurable (M) Il est possible de controcircler les progregraves et drsquoeacutevaluer les reacutesultats Le reacutesultat souhaiteacute est formuleacute dans des termes qui sont mesurables

Approprieacute (A) Le reacutesultat souhaiteacute est acceptable pour votre cahier des charges et pour la mission de votre organisation

Reacutealiste (R) Le reacutesultat souhaiteacute peut ecirctre reacutealiseacute et sous le controcircle de votre organisation Il peut se faire de faccedilon reacutealiste en utilisant les ressources agrave disposition et dans les deacutelais de votre plan de mise en œuvre

Temporellement deacutefini (T)

Une peacuteriode de temps preacutecise est deacutefinie pour atteindre le reacutesultat souhaiteacute

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 922

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

la proportion des formations sanitaires et de personnels deacutemontrant leur adheacutesion aux normes particuliegraveres de service ou atteignant des objectifs fixeacutes

la proportion de formations sanitaires adheacuterant aux normes deacutefinies de gestion fonctionnelle (par exemple affectation de personnel accessibiliteacute des meacutedicaments enregistrement et reporting)

Des orientations compleacutementaires sur les indicateurs sont disponibles agrave laquo Menu of Indicators on Management and Leadership Capacity Development raquo

EacuteTAPE 3 IDENTIFIER LES SOURCES DES DONNEacuteES

Vous devez maintenant identifier une source de donneacutees pour chaque indicateur du plan de SampE en choisissant des donneacutees qui sont facilement accessibles agrave partir drsquoune source creacutedible et financiegraverement viable pour votre organisation Dans lrsquoideacuteal vous devriez choisir des donneacutees qui sont deacutejagrave accessibles par le biais de lrsquoorganisation au lieu de lancer une nouvelle strateacutegie de collecte de donneacutees ce qui pourrait srsquoaveacuterer coucircteux et prendre du temps

Pour bien commencer il faut se demander Quelles donneacutees recueillons-nous deacutejagrave de faccedilon reacuteguliegravere et systeacutematique Il faut toujours tenir compte des avantages et des inconveacutenients de chaque source de donneacutees Veuillez vous reporter agrave la section laquo Choisir vos sources de donneacutees raquo pour plus drsquoinformation sur les avantages et les inconveacutenients de certaines sources de donneacutees courantes

Vous devez ecirctre aussi preacutecis que possible sur les sources de donneacutees ainsi les mecircmes sources pourront ecirctre reacuteguliegraverement utiliseacutees pendant toute la dureacutee de votre intervention Changer les sources de donneacutees pour le mecircme indicateur peut entraicircner des incoheacuterences et des erreurs drsquointerpreacutetation Par exemple si vous mesurez les taux de mortaliteacute infantile passer drsquoestimations baseacutees sur des enquecirctes agrave grande eacutechelles agrave des estimations baseacutees sur des statistiques hospitaliegraveres peut vous donner une fausse impression de changement

ENCADREacute 2 Qualiteacutes drsquoun bon indicateur

Valide Lrsquoindicateur mesure ce qursquoil est censeacute mesurer

Fiable La mesure de lrsquoindicateur ne change pas quel que soit le nombre de fois que cette mesure est prise

Preacutecis Lrsquoindicateur est deacutefini en termes clairs preacutecis pour pouvoir ecirctre mesureacute Lrsquoindicateur peut ecirctre qualitatif (descriptif) discret (ouinon) ou baseacute sur des proportions ou des niveaux quantitatifs tant qursquoil est clairement mesurable

Facile agrave comprendre Les experts comme les non experts peuvent comprendre ce que lrsquoindicateur signifie

Discret Lrsquoindicateur reflegravete un seul eacuteleacutement ou un seul aspect drsquoun reacutesultat plus complexe Il ne mesure qursquoune seule chose et non un ensemble de choses

Opportun Lrsquoindicateur peut ecirctre mesureacute agrave des intervalles opportuns en fonction de la disponibiliteacute des donneacutees

Comparable Si possible lrsquoindicateur eacutevite les deacutefinition eacutetroites ou uniques dont les valeurs seraient difficiles agrave comparer agrave drsquoautres reacutesultats

Utilisable Les donneacutees destineacutees agrave lrsquoindicateur sont faciles agrave obtenir aupregraves drsquoune source creacutedible et relativement peu coucircteuses - cadrent avec les ressources de votre organisation Si de telles donneacutees ne sont pas accessibles certaines meacutethodes permettent de les obtenir agrave lrsquoavenir

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 923

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteTAPE 4 DEacuteTERMINER LES MEacuteTHODES DE COLLECTE DES DONNEacuteES

Lrsquoeacutetape suivante consiste agrave deacutefinir les meacutethodes ou les outils que vous utiliserez pour recueillir les donneacutees pour chaque indicateur Pour les indicateurs baseacutes sur les donneacutees brutes (donneacutees que vous recueillez vous-mecircme) vous devrez deacutecrire le type drsquoinstrument dont vous avez besoin pour recueillir les donneacutees Par exemple des questionnaires structureacutes des listes de veacuterification drsquoobservation directe ou des balances pour peser les enfants

Pour les donneacutees secondaires (collecteacutees par autrui mais que vous pouvez utiliser) vous devez expliquer la meacutethode de calcul de lrsquoindicateur et la source des donneacutees en fournissant suffisamment de deacutetails sur la meacutethode de calcul pour qursquoelle puisse ecirctre reproduite Souvenez-vous que srsquoil est plus facile et moins oneacutereux drsquoutiliser des donneacutees secondaires leur qualiteacute est souvent moins fiable que celle des donneacutees brutes

Il est aussi important de noter la freacutequence de la collecte de donneacutees pour chaque indicateur Selon le type drsquoindicateur vous pouvez avoir besoin de collecter des donneacutees tous les mois les trimestres les ans ou mecircme moins freacutequemment Lorsque vous eacutelaborez le programme de collecte de donneacutees pour chaque indicateur nrsquooubliez pas qursquoil faut communiquer lrsquoinformation agrave temps aux deacutecideurs de votre organisation Attribuer la responsabiliteacute de la collecte des donneacutees agrave des personnes individuellement ou agrave des groupes parmi le personnel contribuera agrave assurer que les donneacutees sont recueillies agrave temps

Lrsquoinformation des eacutetapes 1 agrave 4 vous indiquera le contenu de votre plan de suivi et drsquoeacutevaluation Le Tableau 5 illustre les eacuteleacutements drsquoun plan de SampE pour un programme de mentorat clinique concernant des formations de conseil et deacutepistage volontaire (CDV)

EacuteTAPE 5 COLLECTE DES DONNEacuteES INITIALES ET DES DONNEacuteES DE SUIVI

Le recueil de donneacutees initiales exactes est lrsquoune des tacircches de SampE les plus importantes Les donneacutees initiales sont le point de deacutepart agrave partir duquel fixer les buts que vous et votre eacutequipe espeacuterez atteindre et qui vous permettent de suivre lrsquoeacutevolution des indicateurs pendant la dureacutee de vie de votre intervention Ainsi les donneacutees initiales contribuent agrave peaufiner le reacutesultat final attendu

Vous devrez recueillir les donneacutees initiales sur chaque indicateur avant le lancement de votre activiteacute Ces donneacutees deacuteterminent le point de deacutepart agrave partir duquel vous pouvez mesurer les progregraves Puis agrave divers points de la mise en œuvre vous recueillerez les donneacutees de suivi pour les comparer avec les niveaux de reacutefeacuterence et les reacutesultats anticipeacutes Ceci vous permettra agrave vous et agrave drsquoautres deacutecideurs de votre organisation drsquoeacutevaluer les progregraves de chaque intervention ou de chaque service et de proceacuteder aux changements neacutecessaires en cours de route

Regardez lrsquoexemple de lrsquoencadreacute 3

Pourquoi suivre lrsquoeacutevolution des indicateurs lors de la mise en œuvre Dans un plan de SampE les indicateurs sont lieacutes aux effets immeacutediats (produits) et agrave long terme (reacutesultats) devant faire lrsquoobjet drsquoun suivi par les managers Au fil du temps lrsquoeacutevolution des valeurs des indicateurs signale si ces reacutesultats sont positifs neacutegatifs ou restent identiques indiquant ainsi au manager que les interventions et les strateacutegies preacutevues pour obtenir les reacutesultats escompteacutes fonctionnent ou non

A la fin de la peacuteriode de mise en œuvre vous devrez recueillir des donneacutees sur vos indicateurs pour comparer les niveaux finals aux donneacutees initiales et aux reacutesultats que vous aviez anticipeacutes Selon vos indicateurs il se peut que vous ayez besoin de recueillir des donneacutees de suivi agrave un moment preacutealablement convenu pour deacuteterminer si les changements perdurent une fois votre intervention acheveacutee

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 924

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 5 Exemple de plan de suivi et eacutevaluation

Objectif Les agents de santeacute qui ont beacuteneacuteficieacute de formations en classe ameacuteliorent leur aptitude agrave dispenser la theacuterapie antireacutetrovirale (ARV) conformeacutement aux directives nationales

ActiviteacuteProduit IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

CalendrierDates butoir

Cliniciens ayant lexpeacuterience du VIH recruteacutes pour servir de mentors cliniques dans 5 hocircpitaux reacutegionaux

Nombre de mentors recruteacutes et placeacutes dans les hocircpitaux reacutegionaux

Dossiers de recrutement

Au fur et agrave mesure

Directeur adjoint des programmes cliniques

Septembre 2008

Dans 5 hocircpitaux reacutegionaux des meacutedecins reccediloivent une formation individuelle aux ARV

Nombre de sites beacuteneacuteficiant dun mentorat clinique

Nombre de meacutedecins beacuteneacuteficiant dun mentorat individuel

Nombre de jours de mentorat offerts

Rapports mensuels du mentor

Mensuel Mentors Mars 2009

Reacutesultat IndicateurSource des donneacutees

Freacutequence du recueil des donneacutees

Personne responsable

Les agents de santeacute acquiegraverent des connaissance sur les ARV

80 des participants obtiennent 85 de bonnes reacuteponses ou plus dans les tests posteacuterieurs agrave la formation

Les agents de santeacute ameacuteliorent leurs aptitudes agrave dispenser les ARV

Pourcentage daptitudes deacutemontreacute sur la liste de veacuterification des aptitudes

Eacutetude speacuteciale Dates agrave deacuteterminer

Directeur adjoint des programmes cliniques

Source Centre international de formation et de sensibilisation au VIH p 2

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 925

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une note sur lrsquoutilisation des indicateurs pour une eacutevaluation La plupart des initiatives de SampE insistent sur le choix drsquoindicateurs bien deacutefinis pour fixer des buts et mesurer les changements des eacutetats de santeacute ou des services sanitaires

Mais il est important de se rappeler que les indicateurs sont de simples marqueurs Les donneacutees des indicateurs procurent des indices afin de savoir si une intervention ou un ensemble drsquoactiviteacutes sont dans les temps et obtiennent les reacutesultats escompteacutes Ils ne reacutepondent pas agrave la question de savoir pourquoi les reacutesultats ont eacuteteacute obtenus ou non Ils nrsquoexpliquent pas les reacutesultats involontaires les liens entre interventions et reacutesultats ou les causes des reacutesultats perccedilus survenant en dehors de lrsquointervention Ils ne peuvent donc pas prescrire drsquoactions devant ecirctre meneacutees pour ameacuteliorer les reacutesultats

Les donneacutees des indicateurs doivent donc ecirctre interpreacuteteacutees avec prudence Elles ne font que signaler des reacutesultats qursquoil faudra ensuite approfondir sans procurer drsquoeacutevaluation deacutefinitive de reacuteussite ou drsquoeacutechec Normalement une eacutetude drsquoeacutevaluation est meneacutee pour deacuteterminer si une intervention peut ecirctre consideacutereacutee comme reacuteussie et pourquoi

En geacuteneacuteral lorsque vous remontez dans la hieacuterarchie passant des activiteacutes aux reacutesultats agrave long terme le SampE devient plus complexe Au niveau des processus et des produits vous pouvez facilement voir quelles activiteacutes ont eacuteteacute acheveacutees et quels sont leurs effets immeacutediats Il srsquoagit lagrave drsquoinformation opeacuterationnelle une information utile aux deacutecisions de gestion au jour le jour Toutefois pour deacuteterminer et mesurer les reacutesultats provenant de la synergie des produits vous devrez probablement inteacutegrer des informations qualitatives et quantitatives et moins vous appuyer sur les indicateurs quantitatifs individuels

Souvenez-vous que lorsqursquoune ameacutelioration souhaiteacutee (performance au sein du service connaissances et comportement des prestataires ou des beacuteneacuteficiaires ou tendance drsquoun problegraveme de santeacute) est confirmeacutee par le biais du SampE cela ne prouve pas pour autant que crsquoest lrsquointervention elle-mecircme qui a ameneacute ce changement Drsquoautres eacuteveacutenements ont pu se produire au sein du service ou dans lrsquoenvironnement qui ont susciteacute ce changement Bien entendu cela srsquoapplique aussi aux reacutesultats neacutegatifs ou aux reacutesultats indiquant lrsquoabsence de changement

EacuteTAPE 6 PARTAGE ET UTILISATION DE VOS DONNEacuteES

Presseacutes de commencer agrave recueillir des donneacutees certains managers oublient de planifier un processus pour reacutefleacutechir agrave lrsquoinformation obtenue et effectuer les changements neacutecessaires agrave lrsquoameacutelioration de reacutesultat des activiteacutes Pour vous assurer que les donneacutees seront utiliseacutees (et

ENCADREacute 3 Utiliser les donneacutees initiales pour ajuster les reacutesultats

Une eacutequipe chargeacutee de survie infantile propose une intervention ayant un reacutesultat preacutecis et mesurable comme suit dans les 12 prochains mois 40 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

Pour deacuteterminer si son programme peut veacuteritablement obtenir ce reacutesultat lrsquoeacutequipe doit mesurer le niveau actuel de vaccination En examinant les donneacutees on se rend compte que seuls 10 des enfants de la zone desservie sont totalement vaccineacutes agrave 24 mois Ce sont donc leurs donneacutees initiales

La manager se rend compte qursquoen 12 mois seulement il ne sera pas possible drsquoatteindre le niveau cibleacute de 40 de vaccination Donc la manager et son eacutequipe reacutevisent les reacutesultats attendus les reacuteduisant agrave quelque chose de plus reacutealiste et raisonnable mais toujours important Dans les 12 prochains mois 20 des enfants acircgeacutes de 12 agrave 24 mois dans la zone desservie seront totalement vaccineacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 926

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

pas simplement collecteacutees) reacutefleacutechissez agrave la faccedilon dont vous et votre eacutequipe disseacuteminerez lrsquoinformation de SampE et obtiendrez des retours drsquoinformation de diverses parties prenantes Un petit nombre de questions essentielles vous guidera

Qui a besoin de quel type drsquoinformation et quand en ont-ils besoins Quel moyen devrez-vous employer pour faire circuler lrsquoinformation au

personnel agrave la haute direction et aux autres parties prenantes Suffit-il de faire circuler un rapport ou faut-il organiser une reacuteunion ou un atelier

Devriez-vous organiser des reacuteunions communautaires pour solliciter aupregraves de vos beacuteneacuteficiaires un retour drsquoinformation sur les conclusions initiales du SampE

Comment devriez-vous preacutesenter lrsquoinformation pour qursquoelle soit utile aux diverses parties prenantes Faudrait-il la preacutesenter visuellement sous forme de tableaux de graphiques ou de cartes

Le SampE doit ecirctre entrepris en vue drsquoutiliser immeacutediatement les reacutesultats pour identifier les lacunes de performance et agir en vue de reacuteduire ou de combler ces lacunes Vous devriez toujours preacutevoir des moyens de tirer parti des reacutesultats de SampE pour les besoins de lrsquoapprentissage et de lrsquoaction Par exemple si les activiteacutes de projet ne megravenent pas aux produits attendus que faut-il faire Si les services essentiels ne permettent pas drsquoatteindre les niveaux

Utilisation des reacutesultats pour ameacuteliorer les donneacutees de routine en action ndash Exemple du Pakistan

Au Pakistan gracircce agrave lrsquoappui du projet PRIDE 10 eacutequipes de sous-district ont appliqueacute une seacuterie de proceacutedures et de formats PIP-PH (Processus drsquoeacutevaluation et drsquoameacutelioration des performances de la santeacute publique) conccedilus pour reacutesoudre les problegravemes de santeacute identifieacutes comme eacutetant les plus graves pour leurs populations Ils ont utiliseacute le processus PIP-PH pour hieacuterarchiser les problegravemes et les services agrave ameacuteliorer impeacuterativement agrave court terme

Dans le cadre du processus PIP-PH les eacutequipes ont eacutegalement conccedilu un format de cadre de veille sanitaire pour leurs sous-districts dans leur ensemble ainsi que pour les installations en leur sein Chaque eacutequipe a seacutelectionneacute des indicateurs pour mesurer lrsquoeacutetat de deux problegravemes de santeacute publique prioritaires les services essentiels connexes et les contraintes touchant ces services

Les eacutequipes ont utiliseacute les formulaires de veille sanitaire afin drsquoeacutetablir des valeurs de reacutefeacuterence pour les indicateurs et de surveiller ces valeurs au fur et agrave mesure que les interventions se deacuteroulaient Les formations sanitaires reacutevisaient et mettaient agrave jour le formulaire chaque mois les eacutequipes de sous-district y compris les managers des structures examinaient et discutaient des formulaires revus chaque trimestre

Les eacutequipes de sous-district utilisaient les informations pour analyser les raisons des progregraves reacutealiseacutes ou de la stagnation constateacutee afin drsquoapporter leur soutien aux managers des formations sanitaires Le processus a inciteacute les managers agrave ameacuteliorer lrsquoexhaustiviteacute et lrsquoexactitude des donneacutees de routine afin qursquoils puissent utiliser ces informations pour surveiller plus efficacement les eacuteveacutenements lieacutes agrave la santeacute et les services essentiels et apporter les ameacuteliorations neacutecessaires

Des exemples et des informations deacutetailleacutees sur le processus PIP-PH et le cadre de veille sanitaire sont disponibles dans le Rapport annuel du projet PRIDE 2007

Pour des approches suppleacutementaires de lrsquoutilisation de donneacutees afin drsquoameacuteliorer les performances drsquoune organisation drsquoune eacutequipe drsquoun service de santeacute ou drsquoune intervention reportez-vous au processus Eacutevaluation et ameacutelioration des performances (PAI) sur le site Web du programme Leadership Management and Sustainability (LMS)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 927

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

de couverture anticipeacutes ou des groupes deacutemographiques deacutetermineacutes que faut-il changer Et comment pouvez-vous porter ces faits agrave lrsquoattention des personnes concerneacutees pour obtenir une reacuteponse rapide

Conception drsquoun outil de SampE

LES EacuteCUEILS DU SUIVI ET DE LrsquoEacuteVALUATION

Il existe couramment un certain nombre drsquoeacutecueils qui peuvent vous empecirccher en tant que manager drsquoameacuteliorer la fonction de SampE dans votre organisation

Planification excessive ou insuffisante Certains parmi vous passent peut-ecirctre trop de temps agrave eacutelaborer le plan de SampE ce qui peut entraicircner lrsquoeacutelaboration de plans drsquoun usage trop complexe Ou encore les manager trop impatients de mettre en œuvre les interventions de SampE peuvent se lancer avant drsquoavoir acheveacute un plan complet de SampE Ce qui signifie qursquoune fois le plan termineacute il est souvent trop tard pour obtenir des donneacutees initiales exploitables et le SampE doit ecirctre repousseacute agrave plus tard Dans ces cas le manager peut ecirctre obligeacute de se contenter drsquoune sorte drsquoeacutevaluation tardive sans donneacutees initiales pour les besoins de la comparaison

Neacutegliger le suivi constant Un autre piegravege dans lequel il est facile de tomber consiste agrave neacutegliger drsquointeacutegrer un suivi continu dans la mise en œuvre des activiteacutes Souvent cela est ducirc au manque drsquoexpeacuterience De nombreux managers nrsquoont pas eu accegraves agrave des outils de suivi utiles (qui sont rares) Ils peuvent ne pas avoir reccedilu agrave temps les reacutesultats ou le retour drsquoinformation du systegraveme de SampE dans le passeacute et ne voient donc peut-ecirctre pas la valeur du suivi reacutegulier De plus les managers peuvent facilement ecirctre pris dans les deacutetails de la mise en œuvre et neacutegliger le suivi de routine

Sur-planification Encore un autre piegravege de suivi il consiste agrave essayer de suivre les donneacutees sur tous les indicateurs possibles Essayer de capter des donneacutees sur de trop nombreux facteurs rend la proceacutedure de suivi si compliqueacutee qursquoelle devient impreacutecise Le proceacutedeacute srsquoen trouve aussi ralenti de telle sorte qursquoune fois les donneacutees recueillies et analyseacutees elles ne sont plus drsquoaucune utiliteacute Les outils de suivi qui sont trop longs et trop complexes ne sont pas utiliseacutes Que se passe-t-il ensuite

Si vous avez deacutejagrave rencontreacute de tels problegravemes il est temps de changer drsquoapproche Vous pouvez eacutelaborer un simple plan de SampE et utiliser de simples outils de suivi Deacutecouvrez ce que vous devez mesurer pour obtenir des donneacutees dans les trois agrave six mois le cadre deacutependra du planning de votre organisation et des cycles de reporting Essayez aussi de comprendre au minimum ce qui doit ecirctre mesureacute dans une eacutevaluation agrave plus long terme Faites le choix de la simpliciteacute mecircme dans le contexte drsquoun ensemble drsquoactiviteacutes complexe

Essayez drsquoinclure seulement ce qursquoil vous faut savoir Vous pouvez examiner tous les indicateurs proposeacutes avant de les inclure dans le SampE et vous demander Qui a besoin drsquoutiliser cette information quand et dans quel but Si un seul indicateur de produit vous suffit crsquoest parfait Ne surchargez pas le suivi drsquoindicateurs inutiles Dans de nombreux cas des donneacutees en moins grand nombre procurent plus drsquoinformation

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 928

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

CARACTEacuteRISTIQUES DrsquoUN BON OUTIL DE SUIVI

En tant que manager vous nrsquoavez pas besoin de tout savoir pour geacuterer un service ou une intervention Vous avez besoin de lrsquoinformation immeacutediatement Il vous faut un outil de suivi capable de vous fournir suffisamment drsquoinformation et dans les deacutelais pour repeacuterer les problegravemes et les corriger degraves qursquoils font surface

Un outil de suivi doit ecirctre aiseacute agrave mettre sur pied et drsquoutilisation facile Les tableaux les listes de veacuterification et les graphiques simples sont des meacutethodes particuliegraverement utiles de collecte drsquoorganisation et de preacutesentation de lrsquoinformation de suivi

Votre outil de suivi doit au minimum vous permettre agrave vous et agrave votre eacutequipe de suivre

lrsquoeacutetat de mise en œuvre de lrsquoactiviteacute la livraison des produits lrsquoeacutetat des indicateurs de produits cleacutes par rapport aux reacutesultats anticipeacutes le cas

eacutecheacuteant les deacutepenses budgeacutetaires la disponibiliteacute des ressources humaines et financiegraveres les obstacles agrave la mise en œuvre et les remegravedes appliqueacutes

Il faut que vous puisiez reacutepondre aux questions suivantes agrave intervalles peacuteriodiques

Les activiteacutes ont-elles eacuteteacute mises en œuvre conformeacutement agrave la planification dans les deacutelais et sans deacutepasser le budget

Quelles activiteacutes suppleacutementaires non planifieacutees ont eacuteteacute meneacutees Quels produits ou services directs et tangibles ont eacuteteacute livreacutes suite aux activiteacutes

que nous avons mises en œuvre Somme-nous dans les temps par rapport aux reacutesultats Disposons-vous des ressources neacutecessaires (effectifs fonds meacutedicaments et

fournitures etc) pour ecirctre dans les temps

Lrsquoencadreacute 4 illustre les composants fondamentaux drsquoun outil de suivi simple

Lorsqursquoelles sont utiliseacutees correctement les nouvelles technologies (par exemple tablettes laquo smart phone raquo ordinateurs portables) peuvent faciliter le suivi et accroicirctre les avantages

ENCADREacute 4 Un simple instrument de suivi

Date drsquoexamen Resultats cibleacutes

Activiteacutes (en fonction du plan de mise en œuvre) Eacutetat agrave ce jour

Produits attendus

Dates drsquoachegravevement Eacutetat agrave ce jour Commentaires

Deacutefis et opportuniteacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 929

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

du suivi des activiteacutes Le suivi automatique (donneacutees pouvant ecirctre extraites et traiteacutees automatiquement) peut produire un reacutesumeacute drsquoune page facile agrave lire des indicateurs cleacutes codifieacutes par couleur et qui alerte le manager sur les domaines devant attirer son attention Lrsquoinformation opportune sur quelques indicateurs cleacutes permet au manager de suivre le progregraves et de prendre des mesures de redressement

Lrsquoaffichage visuel de lrsquoinformation la plus cruciale requise pour la gestion drsquoun projet est geacuteneacuteralement connue sous le nom de tableau de bord de performance Les tableaux de bord de performance peuvent ecirctre utiliseacutes dans toutes les organisations les services ou les divisions Dans les organisations de la santeacute publique les tableaux de bord servent souvent agrave proceacuteder au suivi des indicateurs financiers et de programme ainsi qursquoagrave la couverture la production lrsquoefficaciteacute et la qualiteacute de services de santeacute speacutecifiques Un tableau de bord des ressources humaines par exemple comprendrait les indicateurs adapteacutes agrave la gestion

reacutetention des employeacutes rotation des employeacutes formation des employeacutes lacunes de compeacutetences satisfaction des employeacutes coucircts avantages sociaux et frais indirects se rapportant aux employeacutes

Le tableau 6 repreacutesente un tableau de bord de performance creacuteeacute pour assurer le suivi des indicateurs cleacutes des services de contraception chirurgicale volontaire

Vous trouverez une description de lrsquoemploi drsquoun tableau de bord de performance pour le suivi reacutegulier dans une eacutetude de cas (document en anglais) drsquoune ONG bolivienne le Centre pour la recherche lrsquoeacuteducation et les services (CIES)

TABLEAU 6 Tableau de bord illustreacute des performances des services de CCV

Service Contraception chirurgicale volontaire Peacuteriode de reporting janvier 2009

No Service dispenseacutecoucirct Indicateur de qualiteacute

But de programme ou but financier

SeuilNombre reacutealiseacute

Pourcentage reacutealiseacute

Min Max 10 20 30 40 50 60 70 80 90 100

1 Nombre de CCV au cours du mois 8 10 7

2 Coucirct moyen de la CCV en $US 100 120 110

3Budget mensuel de revenus provenant des CCV reacutealiseacutees

en $US800 1200 770

4 Pourcentage de CCV reacutealiseacutees par du personnel qualifieacute mdash 100 60

5 Pourcentage de CCV sans complication 95 100 100

6

Pourcentage dusagers satisfaits du traitement

dispenseacute par le personnel ayant effectueacute la CCV

90 100 90

Adapteacute de Colindres 2008 p 6

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 930

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Pour toute information concernant la conception du tableau de bord veuillez vous reacutefeacuterer agrave laquo Using Performance Dashboards to Monitor Organizational Achievements raquo Ce document clarifie le concept et deacutefinit les eacutetapes cleacutes de lrsquoeacutelaboration de tableaux de bord de performance

Conception de lrsquoeacutevaluation pour les besoins de lrsquoapprentissage

Malgreacute lrsquoimportance du suivi reacutegulier le suivi ne suffit pas agrave vous permettre de reacutepondre agrave la question laquo et puis quoi raquo En drsquoautres termes comment vos activiteacutes et vos produits ont-ils contribueacute agrave ameacuteliorer la couverture des services accroicirctre les connaissances ou agrave encourager des comportements favorables agrave la santeacute

Peut-ecirctre une campagne de communication visant agrave accroitre la preacutevalence des contraceptifs a-t-elle pousseacute le gouvernement agrave stocker des contraceptifs dans les entrepocircts de district Pour pouvoir tirer les enseignements de cette expeacuterience et concevoir agrave lrsquoavenir des campagnes plus efficaces les responsables de projet veulent neacuteanmoins savoir si ces produits ont vraiment eacuteteacute dispenseacutes aux formations sanitaires et distribueacutes aux clients Cette section aborde la conception drsquoune eacutevaluation pour les besoins de lrsquoapprentissage

Il existe deux raisons pour lesquelles mener une eacutevaluation

1 Lrsquoeacutevaluation vous informe si votre eacutequipe votre uniteacute ou votre organisation a reacuteussi agrave atteindre ses objectifs Cette information contribue agrave deacuteterminer quelles activiteacutes eacutelargir modifier ou eacuteliminer Elle peut aussi reacuteveacuteler des moyens de mieux concevoir et geacuterer les futures activiteacutes

2 Lrsquoeacutevaluation peut apporter la preuve de votre responsabiliteacute agrave votre donateur ou aux autres parties prenantes y compris votre gouvernement et les beacuteneacuteficiaires de vos prestations

EacuteVALUATIONS FORMATIVES ET SOMMATIVES

Les managers peuvent mener deux grands types drsquoeacutevaluations formative et sommative

Eacutevaluation formative Ce type drsquoeacutevaluation est meneacute lors de lrsquoeacutelaboration et de la mise en œuvre de programme Elle a pour objet de guider la conception et la mise en œuvre des activiteacutes comprenant les pratiques les meilleures et les plus prometteuses qui renforceront les chances de reacuteussite Lrsquoeacutevaluation formative est plus couramment utiliseacutee par de projets de grande envergure ou des projets agrave long terme que par des petits projets agrave court terme Cependant les petits projets devraient au minimum proceacuteder agrave un bref examen des meilleures pratiques lors de la phase de planification en vue drsquoappuyer la logique et les contenus proposeacutes de ces activiteacutes

Lrsquoeacutevaluation formative inclut une eacutevaluation des besoins en vue de discerner les souhaits et les exigences drsquoun groupe deacutemographique et de deacuteterminer comment les satisfaire au mieux Elle comprend eacutegalement lrsquoeacutevaluation de processus destineacute agrave enquecircter sur le processus employeacute pour mener agrave bien une intervention Vous pouvez recourir agrave lrsquoeacutevaluation du processus pour deacuteterminer si les activiteacutes se sont deacuterouleacutees conformeacutement aux plans (en termes de conception originale drsquoestimation des coucircts et de nombre de personnes agrave desservir) et deacutecider si la qualiteacute des processus employeacutes est conforme aux meilleures pratiques connues

Une eacutevaluation de processus inclut en geacuteneacuteral diverses approches Elle peut comprendre un examen des donneacutees relatives aux produits (nombre de moustiquaires procureacutees nombre drsquoateliers de formation dispenseacutes nombre de participants aux ateliers) ainsi que des entretiens

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 931

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

individuels ou des groupes de discussion parmi les beacuteneacuteficiaires Les petites interventions megravenent des eacutevaluations de processus ce qui est une bonne pratique mecircme si elles se limitent au retour drsquoinformation des participants

Eacutevaluation sommative Ce genre drsquoeacutevaluation est meneacute lorsqursquoun ensemble drsquoactiviteacutes ou une intervention sont termineacutes de faccedilon agrave eacutevaluer la qualiteacute de lrsquointervention et ses reacutesultats cleacutes Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats lrsquoeacutevaluation drsquoimpact le rapport coucirct-efficaciteacute et lrsquoanalyse coucirct-avantage et la recherche opeacuterationnelle

Lrsquoeacutevaluation sommative comprend lrsquoeacutevaluation des reacutesultats qui eacutevalue dans quelle mesure une eacutequipe une uniteacute ou une organisation dans son ensemble a obtenu les reacutesultats escompteacutes Lrsquoeacutevaluation des reacutesultats sert agrave deacutemontrer la responsabiliteacute ameacuteliorer la conception des activiteacutes de lrsquoorganisation mieux reacutepartir les ressources et promouvoir des interventions reacuteussies Les principales questions auxquelles elle reacutepond sont les suivantes Qursquoest ce qui a changeacute dans les vies des individus des familles ou des communauteacutes une fois notre travail termineacute Quelle a eacuteteacute notre contribution

Comme nous lrsquoavons deacutejagrave mentionneacute dans ce chapitre les reacutesultats sont geacuteneacuteralement des changements mesurables etou observables dans deux domaines Le premier domaine comprend la prise de conscience la connaissance les attitudes les valeurs et les compeacutetences des participants agrave un programme ou des beacuteneacuteficiaires de services pendant et apregraves leur participation agrave une intervention Le deuxiegraveme domaine comprend des changements de comportement dans ces mecircmes groupes

Dans lrsquoideacuteal ces deux domaines devraient ecirctre mesureacutes agrave trois moments au deacutebut et agrave la fin de la peacuteriode de mise en œuvre et si possible apregraves une peacuteriode de suivi convenable Si les mesures de suivi ne peuvent ecirctre reacutealiseacutees il faudrait au moins comparer les mesures des donneacutees initiales et les mesures post-intervention Dans de nombreux cas les changements peuvent ecirctre modestes mais au moins un ou deux reacutesultats doivent srsquoecirctre ameacutelioreacutes pour que lrsquointervention soit consideacutereacutee comme reacuteussie

Lrsquoeacutevaluation des reacutesultats tente de seacuteparer lrsquoinfluence que cette intervention a eue sur ces changements de lrsquoinfluence drsquoautres facteurs externes Cependant les eacutevaluateurs doivent souvent se contenter drsquoattribuer un reacutesultat en partie agrave une intervention speacutecifique ou agrave un service car il est difficile de deacuteterminer la relation directe et de cause agrave effet entre le service offert et le changement en question

Les eacutevaluations de reacutesultat utilisent en geacuteneacuteral une conception non-expeacuterimentale (souvent appeleacutee laquo eacutevaluation avant et apregraves raquo qui mesure simplement le changement avant et apregraves une intervention contrairement agrave une conception expeacuterimentale (comparant des participants agrave un groupe de controcircle avec une affectation aleacuteatoire aux deux groupes) ou agrave une conception quasi-expeacuterimentale (comparant des participants agrave un groupe de controcircle mais sans affectation aleacuteatoire)

La conception non-expeacuterimentale est acceptable pour les mesures de reacutesultats standard et les besoins du reporting Les ONG utilisent rarement des conceptions expeacuterimentales Bien qursquoune grosse organisation bien financeacutee puisse agrave lrsquooccasion obtenir lrsquoaide drsquoun expert pour une conception expeacuterimentale la plupart des ONG pensent que des consideacuterations eacutethiques et logistiques empecircchent lrsquoaffectation aleacuteatoire des participants aux interventions et aux groupes de controcircle De plus les coucircts de la collecte de donneacutees drsquoun groupe de controcircle seront sans doute trop eacuteleveacutes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 932

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

LrsquoEacutevaluation drsquoimpact est un autre eacuteleacutement de lrsquoeacutevaluation sommative Elle est plus vaste que lrsquoeacutevaluation des reacutesultats et eacutevalue les effets drsquoensemble ou effets nets (agrave la fois voulus et non voulus) drsquoun programme dans sa totaliteacute de groupes de programmes ou de groupes drsquoorganisations Les eacutevaluations drsquoimpact se produisent souvent sur trois ou cinq ans

AUTRES TYPES DrsquoEacuteVALUATIONS

Analyse de coucirct-efficaciteacute et analyse de coucirct-avantages Ces cateacutegories drsquoanalyses se rapportent agrave lrsquoefficaciteacute drsquoune intervention en analysant les reacutesultats en termes de coucircts financiers et de valeur

Recherche opeacuterationnelle (RO) La recherche opeacuterationnelle est lrsquoeacutevaluation drsquoune intervention speacutecifique dans le contexte drsquoun programme plus vaste qui offre un certain nombre drsquointerventions La RO est utiliseacutee pour tester et eacutevaluer de nouvelles approches dans lrsquooffre de services de santeacute Elle sert aussi agrave repeacuterer des problegravemes dans lrsquooffre de services et agrave trouver des solutions

La RO est un outil puissant que les responsables de programme et les deacutecideurs peuvent utiliser pour ameacuteliorer et eacutelargir leurs services Les eacutetudes de RO comparent des interventions qui se trouvent dans la sphegravere drsquoinfluence du manager Par exemple eacutevaluation de lrsquoefficaciteacute drsquoune nouvelle strateacutegie de preacutevention du VIH amp sida drsquoun nouveau cours de formation drsquoun nouvel ensemble de proceacutedures pour la gestion des meacutedicaments drsquoune nouvelle meacutethode contraceptive ou drsquoun nouveau service de santeacute geacuteneacutesique

Le document de The Population Council intituleacute Horizons Operations Research on HIVAIDS Toolkit vous informe sur la conception eacutetape par eacutetape drsquoune eacutetude de RO

REacuteFLEacuteXIONS SUR LA CONCEPTION DrsquoUNE EacuteVALUATION

Que devez-vous eacutevaluer pour reacutepondre agrave la question laquo alors quoi raquo Si vous le manager deacutesirez savoir quand vos activiteacutes sont vraiment reacuteussies toutes vos interventions doivent ecirctre conccedilues en pensant aux eacutevaluations et il vous faudra inteacutegrer lrsquoeacutevaluation agrave la planification drsquoensemble de votre organisation Au moment de deacutefinir vos objectifs vous devez vous demander comment saurons-nous si nous atteignons ces objectifs Crsquoest lagrave le point de deacutepart de lrsquoeacutevaluation

Quelle que soit lrsquoampleur de votre intervention ou du service et la porteacutee de lrsquoeacutevaluation vous devrez reacutepondre agrave trois questions lors de la phase de conception et de planification

1 Quel sera lrsquoaccomplissement de votre intervention ou de votre service agrave court et agrave long terme Si vous reacuteussissez la mise en œuvre drsquoun ensemble drsquoactiviteacutes pendant une peacuteriode quelle sera la diffeacuterence

2 Comment conceptualisez-vous vos activiteacutes quelle en est la logique sous-jacente Deux approches visant agrave deacuteterminer la logique du programme sont abordeacutees dans ce chapitre sous la rubrique Outils pratiques et approches de SampE

3 Quels indicateurs pouvez-vous utiliser pour repeacuterer les progregraves par rapport aux reacutesultats

Pour reacutepondre agrave la question laquo alors quoi raquo vous devez eacutevaluer les facteurs que vous maitrisez relativement bien Par exemple un nouveau service ayant pour but de procurer des logements aux personnes vivant avec le sida ne peut avoir une incidence sur la dureacutee de vie des beacuteneacuteficiaires En leur procurant un cadre de vie stable toutefois le service peut reacuteduire le stress et ameacuteliorer la qualiteacute de vie des personnes vivant avec le sida qui eacutetaient auparavant obligeacutees de deacutemeacutenager freacutequemment

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 933

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Une fois reacutegleacutee la question du laquo alors quoi raquo vous devez toujours vous assurer que lrsquoeacutevaluation est conccedilue de telle faccedilon que lorsque le processus est termineacute vous pouvez aborder cinq questions drsquoeacutevaluation cleacutes

1 Pertinence Lrsquointervention eacutetait-elle une bonne ideacutee vu la situation et le besoin drsquoameacutelioration A-t-elle reacutepondu aux prioriteacutes de la cible ou du groupe beacuteneacuteficiaire Pourquoi ou pourquoi pas

2 Efficaciteacute Les reacutesultats produits et activiteacutes attendus ont-ils eacuteteacute reacutealiseacutes Pourquoi ou pourquoi pas La logique drsquoIntervention est-elle correcte

3 Efficience Les intrants (ressources et temps) ont-ils eacuteteacute utiliseacutes au mieux pour obtenir les reacutesultats Pourquoi ou pourquoi pas Que pourriez-vous vous et votre eacutequipe faire diffeacuteremment agrave lrsquoavenir pour optimiser les reacutesultats agrave un coucirct acceptable

4 Impact Dans quelle mesure votre intervention a-t-elle contribueacute aux buts agrave long terme ou aux buts agrave lrsquoeacutechelle nationale Quelles conseacutequences involontaires (positives ou neacutegatives) ont eu vos activiteacutes Pourquoi ces conseacutequences se sont-elles produites

5 Peacuterenniteacute Une fois votre intervention termineacutee est-il probable que les reacutesultats positifs perdureront Pourquoi ou pourquoi pas

Un mot de prudence pour finir tout comme le suivi lrsquoeacutevaluation peut ecirctre rendue trop complexe Lorsque vous eacutelaborez un plan drsquoeacutevaluation il serait aviseacute de choisir un petit ensemble drsquoindicateurs cleacutes et de reacutesister agrave lrsquoenvie pressante drsquoeacutevaluer tous les aspects de votre intervention

Tout comme le suivi lrsquoeacutevaluation est utile seulement lorsque lrsquoinformation est renvoyeacutee agrave temps au manager et autres deacutecideurs et parties prenantes Un problegraveme qui est commun aux eacutevaluations agrave mi-parcours est le suivant les reacutesultats reviennent souvent six ou huit mois (ou plus) plus tard ce qui vous laisse uniquement un ou deux ans pour proceacuteder agrave des changements durables avant lrsquoeacutepuisement du financement du donateur ou du gouvernement

CHOISIR VOS SOURCES DE DONNEacuteES

Cette section deacutecrit trois types de sources de donneacutees qui sont couramment utiliseacutees pour lrsquoeacutevaluation donneacutees collecteacutees de faccedilon reacuteguliegravere enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapides y compris lrsquoeacutevaluation participative

Donneacutes de routine On appelle laquo statistiques de service raquo les donneacutees collecteacutees et analyseacutees de faccedilon reacuteguliegravere par un SIS Vous pouvez vous appuyer sur plusieurs systegravemes habituels drsquoinformation de service pour assurer le suivi des services Ils comprennent les SIS de base drsquoenregistrement et de reporting les systegravemes speacuteciaux de reporting de programme (par exemple tuberculose vaccination VIH planification familiale etc) les systegravemes speacuteciaux de reporting des agents communautaires (par exemple dossiers des travailleurs de santeacute communautaire) la surveillance des maladies et lrsquoannonce de la lutte contre la flambeacutee eacutepideacutemique et les systegraveme drsquoinformation de riposte et les rapports pour les systegravemes speacuteciaux de soutien (par exemple meacutedicaments aiguillage et ressources humaines et gestion financiegravere)

Ces systegravemes procurent des donneacutees immeacutediatement utilisables qui sont censeacutees vous informer de ce qui se passe dans le secteur de la santeacute Des exemples de donneacutees de routine sont le nombre de visites preacutenatales dans un dispensaire le nombre et le genre de vaccinations offertes sur place ou le nombre et les cateacutegories de contraceptifs fournis chaque mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 934

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Les donneacutees sur les services sont geacuteneacuteralement recueillies par les centres de santeacute et les postes de santeacute et remonteacutes au niveau supeacuterieur dans le systegraveme (en geacuteneacuteral le district) ougrave elles seront cumuleacutees Ces donneacutees peuvent ainsi ecirctre envoyeacutees au niveau supeacuterieur (reacutegional ou provincial) pour ecirctre agrave nouveau cumuleacutees avant de finalement arriver au niveau central du ministegravere de la santeacute

Dans lrsquoideacuteal les managers des formations sanitaires et au niveau du district utiliseraient ces donneacutees pour orienter les opeacuterations quotidiennes suivre les performances la responsabilisation et prendre des deacutecisions ameacuteliorant constamment les performances Mais de nombreuses entraves existent

Trop souvent les donneacutees de routine sont inexactes ou incomplegravetes Bien que les utilisateurs du SIS tentent de produire une information de grande qualiteacute en temps voulu les possibiliteacutes drsquoerreur abondent Il se peut que les managers et leurs effectifs beacuteneacuteficient drsquoun appui insuffisant pour se concentrer sur des proceacutedures de collecte drsquoenregistrement et de cumulation correcte des donneacutees

Les systegravemes de santeacute de nombreux pays mettent lrsquoaccent sur lrsquoimportance de la soumission de rapports aux niveaux supeacuterieurs mais ils nrsquoont pas eacutelaboreacute de proceacutedure ni mis en place des incitations qui encourageraient ceux qui procurent lrsquoinformation agrave lrsquoutiliser mecircme lorsque ces donneacutees sont de bonne qualiteacute

Autre inconveacutenient les statistiques de service ne procurent des informations que sur les personnes qui font usage des services de santeacute Elles ne peuvent fournir drsquoinformation sur les nombreuses personnes qui ne recourent pas agrave ces services

Crsquoest pourquoi vous ne pouvez pas vous fier uniquement aux statistiques de service pour proceacuteder agrave une eacutevaluation Les statistiques de service sont plus adapteacutees au suivi reacutegulier des problegravemes de santeacute publique et aux services essentiels connexes

Enquecirctes agrave grande eacutechelle Les enquecirctes agrave grande eacutechelle constituent une autre source drsquoinformations facilement accessible Il srsquoagit drsquoenquecirctes deacutemographiques telles que les Enquecirctes deacutemographiques et de santeacute (DHS) drsquoeacutevaluations exhaustives de formations sanitaires telles que lrsquoAnalyse de situation du Population Council et le recensement national Dans de nombreux cas les managers peuvent utiliser les donneacutees drsquoune enquecircte agrave grande eacutechelle existante pour procurer une toile de fonds agrave lrsquointerpreacutetation de donneacutees obtenues via leurs propres eacutevaluations

Par exemple les enquecirctes deacutemographiques et de santeacute sont reacutepeacuteteacute peacuteriodiquement afin de caracteacuteriser dans un pays ou dans une vaste zone geacuteographique la situation sanitaire de nombreuses sous-cateacutegories deacutemographiques hommes femmes enfants enfants en bas-acircge etc Mais leurs donneacutees ne peuvent geacuteneacuteralement ecirctre deacutesagreacutegeacutees pour ecirctre utiliseacutees par les managers de district ou communautaires

Qui plus est eacutetant donneacute que ces enquecirctes ne sont meneacutees que tous les trois ou cinq ans lrsquoinformation qursquoelles contiennent peut ne pas ecirctre suffisamment agrave jour pour les besoins drsquoeacutevaluation des managers Malgreacute ces inconveacutenients les donneacutees des enquecirctes DHS sont utiles agrave la compreacutehension des tendances nationales ou reacutegionales susceptibles drsquoexpliquer les donneacutees recueillies lors drsquoune eacutevaluation cibleacutee

Eacutevaluation rapide Ce sont des moyens rapides et eacuteconomiques drsquoobtenir des informations utiles aux prises de deacutecision notamment au niveau des activiteacutes Par exemple des entretiens avec les clients agrave la sortie drsquoune formation sanitaire eacutevaluations de formations sanitaires agrave petite-eacutechelle enquecirctes rapides sur eacutechantillons examen de dossiers entretiens avec des groupes de discussion et autres meacutethodes participatives

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 935

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Vous pouvez utiliser des techniques drsquoeacutevaluation rapides pour compleacuteter lrsquoinformation obtenue des donneacutees de routine ou des enquecirctes agrave grande eacutechelle Les eacutevaluations rapides peuvent vous fournir des informations utiles sur votre zone desservie et votre zone de responsabiliteacute agrave savoir les communauteacutes et les populations supposeacutees avoir accegraves aux services essentiels fournis par une formation sanitaire donneacutee Elles peuvent aussi vous fournir un contexte et une compreacutehension qualitative des donneacutees quantitatives recueillies par des meacutethodes plus officielles

Dans la cateacutegorie des eacutevaluations rapides les meacutethodes participatives et les enquecirctes rapides drsquoeacutechantillons meacuteritent votre attention

Meacutethodes participatives (eacutegalement connues sous le nom drsquoapprentissage et action participative) Ces techniques et meacutethodes visent agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute dans les planification et la gestion des projets de deacuteveloppement le plaidoyer pour les politiques publiques et la mise en œuvre des programmes Elles permettent drsquoinclure les voix de la communauteacute aux politiques publiques agrave la planification agrave la recherche et de susciter un sentiment drsquoappropriation des reacutesultats du SampE et drsquoengendrer des recommandations eacutemanant des beacuteneacuteficiaires et de lrsquoorganisation

Agrave la diffeacuterence drsquoautres techniques drsquoeacutevaluation rapide les meacutethodes participatives ne srsquoappuient pas sur des eacutechantillons Elles sont fondeacutees sur des entretiens avec des particuliers et des informateurs cleacutes (y compris les entretiens avec les clients agrave la sortie de la formation sanitaire) des entretiens en groupes des eacutetudes de cas et autres approches qualitatives visant agrave deacuteterminer les conditions locales et agrave comprendre les perspectives et les prioriteacutes locales

Dans bien des lieux les membres de la communauteacute ne savent ni lire ni eacutecrire donc les meacutethodes participatives reposent souvent sur la communication orale appuyeacutee par des dessins des symboles des objets physiques et la meacutemoire de groupe

Les meacutethodes participatives peuvent ecirctre employeacutees avant pendant et apregraves la mise en œuvre drsquoune intervention ou drsquoun ensemble drsquoactiviteacutes Elles procurent des informations pour la conception et lrsquoeacutevaluation et permettent la participation active des parties prenantes aux prises de deacutecisions Lors de la mise en œuvre les meacutethodes participatives constituent une approche utile au repeacuterage des problegravemes et agrave leur reacutesolution

Nous vous recommandons de profiter drsquoun listing de ressources en ligne sur la recherche qualitative et les directives sur les entretiens avec des groupes de discussion dans le Boite agrave outils communautaire de lrsquoUniversiteacute du Kansas (lien en anglais)

Enquecirctes rapides sur eacutechantillons Ces enquecirctes peuvent servir agrave recueillir des informations standardiseacutees aupregraves drsquoun eacutechantillon reacuteduit de personnes ou de meacutenages choisis avec soin dans une zone beacuteneacuteficiaire Ces enquecirctes peuvent deacutecrire les conditions dans une communauteacute ou un groupe cible preacutecis et permettre de comparer divers groupes agrave un moment donneacute ou encore des changements au fil du temps dans un mecircme groupe Ils permettent aussi de comparer les conditions reacuteelles aux reacutesultats planifieacutes

Parmi les enquecirctes sur petit eacutechantillon lrsquoune des plus courantes est lrsquoenquecircte sur les connaissances les attitudes et les pratiques (CAP) qui est baseacutee sur un eacutechantillon de 30 groupes

Eacutechantillonnage pour assurance qualiteacute par lot (EAQL ou Lot Quality Assurance Sampling LQAS en Anglais) Il srsquoagit drsquoune autre technique drsquoeacutevaluation rapide qui est de plus en plus largement employeacutee en santeacute publique Cette meacutethode EAQL utilise de tregraves petits eacutechantillons pour obtenir une information fiable sur une zone geacuteographique ou une uniteacute administrative reacuteduite La meacutethode EAQL peut servir agrave deacutetecter avec preacutecision les extrecircmes

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 936

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

TABLEAU 7 Preacutesentation de trois sources courantes de donneacutees pour une eacutevaluation

Source des donneacutees Avantages Limites

Statistiques de service Les donneacutees sur lrsquoensemble de la clientegravele et les services cliniques recueillies reacuteguliegraverement dans les registres clients et les dossiers cliniques

Immeacutediatement disponibles

Couvrent tous types de services de santeacute et toutes les reacutegions drsquoun pays

Peuvent ecirctre ventileacutees au niveau des districts et au niveau local

Drsquousage peu coucircteux

Ne concernent que les clients actuels aucune information sur les personnes qui ne font pas usage des services de santeacute mais qui pourraient le faire

Aucune information sur les valeurs les perceptions ou les comportements de la communauteacute

Ne tiennent pas compte des personnes qui se procurent des services aupregraves de sources priveacutees

Peuvent srsquoaveacuterer inexactes lorsque les services nrsquoenregistrent pas les donneacutees de faccedilon preacutecise lisible et agrave temps

Enquecirctes agrave grande eacutechelle Enquecirctes sur une base deacutemographique et eacutevaluations agrave grande eacutechelle des installations

Donneacutees pertinentes preacutecises et fiables

Peuvent mesurer les tendances nationales de santeacute identifier les domaines qui posent problegraveme et contribuer agrave cibler les ressources du pays sur les domaines de plus grande neacutecessiteacute

Produisent des moyennes pour les zones rurales et urbaines les reacutegions et les provinces

Offrent un contexte drsquointerpreacutetation des donneacutees recueillies localement

Peuvent produire des informations suppleacutementaires agrave partir de leurs ensembles de donneacutees informatiseacutees

En geacuteneacuteral il nrsquoest pas possible de ventiler les donneacutees pour procurer des moyennes dans les zones des sous-reacutegions (districts ou municipaliteacutes)

En geacuteneacuteral ne sont pas recueillies tous les ans rapidement les donneacutees ne sont plus agrave jour lorsque les conditions deacutemographiques ou sanitaires changent rapidement

Eacutevaluations rapides Meacutethodes cibleacutees pour eacutevaluer les besoins locaux et prendre des deacutecisions locales

Rapides et peu coucircteuses

Megravenent agrave lrsquoaction agrave lrsquoeacutechelle locale

Des directives existent pour aider les managers dans nombre de ces techniques

Donnent aux managers le pouvoir de recueillir les donneacutees dont ils ont besoin

Les sondages aupregraves des foyers (par exemple EAQL ou CAP) peuvent ecirctre suffisamment preacutecis pour les besoins des eacutevaluations

Eacutequilibrent le besoin de reacutesultats repreacutesentatifs et objectifs avec celui drsquoutiliser des conceptions leacutegegraverement moins rigoureuses qui sont plus reacutealisables dans les localiteacutes

Produisent des reacutesultats dans les temps et agrave bas prix tout en ayant une porteacutee et une eacutechelle reacuteduites

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 937

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

dans la performance en vue de deacuteterminer si une intervention a deacutepasseacute le plafond de performance ou a eacutechoueacute agrave atteindre le plancher de performance en termes de qualiteacute ou de couverture Les eacutechantillons par lot peuvent aussi ecirctre combineacutes pour produire des estimations de couverture dans une zone geacuteographique plus vaste

En tant que manager vous devriez examiner toutes les sources de donneacutees existantes avant de planifier votre eacutevaluation Le Tableau 7 illustre les avantages et les inconveacutenients des trois principales sources de donneacutees abordeacutees plus haut statistiques de service de routine enquecirctes agrave grande eacutechelle et techniques drsquoeacutevaluation rapide

Quelle doit ecirctre la qualiteacute des donneacutees de SIS pour ecirctre utiles dans quelle mesure doivent-elles ecirctre exhaustives exactes et dans les deacutelais Pour vos besoins de gestion des donneacutees qui sont quelque peu imparfaites peuvent srsquoaveacuterer suffisantes pour avoir un impact puissant comme lrsquoillustre cet exemple de Madagascar

Utilisation et ameacutelioration des donneacutees SIS imparfaites ndash Exemple de Madagascar

Un SIS communautaire plus opportun et preacutecis Agrave Madagascar un projet a adopteacute une approche communautaire pour accroicirctre lrsquoutilisation des meacutethodes de planification familiale appeleacutee laquo Communes Champion raquo dans 50 des 110 districts du pays Cette approche srsquoest baseacutee exclusivement sur les donneacutees SIS pour le suivi strateacutegique et lrsquoeacutevaluation des reacutealisations chez les communes participantes

Drsquoabord une reacutefeacuterence a eacuteteacute eacutetablie pour chaque commune agrave lrsquoaide des donneacutees issues du centre de santeacute de la commune en question Ensuite les repreacutesentants de personnel de centre de santeacute et de la communauteacute ont identifieacute des objectifs pour 10 indicateurs permettant de deacuteterminer si une commune avait atteint le statut de championne apregraves 12 mois de mise en œuvre Chaque commune suivait ses propres progregraves lors drsquoune reacuteunion de controcircle trimestrielle

Au bout des 12 mois le personnel du projet est retourneacute dans chaque commune pour eacutevaluer les reacutesultats Ils ont examineacute les donneacutees du rapport de suivi de routine de chaque centre de santeacute pour chaque indicateur Ils ont eacutegalement preacutepareacute un rapport sur les donneacutees de chaque commune et lrsquoont envoyeacute au superviseur de district pour validation en fonction des dossiers informatiseacutes du district Les sources de donneacutees des rapports des centres de santeacute et les dossiers des districts eacutetaient les mecircmes (registres des centres de santeacute) donc il y avait rarement des incoheacuterences Mais lrsquoideacutee eacutetait drsquoimpliquer le superviseur de district dans lrsquoexamen des donneacutees des centres de santeacute et de montrer la pertinence de lrsquoutilisation de donneacutees simples mecircme agrave ce niveau

Le projet a eacutegalement collaboreacute avec le ministegravere de la Santeacute au niveau du district pour ameacuteliorer la preacutecision lrsquoexhaustiviteacute et lrsquoopportuniteacute du SIS Les efforts eacutetaient axeacutes sur lrsquoobtention de donneacutees plus complegravetes aupregraves des centres de santeacute et la reacuteduction du temps de traitement du bureau de santeacute du district agrave savoir le temps neacutecessaire pour recevoir le rapport du centre de santeacute lrsquoexaminer le retourner au centre de santeacute pour correction le reacutecupeacuterer saisir les donneacutees dans le systegraveme et envoyer les donneacutees au niveau central Les districts eacutetaient chargeacutes de travailler avec les centres de santeacute pour ameacuteliorer lrsquoenregistrement des donneacutees et mettre agrave niveau leurs propres techniques de traitement des donneacutees

Apregraves deux ans drsquoassistance technique le SIS srsquoeacutetait effectivement ameacutelioreacute selon les indicateurs de preacutecision drsquoachegravevement et de rapiditeacute Crsquoest au niveau de la rapiditeacute que lrsquoon a constateacute les ameacuteliorations les plus importantes le deacutelai de traitement eacutetant passeacute de 12 mois agrave 3 mois

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 938

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Donneacutees de SIS points forts et limites

La sous-estimation de la valeur et de lrsquoutiliteacute du SIS est une tendance regrettable Srsquoil est vrai que le systegraveme SIS est souvent deacuteficient il a pourtant souvent du potentiel Comme nous le voyons agrave Madagascar le projet Communes championnes a nettement ameacutelioreacute le systegraveme sur deux ans Dans ce cas le systegraveme eacutetait suffisamment fonctionnel les projets anteacuterieurs ayant investi dans une grande initiative pour mettre le systegraveme en place et le rendre

(suite)

Pas parfaites mais toujours preacutecieuses Cependant le projet a deacutetermineacute que le Taux de Prevalance contraceptive (TPC) avait atteint un niveau suffisant pour suivre les performances des communauteacutes participant agrave lrsquoapproche Communes championnes

Le personnel du projet a eacutegalement compleacuteteacute les comparaisons des TPC avec celles des valeurs du numeacuterateur de simples chiffres qui avaient un sens aux yeux du personnel des centres de santeacute et des communauteacutes

Au niveau central lrsquoon a commenceacute agrave organiser des ateliers reacutegionaux trimestriels pour diffuser les reacutesultats agrave lrsquoeacutechelle du district Ensemble les managers aux niveaux central reacutegional et de district ont analyseacute les progregraves et ont eacutevalueacute les districts sur la base de leurs performances Ils ont fait appel agrave lrsquoanalyse des causes profondes un processus pour identifier les causes sous-jacentes drsquoun problegraveme pour comprendre les obstacles auxquels sont confronteacutes les moins performants (Voir lrsquoAnnexe A du Chapitre 2 de ce guide pour plus drsquoinformations sur lrsquoanalyse des causes profondes) Ensuite le ministegravere de la Santeacute a mobiliseacute le soutien des bailleurs de fonds et des organisations partenaires pour faciliter lrsquoameacutelioration

Le ministegravere a commenceacute agrave utiliser les informations sanitaire pour bien geacuterer le systegraveme de santeacute Avant cette intervention peu drsquoorganisations avaient confiance en ces donneacutees ou les utilisaient Toutefois degraves que le systegraveme srsquoest reacuteveacuteleacute clairement fonctionnel les donateurs y ont cru les organisations partenaires lrsquoont utiliseacute et le ministegravere en eacutetait fier Pour la premiegravere fois ils avaient une ideacutee claire de ce qui se passait dans le pays et ils pouvaient utiliser ces informations pour plaider en faveur drsquoun appui des donateurs en cas de besoin

De mecircme les centres de santeacute avaient rarement utiliseacute leurs propres donneacutees Ils avaient simplement rempli les registres puis les avaient envoyeacutes au bureau de district sans jamais recevoir de commentaires en retour Une fois le projet termineacute ils ont vu comment des donneacutees plus preacutecises pourraient ecirctre utiliseacutees agrave leur avantage et pour celui de leurs communauteacutes

Les districts fonctionnaient eacutegalement sans eacuteleacutements drsquoinformation Chaque district nrsquoavait compteacute que sur ses propres donneacutees et fonctionnait dans le vide Les changements dans le SIS et lrsquoencouragement du gouvernement central ont permis aux districts de comparer leur travail et drsquoapprendre les uns des autres

Apprendre des donneacutees plus preacutecises plus complegravetes et plus opportunes Les donneacutees sont souvent utiliseacutees pour effectuer des comparaisons mais elles sont moins souvent utiliseacutees comme outil drsquoapprentissage Dans ce cas preacutecis lorsque les rapports arrivaient agrave temps le ministegravere de la Santeacute utilisait les donneacutees y compris les moins preacutecises pour identifier les districts qui eacutetaient moins performants et ceux qui surpassaient les autres Ils ont appris des meilleurs districts en posant les questions suivantes Pourquoi leurs reacutesultats eacutetaient-ils si eacuteleveacutes Que faisaient-ils diffeacuteremment Que pourrait-on reproduire Ils ont ensuite appliqueacute ce qursquoils ont appris en utilisant ces districts comme modegraveles et en apportant un soutien aux districts moins performants

Le systegraveme de santeacute tout entier est devenu enthousiaste au sujet des informations qursquoil pouvait produire et utiliser Partant des sphegraveres supeacuterieures cet enthousiasme srsquoest reacutepandu jusqursquoaux niveaux infeacuterieurs pour inciter les acteurs agrave ameacuteliorer leur meacutethode de collecte et de traitement des donneacutees

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 939

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

fondamentalement solide En ameacuteliorant la gestion du systegraveme et lrsquoutilisation des donneacutees le projet le plus reacutecent a reacuteussi agrave obtenir des reacutesultats importants agrave partir de petits changements

Les donneacutees du SIS ne sont pas exactes agrave 100 pourcent et ne le seront jamais Crsquoest la reacutealiteacute que tous les managers doivent geacuterer Mais les donneacutees nrsquoont pas besoin drsquoecirctre parfaites pour ecirctre utiles Vous pouvez toujours assurer le suivi et geacuterer au moyen de donneacutees imparfaites Lrsquoinformation venue dans les temps et qui est agrave 75 exacte est supeacuterieure agrave une information qui est agrave 95 exacte mais qui arrive avec plusieurs mois de retard

En deacutepit de leur grande valeur les donneacutees du SIS seules ne reacutepondent pas agrave tous les besoins drsquoinformation de nombreuses organisations Certaines organisations et certains donateurs ont besoin de donneacutees exigeant des eacutevaluations ou des systegravemes speacuteciaux En outre de nombreuses interventions sont conccedilues pour changer les connaissances les attitudes et les pratiques des beacuteneacuteficiaires ce que ne reflegravetent pas les donneacutees de service Il est important drsquoutiliser des donneacutees du SIS chaque fois que cela est possible et de les compleacuteter par des eacutevaluations locales en fonction des besoins

En qualiteacute de manager de programmes ou de services de santeacute une partie de votre travail devrait consister agrave ameacuteliorer le SIS dans le pays ougrave vous travaillez Dans la plupart des pays le SIS est le seul systegraveme drsquoinformation peacuterenne Les systegravemes drsquoinformation qui sont creacuteeacutes et entretenus par les donateurs ou des organisations exteacuterieures ont une dureacutee de vie limiteacutee mais le SIS est un eacuteleacutement permanent de votre bilan

Dans lrsquohypothegravese ougrave tous les partenaires et les donateurs œuvrent avec le ministegravere de la santeacute agrave procurer une assistance technique et financiegravere pour le SIS il serait possible de geacuteneacuterer des informations ameacuteliorant grandement les services de santeacute ce qui fait bien plus que justifier lrsquoinvestissement

Pratiques eacuteprouveacutees

Un systegraveme de SampE devrait procurer aux managers ce dont ils ont besoin pour agir Il doit srsquoappuyer sur des indicateurs pertinents drsquousage facile et venant agrave point nommeacute pour la planification et les cycles de reporting

Les reacutesultats de SampE ne sont pas reacuteserveacutes aux effectifs de SampE de votre organisation ou agrave votre donateur Lrsquoinformation de SampE est une ressource essentielle pour lrsquoaction et lrsquoapprentissage Si votre processus de SampE dispose de meacutecanismes de retour drsquoinformation permettant aux deacutecideurs de reacutefleacutechir sur ses conclusions et drsquoabsorber ce dont ils ont besoin pour leurs propres objectifs il srsquoapproprieront le processus et utiliseront ses produits

Si vous concevez votre SampE au deacutebut drsquoune intervention ou drsquoun projet en mecircme temps que le plan drsquoaction du projet vous serez plus en mesure drsquoorienter et de suivre la mise en œuvre des activiteacutes

Les plans de SampE qui sont trop complexes et eacutelaboreacutes ne sont pas utiliseacutes Eacutelaborez un plan simple choisissez des outils de suivi conviviaux et seacutelectionnez le plus petit nombre drsquoindicateurs pour suivre les progregraves et proceacuteder au fur et agrave mesure aux changements neacutecessaires

Le renforcement drsquoun SIS exige de travailler avec les personnes concerneacutees les proprieacutetaires du systegraveme qui enregistrent transfegraverent analysent communiquent et utilisent les donneacutees et lrsquoinformation pour geacuterer des services

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 940

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

Lorsque vous procurez des donneacutees de SIS aux deacutecideurs il faut tenir compte du fait que les freacutequences de reporting et les volumes de donneacutees cumuleacutees et deacutesagreacutegeacutes requises par les divers niveaux de gouvernement ou par les organisations non-gouvernementales diffegraverent

Le suivi de routine vous procure agrave vous qui ecirctes manager les informations dont vous avez besoin pour suivre les progregraves reacutealiseacutes par rapport agrave votre but et exploiter votre uniteacute avec efficaciteacute Il vous permet de deacutetecter un problegraveme et de proceacuteder agrave un changement rapide Une eacutevaluation ne peut vous procurer ce genre drsquoinformation

Dans de nombreux cas des donneacutees venues agrave point nommeacute mais imparfaite sont suffisantes pour satisfaire les besoins fondamentaux de la gestion

Soutenez les effectifs de formation sanitaire en utilisant rapidement les donneacutees disponibles pour suivre et geacuterer les services mecircme si ces donneacutees sont de mauvaise qualiteacute Srsquoils utilisent reacuteguliegraverement les donneacutees qursquoils recueillent ces employeacutes comprendront lrsquoimportance de donneacutees de qualiteacute Ils seront ensuite plus enclins agrave faire les deacutemarches qui srsquoimposent pour ameacuteliorer la collecte de donneacutees son traitement et produire des donneacutees plus complegravetes et plus fiables

Vous pouvez utiliser les statistiques de service ou recueillir des donneacutees particuliegraveres agrave la zone desservie et compleacuteter ces donneacutees par drsquoautres approches (comme par exemple des outils drsquoeacutevaluation rapide) pour obtenir des informations suppleacutementaires sur vos plus vastes zones de responsabiliteacute

Glossaire des termes de SampE

buts Reacutesultats agrave long terme de lrsquoorganisation ou agrave lrsquoeacutechelle nationale auxquels lrsquointervention est supposeacutee mener

cadre conceptuel Diagramme illustrant un ensemble de liens theacuteoriques entre des activiteacutes et divers autres facteurs qui croit-on megravenent aux produits et aux reacutesultats voulus Agrave la diffeacuterence du LogFrame le cadre conceptuel ne srsquoappuie pas sur lrsquohypothegravese drsquoune relation simple de causaliteacute lineacuteaire entre les intrants les produits et les reacutesultats

cadre logique Un outil de gestion utilisant une matrice pour reacutesumer les objectifs de projet les liens de causaliteacute dans la chaicircne des reacutesultats (intrants rarr processus (activiteacute) rarr produits rarr reacutesultats rarr impact) les hypothegraveses cleacutes et comment les produits et les reacutesultats seront suivis et eacutevalueacutes Eacutegalement connus sous le nom de LogFrame or ou de modegravele logique

chaicircne de reacutesultats La relation seacutequentielle et de causaliteacute entre les niveaux de reacutesultats deacutecrits dans le cadre logique (intrants activiteacutes produits reacutesultats et impact)

critegraveres SMART Ensemble de cinq normes servant agrave veacuterifier qursquoun reacutesultat ou un objectif est deacuteveloppeacute en termes mesurables Les critegraveres sont les suivants speacutecifique mesurable approprieacute reacutealiste et deacutelimiteacute dans le temps

donneacutees brutes Information que vous recueillez vous-mecircme par exemple gracircce agrave une technique drsquoeacutevaluation rapide ou agrave un entretien avec un informateur cleacute agrave partir en vous servant drsquoun guide structureacute

donneacutees de routine Information sur la prestation de services de santeacute collecteacutee de faccedilon reacuteguliegravere par le biais du systegraveme drsquoinformation de la santeacute Eacutegalement connu sous le nom de statistiques de service

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 941

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

donneacutees initiales Donneacutees collecteacutees pendant les eacutetapes initiales du projet avant de commencer les activiteacutes Les donneacutees initiales deacuteterminent le point de deacutepart agrave partir duquel vous pouvez eacutevaluer les progregraves par rapport aux reacutesultats escompteacutes

donneacutees secondaires Information de sources existantes (telles que donneacutees de routine recensement ou Enquecircte deacutemographique et de santeacute) contrairement aux donneacutees brutes que lrsquoon recueille soi-mecircme

eacutevaluation On voit dans quelle mesure les reacutesultat ont eacuteteacute obtenus Lrsquoobjet de lrsquoeacutevaluation est de comprendre pourquoi les reacutesultats ont eacuteteacute obtenus ou non Lrsquoeacutevaluation srsquoappuie geacuteneacuteralement sur le suivi de routine combineacute aux mesures des produits et de lrsquoimpact

eacutevaluation formative Elle est utile pour orienter la conception et la mise en œuvre drsquoun programme ou drsquoune intervention Elle sert agrave srsquoassurer que les activiteacutes comprennent les pratiques les laquo meilleures raquo ou laquo les plus prometteuses raquo pour accroicirctre les chances de reacuteussite Elle comprend lrsquoeacutevaluation des besoins et du processus

eacutevaluation participative Techniques et meacutethodes visant agrave inteacutegrer les connaissances et les opinions des membres de la communauteacute agrave la planification et la mise en œuvre des programmes de santeacute Eacutegalement connu sous le nom drsquoapprentissage et action participatifs

eacutevaluation rapide Moyens rapides et peu coucircteux de geacuteneacuterer des informations en vue de prendre des deacutecisions notamment agrave lrsquoeacutechelle des activiteacutes Par exemple entretiens avec des clients agrave la sortie de formations sanitaires eacutevaluations des formations sanitaires agrave petite eacutechelle enquecirctes rapides sur eacutechantillon entretiens avec groupes de discussion autres meacutethodes participatives

eacutevaluation sommative Une eacutevaluation meneacutee pour mesurer la qualiteacute de performance et lrsquoobtention des reacutesultats cleacutes une fois lrsquointervention ou lrsquoensemble des activiteacutes termineacutes Les eacutevaluations sommatives comprennent lrsquoeacutevaluation des reacutesultats de lrsquoimpact du coucirct-efficaciteacute et de la recherche opeacuterationnelle

impact Changement agrave long terme dans lrsquoeacutetat de santeacute de la population en geacuteneacuteral le reacutesultat combineacute de plusieurs programmes au fil du temps (par exemple taux de feacuteconditeacute totale taux de morbiditeacute et de mortaliteacute maternelle)

indicateur Un facteur quantitatif ou qualitatif associeacute agrave lrsquoeacutevaluation du changement ou de la performance drsquoune activiteacute speacutecifique Un marqueur de changement au fil du temps

indicateur substitutif Une mesure indirecte qui repreacutesente ou se rapproche drsquoune cible ou drsquoun reacutesultat lorsque lrsquoinformation directe nrsquoest pas accessible Par exemple anneacutees-couple de protection est un indicateur substitutif courant pour la planification familiale lorsque les donneacutees sur la preacutevalence des contraceptifs ne sont pas disponibles

intrants Les ressources neacutecessaires pour parvenir au reacutesultat escompteacute (par exemple financier humain fournitures produits formations sanitaires)

niveaux de reacutesultats Les divers stades de reacutesultats deacutecrits dans la chaicircne de reacutesultats

plan de suivi et drsquoeacutevaluation (SampE) Deacutecrit quels indicateurs seront mesureacutes comment ils le seront quand et par qui Un plan de SampE aide les managers agrave choisir des indicateurs fiables et agrave les mesurer de faccedilon organiseacutee

processus Les activiteacutes meneacutees agrave bien par lrsquointermeacutediaire de votre plan de mise en œuvre (par exemple procurer de nouvelles meacutethodes de contraception eacutelaborer un cursus former des prestataires de service)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 942

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

produit Le produit immeacutediat ou direct des activiteacutes (par exemple nombre de personnes formeacutees nombre de nouveaux utilisateurs de la planification familiale nombre de produits distribueacutes)

reacutesultats Changements agrave court terme dans une population beacuteneacuteficiaire reacutesultant drsquoun ensemble drsquoactiviteacutes

reacutesultats La reacutealisation logique escompteacutee que lrsquoon peut mesurer suite agrave la mise en œuvre drsquoun programme ou drsquoun service

sources des donneacutees Lrsquoorigine de lrsquoinformation concernant un indicateur Chaque indicateur dispose de sa propre source de donneacutees Les sources de donneacutees courantes sont les statistiques de services les dossiers de lrsquoorganisation les clients et la communauteacute

suivi Suivre peacuteriodiquement lrsquoeacutevolution des indicateurs au fil du temps pour mesurer les progregraves par rapport aux reacutesultats en recueillant des informations sur les intrants les processus et les produits

suivi du processus Choix et suivi des intrants et des produits des activiteacutes par exemple qui a eacuteteacute formeacute sur quel thegraveme et agrave quelle freacutequence Le suivi de processus ne suit pas les progregraves par rapport aux buts Il suit simplement lrsquoachegravevement de lrsquoactiviteacute

Systegraveme drsquoinformation de la santeacute (SIS) Se rapporte geacuteneacuteralement aux divers sous- systegravemes qui fournissent une information de routine neacutecessaire agrave la gestion des services de santeacute Parfois eacutegalement appeleacute systegraveme drsquoinformation de gestion de la santeacute SIGS) ou systegraveme drsquoinformation de gestion (SIG)

tableau de bord de performance Un affichage visuel drsquoune page contenant les informations les plus importantes pour la gestion drsquoun projet

Zone desservie La zone agrave partir de laquelle les clients vont attireacutes vers les centres de prestations de services

Reacutefeacuterences et ressources

INFORMATION POUR LA GESTION DES SERVICES DE SANTEacute

Bertrand Jane T Robert J Magnani et Naomi Rutenberg Evaluating Family Planning Programs with Adaptations for Reproductive Health Chapel Hill NC The EVALUATION Project 1996 httpwwwcpcuncedumeasurepublicationspdfms-96-03pdf (consulteacute le 22 janvier 2010)

Management Sciences for Health ldquoUsing Evaluation as a Management Toolrdquo The Manager (Boston) vol 6 no1 1997 disponible sur httpercmshorgmainpagecfmfile=231htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoInformation for Health Management The MSH Approachrdquo 2005 disponible sur httpercmshorgmainpagecfmfile=10htmampmodule=infoamplanguage=English (consulteacute le 22 janvier 2010)

Organisation mondiale de la santeacute et Carleton University ldquoData Collection Methodsrdquo Module 8 de la International Program for Development Evaluation Training Ottawa IPDET

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 943

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Organisation mondiale de la santeacute Everybodyrsquos Business Strengthening Health Systems to Improve Health Outcomes WHOrsquos Framework for Action Genegraveve Organisation mondiale de la santeacute 2007 httpwwwwhointhealthsystemsstrategyeverybodys_businesspdf (consulteacute le 7 mars 2014)

Patton Michael Quinn Qualitative Evaluation and Research Methods Newbury Park CA Sage Publications 1990

Rossi Peter H Howard E Freeman et Mark Lipsey Evaluation A Systematic Approach Thousand Oaks CA Sage Publications 1999

Shaw Vincent ldquoHealth Information System Reform in South Africa Developing an Essential Data Setrdquo Bulletin of the World Health Organization vol 83 no 8 pp 632ndash36 2005 httpwwwscielosporgscielophpscript=sci_arttextamppid =S0042-96862005000800018amplng=enampnrm=iso (consulteacute le 22 janvier 2010)

UNAIDS Organisation mondiale de la santeacute e MEASURE Evaluation National AIDS Pro-grammes A Guide to Monitoring and Evaluation Chapel Hill NC Carolina Population Center 2000 httpwwwwhointhivpubepidemiologyenJC427-Mon_Ev-Full _enpdf (consulteacute le 22 janvier 2010)

SUIVI POUR LrsquoACTION

International Training and Education Center on HIV ldquoIllustrative Monitoring and Evaluation Plans for a Clinical Mentoring Program I-TECH Clinical Mentoring Toolkit httpwwwgo2itechorgHTMLCM08toolkitprogramsprintmanagingIllus_ME _Plan_CMdoc (consulteacute le 27 janvier 2010)

Launiala Annika ldquoHow Much Can a KAP Survey Tell Us about Peoplersquos Knowledge Atti-tudes and Practices Some Observations from Medical Anthropology Research on Malaria in Pregnancy in Malawirdquo Anthropology Matters Journal vol 11 no 1 2009 httpwwwanthropologymatterscomindexphpjournal=anth_mattersamppage=articleampop=viewArticleamppath[]=31amppath[]=53 (consulteacute le 1er avril 2010)

Management Sciences for Health ldquoUsing Service Data Tools for Taking Actionrdquo The Family Planning Manager (Boston) vol 1 no 2 1992 httpwwwmshorgresource-centerusing-service-data-tools-for-taking-actioncfm (consulteacute le 26 janvier 2010)

mdashmdashmdashmdash ldquoConducting Local Rapid Assessments in Districts and Communitiesrdquo The Manager (Boston) vol 7 no 1 1998 httpwwwmshorgresource-centerconducting -local-rapid-assessments-in-districts-and-communitiescfm (consulteacute le 27 janvier 2010)

mdashmdashmdashmdash ldquoUse of Datardquo On the Electronic Resource Center non dateacutee httpercmshorgmainpagecfmfile=220htmampmodule=infoamplanguage=English (consulteacute le 27 janvier 2010)

Organisation mondiale de la santeacute Outils et ressources sur les systegravemes drsquoinformation pour les managers sur le terrain disponible sur httpwwwwhointmanagementresourcesin-formationen (consulteacute le 6 mars 2014)

mdashmdashmdashmdash Outils et ressources sur les techniques de SampE pour les managers de district et hauts-cadres sur le site Web de lrsquoOMS httpwwwwhointmanagementdistrictmonitor-ing_evaluationenindexhtml (consulteacute le 27 janvier 2010)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 944

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

OUTILS PRATIQUES DE SampE ET APPROCHES

Agence des Eacutetats-Unis pour le deacuteveloppement international Monitoring and Evaluation (MampE) Fundamentals Cours sur le Centre drsquoapprentissage en ligne pour la santeacute mondiale de lrsquoUSAID httpglobalhealthlearning orglogincfm (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash Performance Monitoring and Evaluation TIPS on MampE practices Nos 2 (Conduct-ing Key Informant Interviews) 4 (Using Direct Observation Techniques) 5 (Using Rapid Appraisal Methods) et 10 (Conducting Focus Group Interviews) tout 1996 (consulteacute le 6 mars 2014)

Aubel Judi ldquoParticipatory Program Evaluation Manual Involving Program Stakeholders in the Evaluation Processrdquo Calverton MD ORC Macro 1999 httpwwwidrccauploadsuser-S10504133390Participatory_Program_Evaluation_Manualpdf (consulteacute le 18 novembre 2009)

Bertrand Jane T and Gabriela Escudero Compendium of Indicators for Evaluating Reproduc-tive Health Programs Measure Evaluation Manual Series vol 1 no 6 2002 httpwwwcpcuncedumeasurepublicationshtmlms-02-06html (consulteacute le 22 janvier 2010)

Colindres Heacutector ldquoUsing Performance Dashboards to Monitor Organizational Achieve-mentsrdquo Boston Management Sciences for Health httpglobalexchangemshorgassetsglobalexchangefilesUsing20Performance20Dashboards20to20Monitor 20Organizational20Achievementspdf (consulteacute le 22 janvier 2010)

Guijt Irene and John Gaventa ldquoParticipatory Monitoring and Evaluation Learning from Changerdquo IDS Policy Briefing Issue 12 (November 1998) Brighton UK Institute of Development Studies University of Sussex 1998 httpwwwidsacukindex cfmobjectid=01D512C5-5056-8171-7BA528050E140ED9 (consulteacute le 22 janvier 2010)

Lippeveld Theo Rainer Sauerborn and Claude Bodart Design and Implementation of Health Information Systems Genegraveve Organisation mondiale de la santeacute 2000

Management Sciences for Health (MSH) ldquoMenu of Indicators on Management and Leadership Capacity Developmentrdquo 2006 disponible sur httpercmshorgtoolkitTool cfmlang=1ampCID=11ampTID=156 (consulteacute le 22 janvier 2010)

mdashmdashmdashmdash ldquoFrom Vision to Action A Course on Monitoring and Evaluation for Facilitators of Leadership Development Programsrdquo Cambridge MA Management Sciences for Health 2007 httpleadernetmshorgpagecfmc1=90ampnav=58 (consulteacute le 22 janvier 2010) Vous devez vous inscrire sur LeaderNet pour accceacuteder au cours lrsquoinscription est gratuite

Marsh David R Juan Carlos Alegre and Karen Z Waltensperger ldquoA Results Framework Serves Both Program Design and Delivery Sciencerdquo Journal of Nutrition 138 630ndash633 2008 httpjnnutritionorgcgicontentfull1383630 (consulteacute le 22 janvier 2010)

Patton Michael Quinn Utilization-Focused Evaluation The New Century Text Newbury Park CA Sage Publications 1997 215ndash38

Sapsford R Survey Research Newbury Park CA Sage Publications 1999

Sartorius Rolf H ldquoThe Logical Framework Approach to Project Design and Managementrdquo In Evaluation Practice 1991 vol 12 no 2 139ndash47

W K Kellogg Foundation ldquoLogic Model Development Guiderdquo Battle Creek MI Kellogg Foundation 2004 httpwwwwkkforgresource-directoryresource200602wk-kellogg-foundation-logic-model-development-guide (consulteacute le 7 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 945

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

EacuteVALUATION POUR LrsquoAPPRENTISSAGE

Donabedian Avedis The Definition of Quality and Approaches to Its Assessment Ann Arbor Michigan Health Administration Press 1980

Management Sciences for Health ldquoManaging and Using Informationrdquo In The Family Planning Managerrsquos Handbook Cambridge MA Management Sciences for Health 1991 httpercmshorgmainpagecfmfile=226htmampmodule=infoamplanguage=English (consulteacute le 13 janvier 2010)

Organisation mondiale de la santeacute ldquoHealth Programme Evaluation Guiding Principles for its Application in the Managerial Process for National Health Developmentrdquo Genegraveve Orga-nisation mondiale de la santeacute 1981

mdashmdashmdashmdash ldquoA common framework for monitoring performance and evaluation of the scale-up for better healthrdquo Genegraveve Organisation mondiale de la santeacute 2008 httpwwwwhointhealthsystemsIHP_MampE_briefing_30_Jan_2008pdf (consulteacute le 22 janvier 2010)

Reisman Jane and Judith Clegg Outcomes for Success Seattle WA Organizational Research Services Inc amp Clegg and Associates Inc 2000

Veney James and Arnold Kaluzny Evaluation and Decision Making for Health Services Ann Arbor MI Health Administration Press 1991

Winch Peter et al Qualitative Research for Improved Health Programs A Guide to Manuals for Qualitative and Participatory Research on Child Health Nutrition and Reproductive Health Baltimore MD Johns Hopkins University 2000 httpwwwglobalhealthcom-municationorgtool_docs67qualitative_research_for_improved_health_programs_-_a_guide_pdf (consulteacute le 6 mars 2014)

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 946

wwwmshorgresourceshealth-systems-in-action-an-ehandbook-for-leaders-and-managers SYSTEgraveMES DE SANTEacute EN ACTION

ANNEXE A Exemple de Cadre logique tireacute de la Banque Interameacutericaine de Deacuteveloppement

La logique soutenant ce cadre

1 Si les activiteacutes (promotion formation etchellip) sont bien meneacutees et en supposant lrsquoexistence de conditions politiques et eacuteconomiques favorables ainsi que la disponibiliteacute de ressources (financiegraveres humaines et technologiques) alors les parents seront inscrits les soignants agrave domicile et autres personnels seront formeacutes les mateacuteriels seront disponibles les visites agrave domicile auront eacuteteacute effectueacutees et un systegraveme administratif et un SIG seront opeacuterationnels

2 Si les produits sont obtenus et en supposant une faible rotation des soignants agrave domicile et autres personnels alors des changements se produiront au niveau des pratiques parentales et dans lrsquoenvironnement domestique ougrave se deacuteroulent les interactions de lrsquoenfant

3 Si le comportement des parents et lrsquoenvironnement domestique srsquoameacuteliorent et en supposant que les travailleurs sociaux formeacutes continuent de fournir les soins et que la structure familiale se maintient ou srsquoameacuteliore alors le statut sanitaire nutritionnel et psychosocial des enfants srsquoameacuteliorera

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement

9 GESTION DE LrsquoINFORMATION SUIVI ET EacuteVALUATION 947

copy 2010 MANAGEMENT SCIENCES FOR HEALTH SYSTEgraveMES DE SANTEacute EN ACTION

Cadre logique pour un programme de visite agrave domicile assorti de sensibilisation parentale

But (objectif geacuteneacuteral)

Ameacuteliorer le deacuteveloppement des jeunes enfants de la naissance agrave lrsquoacircge de 3 ans dans les zones urbaines marginales

Indicateur

Eacutelever lrsquoeacutetat du deacuteveloppement de x enfants de x sur 5 ans comme indiqueacute par les mesures de lrsquoeacutetat sanitaire de lrsquoeacutetat nutritionnel et du deacuteveloppement psychosocial

Veacuterification

Santeacute Net soins de santeacute par enfant

Nutrition Dossiers de controcircle de croissance dans le centre

Psychosocial Performance sur tests standardiseacutes

Objet (objectif speacutecifique)

Offrir aux enfants les soins de qualiteacute et lrsquoeacuteducation par des pratiques ameacutelioreacutees drsquoeacuteducation des enfants et des modifications de lrsquoenvironnement familial

Indicateurs

Modification des pratiques de x de parents participant

Modifications dans lrsquoenvironnement familial

Veacuterification

Observation peacuteriodique drsquoun eacutechantillon de parents et de foyers interaction avec les enfants questionnaires rapports de surveillance

Hypothegraveses

Les parents ou autres soignants bien formeacutes continuent agrave dispenser des soins

Continuiteacute des conditions eacuteconomiques et familiales

Produits

Participants inscrits

Visiteurs agrave domicile surveillants et directeurs formeacutes

Documentation eacutelaboreacutee

Visites agrave domicile

Formation parentale dispenseacutee

Systegraveme administratif en place

SIG en place

Indicateurs

x participants agrave faibles revenus inscrits

x soignants formeacutes

Guides parentaux eacutelaboreacutes et distribueacutes agrave x familles

Visites agrave domicile effectueacutees

Fonctionnement du SIG et du systegraveme administratif

Veacuterification

Donneacutees du SIG concernant les personnes formeacutees les parents et la documentation

Eacutevaluation des connaissances et compeacute-tences des personnes formeacutees apregraves la forma- tion initiale et au cours de la formation continue observation de lrsquointeraction entre le visiteur agrave domicile et les parents

Questionnaires sondant les connaissances et attitudes des parents

Hypothegraveses

Faible roulement des visiteurs agrave domicile et autre personnel

Capaciteacute drsquoatteindre la population souhaiteacutee

Activiteacutes

Inscrire les parents

Seacutelectionner et former les visiteurs agrave domicile et autre personnel

Eacutelaborer la documentation

Eacutelaborer le systegraveme administratif

Effectuer la formation continue et la supervision

Effectuer des visites agrave domicile

Eacutelaborer un systegraveme de suivi et eacutevaluation

Ressources

Budget

Technologie

Ressources humaines

Veacuterification

Plan drsquoaction budgets et livres comptables

Eacutetudes montrant que le modegravele choisi et le cursus fonctionnent

Eacutevaluations pour voir que les activiteacutes nrsquoeacutetaient pas seulement meneacutees mais reacuteussies

Curriculum vitae

Hypothegraveses

Volonteacute politique

Stabiliteacute eacuteconomique et politique raisonnable

Source Banque Inter-Ameacutericaine de Deacuteveloppement