RENFORCEMENT DES CAPACITÉS D’ÉVALUATION...

Quelques outils, mthodes et approches

BANQUE MONDIALE : DPARTEMENT DE L VALUAT ION DES OPRATIONSRENFORCEMENT DES CAPACITS D VALUAT ION

B A N Q U E M O N D I A L E

1818 H Street, N.W.Washington, D.C. 20433, U.S.A.Tlphone : 202-477-1234Fax : 202-477-6391Tlex : MCI 64145 WORLDBANK

MCI 248423 WORLDBANKInternet: www.worldbank.org

Dpartement de lvaluation des oprationsProgrammes Partenariat et Gestion

des connaissances (OEDKE)Courriel : [email protected] : 202-458-4497Fax : 202-522-3125

&SUIVI

VALUATION :

N

Quelques outils, mthodes et approches

&SUIVI

VALUATION :

Banque mondialeWashington

www.worldbank.org/oed/ecd/

N

Copyright 2004Banque internationale pour la reconstruction et le dveloppement/BANQUE MONDIALE1818 H. Street, N.W.Washington, D. C. 20433, tats-Unis dAmrique

Tous droits rservs.Fait aux tats-Unis dAmrique

Les opinions exprimes dans le prsent rapport ne refltent pas ncessairement les vues de la Banque mondiale ou des tats qui en sont membres. La Banque mondiale ne garantit pas lexactitude desdonnes qui y figurent et naccepte aucune responsabilit quant auxconsquences de leur utilisation. Les frontires, couleurs, dnominationset toute autre information figurant sur lune quelconque des cartesincluses dans cette publication nimpliquent de la part du Groupe de laBanque mondiale aucun jugement sur le statut juridique dun territoirequelconque, ni lapprobation ou lacceptation desdites frontires.

RemerciementsLa premire dition de ce rapport avait t prpare parMari Clark et Rolf Sartorius (Impact social). Ces dernierstiennent remercier les membres des services de laBanque mondiale qui ont largement contribu saprparation, notamment Franois Binder, OsvaldoFeinstein, Ronnie Hammad, Jody Kusek Linda Morra,Ritva Reinikka, Gloria Rubio et Elizabeth White. Cettedeuxime dition contient un examen plus dtaill de laquestion de lvaluation de limpact prpar par MichaelBamberger (consultant). Keith Mackay tait le chef duprojet de mise au point de ce rapport.

Table des matiresVue densemble du S&E . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Indicateurs de performance . . . . . . . . . . . . . . . . . . . . . . . . 6

Cadre logique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

valuation base sur la thorie . . . . . . . . . . . . . . . . . . . . .10

Enqutes formelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

Mthodes dvaluation rapide . . . . . . . . . . . . . . . . . . . . . .15

Mthodes participatives . . . . . . . . . . . . . . . . . . . . . . . . . . .17

Enqutes de suivi des dpenses publiques . . . . . . . . . . . . . .19

Analyse cots-avantages et cot-efficacit . . . . . . . . . . . . . .21

valuation de limpact . . . . . . . . . . . . . . . . . . . . . . . . . . .23

Ressources additionnelles sur le S&E . . . . . . . . . . . . . . . . .26

3

B A N Q U E M O N D I A L E : D P A R T E M E N T D E L V A L U A T I O N D E S O P R A T I O N S

R E N F O R C E M E N T D E S C A P A C I T S D V A L U A T I O N

N

5



VUE DENSEMBLE DU S&E

QUELQUES OUTILS, MTHODES ET APPROCHESPOUR LES ACTIVITS DE SUIVI ET DVALUATION

OBJECTIF Le suivi et lvaluation (S&E) des activits dedveloppement donnent aux pouvoirs publics, auxgestionnaires du dveloppement et la socit civile de meilleurs moyens de tirer lesleons de lexprience, damliorer la prestation des services, de planifier et daffecter lesressources, et de rendre compte aux principales parties prenantes en faisant tat desrsultats obtenus.

Cest notamment parce que la communaut du dveloppement fait une placepri-vilgie lobtention de rsultats que les activits de suivi et dvaluation suscitentde plus en plus dintrt. Cependant, on note souvent une certaine confusion quant leurs tenants et aboutissants. La prsente Vue densemble vise prciser ce quimpliquentces activits afin de faire mieux comprendre et apprcier tout lintrt du S&E.

La prsente brochure dcrit brivement certains des outils, mthodes et approchesqui peuvent tre utiliss, rsume leurs objectifs et leurs applications, leurs avantages etleurs inconvnients, leur cot, les comptences requises et le temps ncessaire, et signaleaussi dimportantes sources dinformation leur sujet. Le lecteur y trouvera en partic-ulier des indications sur plusieurs mthodes de collecte des donnes, cadres danalyse ettypes dvaluation et dexamen. Les questions abordes sont les suivantes :

Indicateurs de performance Cadre logique valuation base sur la thorie Enqutes formelles Mthodes dvaluation rapide Mthodes participatives Enqutes de suivi des dpenses publiques Analyse cots-avantages et cot-efficacit valuation de limpact

Cette liste nest pas et ne se veut pas exhaustive. Certains des outils et approches qui yfigurent sont complmentaires et dautres interchangeables. Leur champ dapplicationpeut tre trs large, ou au contraire trs troit. Le choix de la formule qui conviendra lemieux dans un contexte donn dpendra de diverses considrations, comme lesobjectifs viss, les principales parties prenantes concernes par les rsultats du S&E, lecot et le degr de rapidit souhait.

N

N

Indicateurs de performance

De quoi sagit-il ?Les indicateurs de performance sont un moyen dapprcier les divers aspects dunprojet, programme ou stratgie de dveloppement : ressources, processus, produits,rsultats et impacts. Lorsquils sappuient sur un solide travail de collecte de donnes(par exemple, au moyen denqutes formelles), puis danalyse et de diffusion de cesinformations, ces indicateurs permettent aux gestionnaires de suivre lavancement delaction entreprise, den dterminer les rsultats, et de prendre les mesures correctivesqui amlioreront la prestation des services. Il est important dassocier les principalesparties prenantes la dfinition des indicateurs, car il y aura ainsi plus de chances quecelles-ci sachent les comprendre et les utiliser pour la prise de dcision.

Quelles sont les applications possibles ? Fixer des objectifs de performance et mesurer les progrs accomplis vers leur

ralisation ; Dtecter les problmes laide dun systme dalerte rapide, afin de pouvoir dcider

de mesures correctives ; Dterminer sil est ncessaire de procder une valuation ou un examen

approfondi.

AVANTAGES : Moyen efficace de mesurer les progrs accomplis vers la ralisation des objectifs ; Il sera plus facile de procder des comparaisons entre diffrents services, districts et

poques.

INCONVNIENTS : Des indicateurs mal dfinis ne permettront pas de mesurer correctement les progrs ; La tendance retenir un trop grand nombre dindicateurs, ou choisir des indica-

teurs pour lesquels on naura pas accs des sources de donnes, peut rendre le sys-tme coteux et difficile appliquer, de sorte quil sera probablement sous-utilis ;

Il arrive souvent que lon doive arbitrer entre lidal et le possible en renonant auxindicateurs optimaux ou souhaits pour se contenter de ceux que les donnes acces-sibles permettront de mesurer.

6

COT :Le cot peut tre faible ou lev, selon le nombre des indicateurs retenus, la priodicitde la collecte de donnes et la qualit des informations recherches, et le champ couvertpar le systme.

COMPTENCES REQUISES :Plusieurs jours de formation sont recommands afin damliorer laptitude des person-nels concerns dfinir des indicateurs pratiques. La mise en uvre de systmes desuivi de la performance exige des comptences en matire de collecte, danalyse et dediffusion des donnes et de systmes dinformation de gestion (SIG).

TEMPS NCESSAIRE :De plusieurs jours plusieurs mois, selon lampleur du processus participatif retenupour dfinir les indicateurs et selon la complexit du programme. La mise en uvredun systme de suivi de la performance peut prendre de six douze mois.

7



N

Banque mondiale (2000). Key Performance Indicator Handbook. Washington.

Hatry, H. (1999). Performance Measurement: Getting Results. The Urban Institute,

Washington.

P O U R P L U S D I N F O R M A T I O N S :

N

Cadre logique

De quoi sagit-il ?Cette approche aide dfinir plus clairement les objectifs de tout projet, programmeou politique et dterminer les liens de causalit escompts la logique duprogramme entre les divers lments de la chane des vnements devant conduire lobtention de rsultats : apports de ressources, modalits de mise en uvre, produits(y compris le degr de couverture des groupes bnficiaires), rsultats, et impact. Elleconduit la dfinition dindicateurs de performance pour chaque maillon de la chaneet lidentification des risques qui pourraient entraver la ralisation des objectifs. Lecadre logique permet aussi dassocier les partenaires la dfinition des objectifs et laconception des activits. Au stade de la mise en uvre, cest un moyen utile de suivrelavancement des activits et de prendre des mesures correctives.

Quelles sont les applications possibles ? Amliorer la qualit de la conception des projets et programmes en imposant la

dfinition dobjectifs clairs, lutilisation dindicateurs de performance, et lvaluationdes risques ;

Synthtiser la conception dactivits complexes ; Faciliter la prparation de programmes oprationnels dtaills ; Fournir une base objective pour lexamen, le suivi et lvaluation des activits.

AVANTAGES : Garantit que les dcideurs se poseront les questions fondamentales et analyseront les

hypothses et les risques ; Implique les parties prenantes dans le processus de planification et de suivi ; Utilis de manire dynamique, constitue un outil de gestion efficace pour guider la

mise en uvre, le suivi et lvaluation.

INCONVNIENTS : Utilis de manire rigide, peut touffer la crativit et linnovation ; En labsence dactualisation au cours de la mise en uvre, peut ntre quun outil

statique qui ne refltera pas lvolution des conditions ; Exige souvent des activits de formation et de perfectionnement.

8

COT :Faible moyen, selon lampleur et la complexit du processus participatif utilis lappui de cette approche.

COMPTENCES REQUISES :Formation dau moins trois cinq jours pour les facilitateurs ; pour la planification etla gestion participatives, comptences supplmentaires en matire de facilitation.

TEMPS NCESSAIRE :De plusieurs jours plusieurs mois, selon lampleur et la complexit du processusparticipatif.

9



N

Banque mondiale (2000). The Logframe Handbook, Banque mondiale :

http://wbln1023/OCS/Quality.nsf/Main/MELFHandBook/$File/LFhandbook.pdf

GTZ (1997). ZOPP Planification des projets par objectifs :

http://www.unhabitat.org/cdrom/governance/html/books/zopp_e.pdf


N

valuation base sur la thorie

De quoi sagit-il ?Ce type dvaluation prsente des similitudes avec le cadre logique, mais il permetdapprhender de manire bien plus approfondie le fonctionnement dun programme oudune activit la base thorique du programme ou la logique du programme .En particulier, il ny a pas supposer de simples relations linaires de cause effet. Parexemple, lorsque les pouvoirs publics cherchent amliorer le taux dalphabtisme par lerecrutement denseignants supplmentaires, la russite de ce programme peut dpendrede multiples facteurs, comme la disponibilit de salles de classe et de manuels, laraction probable des parents, des directeurs dcole et des lves, la comptence et ltatdesprit des enseignants, le lieu daffectation des enseignants supplmentaires, la fiabilitdu financement public, etc. En dfinissant les facteurs dterminants jugs importantspour le succs du programme, et les interactions possibles entre ces divers lments, ildevient possible de dcider des activits qui devront tre suivies au cours de la mise enplace du programme pour vrifier quil en va bien ainsi dans les faits. Cela permetdidentifier les conditions de russite critiques. Si les donnes recueillies montrent queces conditions ne sont pas runies, il est raisonnable den tirer la conclusion que leprogramme a moins de chances datteindre ses objectifs.

Quelles sont les applications possibles ? Guider la conception dactivits complexes. Amliorer la planification et la gestion.

AVANTAGES : Permet de savoir rapidement ce qui marche ou ne marche pas, et les raisons pour

lesquelles il en va ainsi ; Permet de prendre des mesures correctives ds quun problme se pose ; Facilite lidentification des effets secondaires inattendus du programme ; Aide classer par ordre de priorit les questions qui mritent des recherches plus

pousses, peut-tre par un ciblage plus troit de la collecte de donnes ou parlutilisation de techniques de S&E plus complexes ;

Peut servir de base lvaluation des impacts probables des programmes.

10

INCONVNIENTS : Peut facilement devenir trop complexe sil sagit dactivits de grande envergure ou

si lon retient une srie exhaustive de facteurs et dhypothses ; Les parties prenantes peuvent ne pas tre daccord sur les facteurs dterminants jugs

importants, et la rsolution de cette difficult peut prendre longtemps.

COT :Moyen Le cot est fonction du degr dapprofondissement de lanalyse, et enparticulier du degr de dtail des donnes runies pour tudier le fonctionnement duprogramme.

COMPTENCES REQUISES :Formation dau moins trois cinq jours pour les facilitateurs.

TEMPS NCESSAIRE :Trs variable Le temps ncessaire est fonction de la profondeur de lanalyse, de ladure du programme ou de lactivit, et du degr de dtail du travail de S&E entrepris.

11



N

Weiss, Carol H. (1998). Evaluation. Prentice Hall, New Jersey, deuxime dition.

Weiss, Carol H. (2000). Theory-based evaluation: theories of change for poverty reduction

programs dans O. Feinstein et R. Picciotto (dir. de publication) Evaluation and

Poverty Reduction. Dpartement de lvaluation des oprations, Banque mondiale,

Washington.

Mayne, John. (1999). Addressing Attribution Through Contribution Analysis: Using

Performance Measures Sensibly. Office of the Auditor General of Canada working

paper, Ottawa: http://www.oag-bvg.gc.ca/domino/other.nsf/html/99dp1_e.html


N

Enqutes formelles

De quoi sagit-il ?Cet instrument peut servir runir des donnes normalises sur un chantillonsoigneusement slectionn dindividus ou de mnages. Ces enqutes visent souventla collecte dinformations comparables auprs dun nombre relativement lev depersonnes appartenant des groupes cibles particuliers.

Quelles sont les applications possibles ? Fournir la base de rfrence qui permettra de mesurer la performance de la stratgie,

du programme ou du projet ; Comparer diffrents groupes un moment donn ; Comparer les changements intervenus au sein dun mme groupe au cours dune

priode donne ; Comparer la ralit aux objectifs dfinis lors de la conception du programme ou du projet ; Dterminer la situation dune communaut ou dun groupe particulier ; Fournir des lments dinformation essentiels en vue de lvaluation formelle de

limpact dun programme ou projet ; valuer les niveaux de pauvret en vue de la prparation de stratgies de rduction de

la pauvret.

AVANTAGES : Les conclusions tires des rponses fournies par lchantillon interrog peuvent tre

appliques lensemble du groupe cible ou de la population ; On peut tablir des estimations chiffres de lampleur et de la distribution des impacts.

INCONVNIENTS : Sauf dans le cas des CWIQ (questionnaire sur les grands indicateurs du bien-tre),

les rsultats ne sont souvent pas disponibles avant longtemps ; Le traitement et lanalyse des donnes peuvent constituer un goulet dtranglement

majeur pour les enqutes de grande envergure, mme si lon dispose dordinateurs ; Les tudes de mesures des niveaux de vie et les enqutes sur les mnages cotent

cher et prennent du temps ; Il est difficile dobtenir de nombreux types dinformation dans le cadre dentrevues

formelles.

12

13



N

Enqute objectifs multiples sur lesmnages (appele aussi tude de mesuredes niveaux de vie) : enqute intgrepermettant de runir des donnes surplusieurs aspects des conditions de vie pourclairer la prise de dcision. Lesinformations recherches couvrent lesdpenses, la composition du mnage,lducation, la sant, lemploi, la fcondit,la nutrition, lpargne, les activits agricoleset autres sources de revenus. Les enqutes objectif unique tudient de faon plusapprofondie un moins grand nombre dequestions.

Questionnaire sur les grands indicateursdu bien-tre (CWIQ) : enqute sur lesmnages visant mesurer la variation decertains indicateurs sociaux pourdiffrents groupes de population cesindicateurs portant en particulier surlaccs aux services sociaux etconomiques, lutilisation de cesservices, et le degr de satisfaction desclients. Cest un moyen efficace etrapide damliorer la conception desactivits, de cibler les services sur lespauvres et, lorsque lenqute est rptechaque anne, de suivre la performance

des activits. Les rsultats prliminairespeuvent tre disponibles dans les trentejours suivant ladministration duquestionnaire.

Enqute sur la satisfaction des clients(ou sur la prestation des services) : onutilise ce type denqute pour valuer laperformance des services publics endemandant leur avis aux clients de cesservices. Ces enqutes fournissent desindications sur les contraintes auxquellesse heurtent les clients pour accder auxservices publics, permettent de savoir cequils pensent de la qualit et deladquation des services et dedterminer la capacit dadaptation deladministration. Elles sontnormalement effectues par unministre ou un organisme public.

Feuilles de note : instrument utilis parles ONG et les centres de rflexion deplusieurs pays. Ce type dvaluation,similaire aux enqutes sur la prestationdes services, a galement servi mesurerle degr de corruption auquel sontexposs les citoyens ordinaires. La vastediffusion des informations recueilliesconstitue lune des principalescaractristiques de cet instrument.

Divers types denqute

N

COT :Le cot va denviron 30 60 dollars par mnage pour les CWIQ 170 dollars parmnage pour les tudes de mesure des niveaux de vie. Il peut tre nettement plus levsil nexiste pas de base de sondage pour le pays.

COMPTENCES REQUISES :Solides comptences techniques et analytiques pour la conception de lchantillon et duquestionnaire, le traitement et lanalyse des donnes.

TEMPS NCESSAIRE :Variable selon la taille de lchantillon. Le dlai peut tre de deux mois pour les CWIQ,et les tudes de mesure des niveaux de vie prennent gnralement de 18 24 mois.

14

Sapsford, R. (1999). Survey Research. Sage, Newbury Park, Californie.

Questionnaires sur les grands indicateurs du bien-tre :

http://www4.worldbank.org/afr/stats/cwiq.cfm

tudes de mesure des niveaux de vie : http://www.worldbank.org/lsms/

Enqutes sur le degr de satisfaction des clients :

http://www4.worldbank.org/afr/stats/wbi.cfm#sds

Feuilles de note : http://lnweb18.worldbank.org/ESSD/sdvext.nsf/60ByDocName/

CitizenReportCardSurveysANoteontheConceptandMethodology/$FILE/CRC+SD+note.pdf


15



N

Mthodes dvaluation rapide

De quoi sagit-il ?Ces mthodes constituent un moyen rapide et peu coteux de consulter lesbnficiaires et autres parties prenantes pour fournir aux dcideurs les informationsdont ils ont besoin.

Quelles sont les applications possibles ? Fournir rapidement les informations ncessaires la prise des dcisions de gestion,

surtout au niveau dun projet ou dun programme ; Porter une apprciation qualitative sur des changements socioconomiques

complexes, des situations sociales fortement interactives, ou les valeurs, motivationset ractions de la population ;

Situer dans leur contexte et interprter les donnes quantitatives runies au moyende mthodes plus formelles.

AVANTAGES : Cot faible ; Rapidit ; Instrument souple pour explorer de nouvelles ides.

INCONVNIENTS : Les observations ne concernent gnralement quune communaut ou une localit

particulire il est donc difficile den tirer des conclusions gnrales ; Instrument moins valide, fiable et crdible que les enqutes formelles.

COT :Faible moyen, selon le champ dapplication des mthodes retenues.

COMPTENCES REQUISES :Comptences dans les domaines suivants : entrevues non directives, facilitation degroupes, observations sur le terrain, prise de notes, et statistiques de base.

TEMPS NCESSAIRE :De quatre six semaines, selon le nombre de personnes interroges, la localisation et lenombre des sites observs.

N

16

Consultation des principales sourcesdinformation la mthode consiste poser une srie de questions ouvertes des individus choisis en raison de leurconnaissance et exprience dun sujetparticulier. Les entrevues qualitatives,approfondies et semi-structures sontfondes sur un guide dentretiencontenant la liste des sujets ou desquestions.

Groupe dexpression cette mthodeconsiste faciliter des changes de vuesentre plusieurs participants (de 8 12)soigneusement choisis pour avoir unprofil similaire. Ces participants peuventtre slectionns parmi les bnficiairesou le personnel du programme, parexemple. Le facilitateur utilise un guidede discussion. Dautres personnesenregistrent les commentaires etobservations.

Consultation dun groupecommunautaire cette mthodeconsiste poser une srie de questions et faciliter le dbat au cours dune runionouverte tous les membres de lacommunaut. Lenquteur suit unquestionnaire soigneusement prpar.

Observation directe cette mthodeconsiste consigner sur un formulairedtaill ce qui a t vu et entendu sur leslieux de ralisation dun programme. Lesinformations peuvent concerner lesactivits en cours, les procdures, lesdiscussions, les interactions sociales et lesrsultats observables.

Mini-enqute cette mthode reposesur lutilisation dun questionnairestructur pour poser un nombre limit dequestions fermes un groupe de 50 75 personnes. Le choix des enquts peuttre alatoire ou raisonn (parexemple, interview de parties prenantesen un lieu tel quun dispensaire dans lecas dune enqute sur les soins de sant).

Mthodes dvaluation rapide

USAID. Performance Monitoring and Evaluation Tips # 2, 4, 5, 10.

http://www.usaid.gov/pubs/usaid_eval/#02

K. Kumar (1993). Rapid Appraisal Methods. Banque mondiale, Washington.


17



N

Mthodes participatives

De quoi sagit-il ?Les mthodes participatives permettent dassocier activement la prise de dcisionles parties prenantes au projet, programme ou stratgie, et de les amener souscrirepleinement aux rsultats et recommandations du S&E.

Quelles sont les applications possibles ? Mieux connatre la situation, les perspectives et les priorits de la population locale,

afin de mettre au point des interventions mieux adaptes qui auront de plus grandeschances dtre durables ;

Dtecter les problmes et leur apporter une solution au cours de la mise en uvre ; valuer un projet, programme, ou politique ; Amliorer les connaissances et les comptences afin de renforcer les moyens daction

des pauvres.

AVANTAGES : Prise en compte des questions pertinentes grce la participation des principales

parties prenantes au processus de conception ; Cration de partenariats et appropriation locale des projets ; Amlioration de lapprentissage, de la capacit de gestion et des comptences de la

population locale ; Production dinformations actuelles et fiables pour la prise des dcisions de gestion.

INCONVNIENTS : Ces mthodes sont parfois considres comme moins objectives ; Pour tre valable, limplication des principales parties prenantes prend du temps ; Risque de voir certaines parties prenantes monopoliser le processus pour servir leurs

propres intrts.

COT :Faible moyen. Trs variable, selon le champ dapplication et le degr de dtailrecherch et selon la valeur attribue aux contributions locales.

COMPTENCES REQUISES :Formation dau moins plusieurs jours pour les facilitateurs.

N

18

TEMPS NCESSAIRE :Trs variable, selon le champ dapplication et le degr de dtail recherch.

Guijt, I. and J. Gaventa (1998). Participatory Monitoring and Evaluation. Institute of

Development Studies, University of Sussex, Brighton, U.K.

http://www.ids.ac.uk/ids/bookshop/briefs/brief12.html

http://www.worldbank.org/participation/partme.htm

Analyse des parties prenantes : pointde dpart de la plupart des valuationssociales et des activits participatives.Lobjectif est de comprendre lesrapports de force entre les diversespersonnes associes une activit, leurinfluence et leurs intrts respectifs,afin de dterminer lesquelles devraientparticiper, et quel stade.

valuation rurale participative :mthode de planification fonde sur lepartage du savoir entre la populationlocale, tant urbaine que rurale, et lextrieur. Elle permet auxgestionnaires de dveloppement et la population locale dvaluer et de programmer des interventionsappropries de manire collaborative,souvent laide de techniques visuelles

de sorte que les illettrs puissent aussiparticiper.

valuation par les bnficiaires :consultation systmatique desbnficiaires des projets et dautresparties prenantes pour identifier etconcevoir des activits dedveloppement, diagnostiquer lesobstacles la participation, et obtenirles informations en retour quipermettront damliorer les services etles activits.

S&E participatif : mthode consistant associer les parties prenantes diffrents niveaux lidentification desproblmes, la collecte et lanalyse delinformation et llaboration derecommandations.

Instruments participatifs couramment utiliss


19



N

Enqutes de suivi des dpenses publiques

De quoi sagit-il ?Ces enqutes visent suivre lutilisation des fonds publics et dterminer dans quellemesure ces ressources atteignent effectivement les groupes cibles. Il sagit de dterminerde quelle manire, quelle date, et pour quels montants, ces fonds sont mis ladisposition des diffrents chelons de ladministration, en particulier les servicesresponsables de la fourniture de services sociaux comme la sant et lducation. Cetinstrument est souvent utilis dans le cadre de plus vastes enqutes sur les services etquipements centres sur la qualit des services, les caractristiques des quipements,leur gestion, la structure des incitations, etc.

Quelles sont les applications possibles ? Diagnostiquer en les quantifiant les problmes qui se posent en matire de prestation

de services ; Runir des lments dinformation sur les retards, les dperditions , et la corruption.

AVANTAGES : Cet instrument facilite le contrle lorsque lon dispose de peu dinformations

financires ; Il amliore la gestion en signalant les goulets dtranglement bureaucratiques dans

lacheminement des fonds destins la prestation de services.

INCONVNIENTS : Les organismes publics peuvent rpugner ouvrir leurs livres comptables ; Le cot est substantiel.

COT :Le cot peut tre lev tant que le pays ne dispose pas de capacits suffisantes pour secharger des enqutes. Par exemple, en Ouganda, la premire enqute de ce type a cot60 000 dollars pour le secteur de lducation et 100 000 dollars pour le secteur de lasant.

N

20

COMPTENCES REQUISES :Solides comptences techniques et analytiques pour la conception de lchantillon etdu questionnaire, le traitement et lanalyse des donnes ; et bonne comprhension dusecteur valuer.

TEMPS NCESSAIRE :De cinq six mois (un deux mois pour la seule enqute).

http://www1.worldbank.org/publicsector/pe/trackingsurveys.htm


21



N

Analyse cots-avantages et cot-efficacit

De quoi sagit-il ?Ce type danalyse vise dterminer si les rsultats et les impacts dune activit enjustifient le cot. Les analyses cots-avantages mesurent les ressources et les rsultatsen termes montaires. Dans le cas danalyses cot-efficacit, les ressources sontmesures en termes montaires et les rsultats en termes non montaires (par exemple,les progrs des lves en lecture).

Quelles sont les applications possibles ? clairer les dcisions sur laffectation des ressources qui sera la plus efficiente ; Identifier les projets dont le rendement sera le plus lev.

AVANTAGES : Bon moyen destimer lefficience de programmes ou projets ; Possibilit dexpliciter des hypothses conomiques qui sinon pourraient rester

implicites ou tre ngliges au stade de la conception ; Moyen utile de convaincre les dcideurs et les bailleurs de fonds que les avantages

attendre dune activit en justifient le cot.

INCONVNIENTS : Analyses relativement techniques, exigeant la disponibilit de ressources humaines

et financires suffisantes ; Les donnes ncessaires au calcul des cots et des avantages peuvent ne pas tre

disponibles, et les rsultats prvisionnels dpendre fortement des hypothsesretenues ;

Les rsultats doivent tre interprts avec soin, en particulier dans le cas des projetsdont les avantages sont difficiles chiffrer.

COT :Trs variable, selon le champ de lanalyse et les donnes disponibles.

N

22

COMPTENCES :Dans les deux cas, les mthodes danalyse sont souvent hautement techniques. Ellesexigent des comptences dans le domaine de lanalyse conomique et la disponibilitde donnes conomiques et financires pertinentes.

TEMPS NCESSAIRE :Trs variable, selon le champ de lanalyse et les donnes disponibles.

Belli, P. et al. (2000). Economic Analysis of Investment Operations: Analytical Tools and

Practical Applications. Banque mondiale, Washington.

EXEMPLES DE BONNES PRATIQUES EN MATIRE DANALYSE COTS-AVANTAGES :

http://kms.worldbank.org/edunet/TEN_DIMENSIONS/DIM_4/cb_ce.htm




N

valuation de limpact

De quoi sagit-il ?Lobjectif est didentifier systmatiquement les effets positifs ou ngatifs, voulus ou non dune activit de dveloppement donne, par exemple un programme ou un projet, surles mnages, les institutions et lenvironnement. Lvaluation de limpact aide mieuxcomprendre la mesure dans laquelle les activits atteignent les pauvres et lampleur de leurseffets sur le bien-tre de la population. Elle sappuie sur des outils de portes trs diverses : un extrme, les enqutes par sondage de grande envergure permettent de comparer lasituation des populations touches par le projet et de groupes tmoins avant et aprs laralisation du programme et, dans certains cas, divers stades de son excution ; lautreextrme, des valuations rapides et des examens participatifs de porte limite sont effectuspar le biais dentrevues de groupes ou dintervenants majeurs, dtudes de cas et de lacollecte des donnes secondaires disponibles qui, conjointement, permettent dtablir desestimations de limpact du projet ou programme.

Quelles sont les applications possibles ? Mesurer les rsultats et les effets dune activit et les isoler de ceux qui tiennent

dautres facteurs, extrieurs lactivit considre ; Aider dterminer si les cots de lactivit sont justifis ; clairer la prise de dcision quant lopportunit de dvelopper, modifier ou

liminer un projet, un programme ou une politique ; Tirer de lexprience les leons qui permettront damliorer la conception et la

gestion des activits futures ; Comparer lefficacit de diverses interventions ; Rendre les responsables davantage comptables des rsultats.

AVANTAGES : Permet destimer lampleur des rsultats et des impacts pour diffrents groupes

dmographiques, diverses rgions ou diverses poques. Fournit des lments de rponse certaines des questions les plus fondamentales en

matire de dveloppement : dans quelle mesure notre action fait-elle une diffrence ?Quels sont les rsultats sur le terrain ? Comment faire mieux ?

Le caractre systmatique de lanalyse et la rigueur de lvaluation peuvent accrotrele degr de confiance des autorits et des gestionnaires dans la prise de dcision.

INCONVNIENTS : Certaines mthodes dvaluation sont trs coteuses et prennent du temps bien que

lon ait aussi recours des mthodes plus rapides et moins onreuses ; Leur utilit est moindre lorsque les dcideurs ont besoin dinformations rapides ; Il est difficile didentifier des situations/groupes tmoins appropris.

23

N

24

COT :Un certain nombre des valuations de limpact faites par la Banque mondiale ont cotentre 200 000 et 900 000 dollars, selon la taille et la complexit du programme et selon lesinformations requises. Il est possible de raliser des valuations dimpact plus simples et plusrapides pour un montant sensiblement infrieur 100 000 dollars, voire mme danscertains cas, pour un montant compris entre 10 000 et 20 000 dollars.

COMPTENCES REQUISES :Solides comptences techniques en sciences sociales pour la conception et la gestiondes recherches, lanalyse et la diffusion des donnes. Lidal est dquilibrer comptencesquantitatives et qualitatives parmi les membres de lquipe dvaluation.

TEMPS NCESSAIRE :Jusqu deux ans, voire davantage. Les valuations rapides peuvent souvent tre ralisesen moins de six mois.

EXEMPLES DE MODLES DVALUATION DE LIMPACT :Les modles dvaluation alatoires, qui donnent lieu la collecte dinformations auprsde groupes touchs par le projet et de groupes tmoins au moins deux dates diffrentes,produisent les analyses statistiques des effets du projet et de la contribution dautres facteursles plus rigoureuses. Toutefois, il est rarement possible demployer ces modles en pratiquepour des raisons de cot, de temps et de difficults mthodologiques ou thiques. La plupartdes valuations de limpact sappuient donc sur des modles moins onreux mais moinsrigoureux. Le tableau ci-aprs dcrit quatre types dvaluation de limpact utiliss dans ledomaine du dveloppement. Le premier est un modle dvaluation alatoire, le deuximeest un modle quasi-exprimental qui donne lieu la constitution dun groupe tmoin non quivalent mais prsentant des caractristiques aussi proches que possible de cellesde la population touche par le projet ; la troisime mthode consiste comparer lesdonnes relatives la population du projet et les donnes relatives un groupe tmoinnon-quivalent une fois le projet excut ; enfin la quatrime est une valuation rapide quirepose la fois sur des entrevues de groupes ou dintervenants majeurs, des tudes de cas etdes donnes secondaires. Le passage dun modle au suivant se caractrise par une perte derigueur mthodologique qui a pour contrepartie une baisse sensible des cots et du tempsrequis.

Baker, J. (2000). Evaluating the Poverty Impact of Projects: A Handbook for Practitioners.

Banque mondiale, Washington.

http://www.worldbank.org/poverty/library/impact.htm

World Bank website on impact evaluation: http://www.worldbank.org/poverty/impact/

Roche, C. (1999). Impact Assessment for Development Agencies: Learning to Value

Change. Oxfam, Oxford.


25



N

Modle

1. Modle dvaluation alatoire avant-aprs

2. Modle quasiexprimental aveccomparaisonavant-aprs de lapopulation toucheet dun groupetmoin

3. Comparaison aposteriori dungroupe touch parle projet et dungroupe tmoin non-quivalent

4. valuation rapide de limpact a posteriori

Mthode

Les sujets (familles, coles, communauts,etc..) sont affects sur une base alatoire au groupe du projet ou au groupe tmoin.Des questionnaires et autres moyens de collecte de donnes (mesures anthropomtriques, rsultats aux testsdaptitude scolaires, etc.) sont utiliss pourles deux groupes avant et aprs le projet.Des observations supplmentaires peuventaussi tre recueillies durant lexcution duprojet.

Lorsquil nest pas possible demployer une mthode alatoire, le groupe tmoinest compos de manire prsenter descaractristiques aussi similaires que possible celles de la population concerne. Il arrive que les catgories de communautsdo proviennent les participants slectionns soient retenues. Lorsque lesprojets sont excuts en plusieurs tapes,les participants slectionns pour les phasesultrieures peuvent servir de groupe tmoinpour la premire phase.

Des donnes sont collectes a posteriori sur le groupe des participants au projet et un groupe tmoin non-quivalent estslectionn comme dans le modle 2. Lesdonnes ne sont recueillies qu lissue delexcution du projet. On procde souvent une analyse plusieurs variables pourliminer leffet des diffrences entre lesattributs des deux groupes dans lanalysestatistique.

Certaines valuations ne donnent lieu qulexamen des groupes touchs par le projettandis que dautres utilisent des groupestmoins correspondants. Il est possibledemployer des mthodes participativespour permettre aux groupes didentifier leschangements associs au projet, ceux quien ont bnfici et les autres, et les pointsforts et faibles du projet. La mthode detriangulation permet de comparer les informations produites par le groupe aux opinions de sources dinformationmajeures et dinformations secondaires. Il est possible de raliser des tudes de cas au niveau dindividus ou de groupes pour mieux comprendre le processus de changement.

Exemple

Projets dapprovisionnementen eau et dassainissement oufourniture dautres services telsque logements, quipementscollectifs, lorsque la demandeest suprieure loffre et queles bnficiaires sont slectionns par une mthodedchantillonnage par loterie.Exemple : Fonds socialbolivien

Ce modle a t utilis parla Banque mondiale dans lecadre de ses projets de logements bon march en El Salvador, en Zambie, auSngal et aux Philippines.

valuation de limpact desprogrammes de microcrdit auBangladesh. On a compar,dune part, les villages danslesquelles les programmes de microcrdit taient oprationnels et, dautre part,les villages ne bnficiant pasde tels programmes.

valuation de projets dapprovisionnement en eaugrs par les communauts en Indonsie.

Cot et temps indicatifsUn cinq ans, selon letemps requis pour quunimpact puisse tredtect. Cot pouvantaller de 50 000 1 million de dollarsselon lampleur et la complexit du programme examin.

Cot et dure similaires ceux du modle prcdent.

50 000 dollars et plus.Une tude ralise parcette mthode cotegnralement entre untiers et la moiti de cequelle coterait si lemodle un ou deux taitemploy.

25 000 dollars et plus(ltude mene enIndonsie a cot 150000 dollars). Certainestudes peuvent treacheves en un ou deuxmois ; dautres peuventprendre un an ou plus.

Quatre modles dvaluation de limpact

Ressources additionnellessur le suivi et lvaluation

Sites web

Banque mondiale : valuation, suivi et amlioration

de la qualit : http://www.worldbank.org/evaluation/

Renforcement des capacits de suivi et dvaluation :

http://www.worldbank.org/oed/ecd/

Informations sur le suivi et lvaluation :

http://www.mande.co.uk/

N

26

RENFORCEMENT DES CAPACITÉS D’ÉVALUATION...

Documents

Transcript of RENFORCEMENT DES CAPACITÉS D’ÉVALUATION...