Baker 2000 (évaluation de l'impact des projets de développement sur la pauvreté)

DIRECTIONS DU DEVELOPPEMENT

Evaluation de limpact des projets de Dveloppement sur la pauvret

Manuel lattention des Praticiens

Judy L. Baker

Banque Mondiale Washington, D.C.

2000 Banque Internationale pour la R econstruction et le Dveloppement / BANQUE MONDIALE 1818 H Street, N.W. Washington, D.C. 20433 Tous droits rservs Edit aux Etats-Unis dAmrique Premier tirage : Mai 2000 Les dclarations, interprtations et conclusions exprimes dans ce document nengagent que leurs auteurs et ne refltent aucunement les opinions de la Banque Mondiale ou des institutions qui lui sont affilies ni du Conseil des Administrateurs ou des pays quils reprsentent. La Banque Mondiale ne garantit pas lexactitude des donn es contenues dans cette publication et naccepte aucune responsabilit pour toute consquence dcoulant de leur usage. Le contenu de cette publication est protg par le droit dauteur. La Banque Mondiale encourage la diffusion de son travail et, dans les conditions normales, accordera rapidement la permission de reproduire des parties de louvrage. La Banque Mondiale accordera la permission de photocopier des articles pour une utilisation interne ou personnelle, pour lutilisation interne ou personnelle de clients spcifiques ou lutilisation comme matriel didactique, condition que les honoraires appropris soient pays directement Copyright Clearance Center, Inc. (Bureau du Droit dAuteur), 222 Rosewood Drive, Danvers, MA 01923, USA ; tlphone 978-750-8400, fax 978-750-4470. Prire de contacter le Bureau du Droit dAuteur avant la photocopie des articles. Pour obtenir la permission de rimprimer des articles ou des chapitres, prire denvoyer un fax de votre demande avec information complte au Dpartement de la Rdition, Copyright Clearance Center, Inc., Fax 978-750-4470. Pour plus de renseignements sur les droits et licences, prire de vous adresser au Bureau de lEditeur, Banque mondiale, ladresse ci-dessus ou envoyer un fax au 202-522-2422. ISBN 0-8213-4697-0

Bibliothque du Congrs. Fichier des donnes de la publication Baker, Judy L., 1960Evaluation de limpact des projets de dveloppement sur la pauvret : Manuel lAttention des Praticiens / Baker, Judy L., p. cm. (Directions du dveloppement) Rfrences bibliographiques incluses. ISBN 0-8213-4697-0 1. Projets de dveloppement conomique Evaluation Guide, manuels etc. 2. Pays pauvres en dveloppement I. Titre, II. Direction du dveloppement (Washington, D.C.)

HD75.9 .B35 2000338.900684 dc21 00-028325

Table des matires

Avant-propos Remerciements 1 Dfinition des concepts et techniques d valuation dimpact

vi viii 1 12

2 Dmarches cls dans la Conception et la mise en uvre des valuations de limpact 3 Application des mthodes analytiques dvaluation de limpact : Une tude de cas 4. Exploiter les valuations de limpact de la Meilleure Pratique 5. Bibliographie 6. Annexes

30 48 62 73 73

Annexes 1 : Etudes de cas 1.1 Evaluation des acquis des pauvres du programme protection-travail ( programme associant aide sociale et aide lemploi ) Le programme TRABAJAR de lArgentine 1.2 La micro-finance aide t-elle vraiment les pauvres ? Preuves nouvelles partir des programmes les plus importants au Bangladesh

73

79

iii

iv EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE 1.3 Education contre vivres au Bangladesh : Evaluation dun programme social cibl lorsque le placement est dcentralis 1.4 Evaluation du fonds dinvestissement social de la Bolivie 1.5 Impact des programmes de travail actifs : Rpublique Tchque 1.6 Impact du crdit et ducation sur la nutrition des mres et de leurs jeunes enfants : Programme de la Banque rurale du Lower Pra au Ghana 1.7 Manuels scolaires et rsultats des tests : Cas concret dune ventuelle valuation au Kenya 1.8 Evaluation du projet de vulgarisation agricole au Kenya 1.9 Impact du Programme de Recyclage du Mexique sur lemploi et les salaires (PROBECAT) 1.10 Programme national pour lducation, la sant, et la nutrition (PROGRESA) au Mexique (Proposition dvaluation ) . 1.11 Evaluation de la Rforme scolaire au Nicaragua : une approche quantitative et qualitative combine 1.12 Amliorer lenseignement des mathmatiques lmentaires au Nicaragua : Une tude exprimentale de limpact des manuels et de la radio sur la performance 1.13 Impact des programmes alternatifs de recouvrement des cots sur laccs aux soins de sant et lquit au Niger 1.14 Rsultats scolaires dans les tablissements primaires aux Philippines : Evaluation de limpact partir de quatre expriences 1.15 Evaluation de limpact des projets de routes rurales sur la pauvret au Vietnam Annexe 2 : Modle de termes de rfrence 2.1 Projet de nutrition et de dveloppement de la petite enfance de lOuganda 2.2 Evaluation de limpact des routes rurales :. Niveau de rfrence de 1997 au Vietnam 105 109 114

119 123 128 134 140 145

151 156

160 165 169 169 188

Annexe 3 : Budget type dune valuation de limpact dun Programme alimentaire au niveau scolaire Annexe 4 : Indicateurs dimpact Evaluation du fond social dinvestissement en Bolivie Annexe 5 : Modle de registre des rcapitulatifs de conception de projet pour le document dachvement du projet ou document dvaluation du projet Annexe 6 : Matrice danalyse Evaluation de limpact du fond social dinvestissement durgence au Nicaragua

195 198

204 208

TABLES DES MATIERES Encadrs 1.1 Le problme de la distorsion de slection 1.2 Rsum des mthodes quantitatives pour valuer limpact de programme 1.3 Rsum des mthodes employes pour valuer des politiques dajustement structurel 2.1 Principales dmarches dans la conception et lexcution dvaluations dimpact 2.2 Points cls pour identifier des ressources de donnes pour lvaluation dimpact 3.1 Etapes de lharmonisation du score de propension 3.2 Sources de distorsion dans les estimations primaires de limpact du PROSCOL 3.3 Faire une diffrence double 3.4 Mesures de la pauvret 3.5 Comparaison de la pauvret avec ou sans le Programme Tableaux 2.1 Contrle des mthodologies dvaluation et concordance des donnes 2.2 Principaux instruments de collecte de donnes pour lvaluation dimpact 4.1 Rsum des valuations dimpact de la Meilleure pratique 4.2 Rsum des cots estims partir de plusieurs valuations dimpact de la Banque Mondiale

V 5 6 11 17 21 50 53 56 59 60

28 32 67 79

Avant-Propos

Malgr les milliards de dollars injects dans laide au dveloppement chaque anne, nous savons encore peu de chose sur limpact rel des projets sur les pauvres. Les bnfices de la croissance conomique, les investissements en capital humain et la mise disposition de filets de scurit pour les pauvres sont largement documents Cependant, pour un programme ou projet spcifique dun pays donn, lintervention produit-elle les bnfices escompts et quel a t limpact global sur la population ? Le programme ou projet pourrait il tre mieux conu pour atteindre les rsultats escompts ? Les ressources sont- elles dpenses de faon efficiente ? Tels sont les types de questions auxquelles on ne peut rpondre que par une valuation dimpact, une approche qui mesure les rsultats dune intervention de programme en liminant les autres facteurs possibles. Beaucoup de gouvernements, dinstitutions et de directeurs de projet sont rticents effectuer des valuations dimpact parce quon les considre trop coteuses, prenant du temps et techniquement complexes et parce que les rsultats peuvent tre politiquement sensibles, surtout sils sont ngatifs. Beaucoup dvaluations ont aussi t critiques parce que les rsultats arrivent trop tard, ne rpondent pas aux bonnes questions ou nont pas t effectus avec la rigueur analytique suffisante. Une contrainte supplmentaire est souvent la disponibilit limite et la qualit des donnes. Pourtant avec une planification approprie et prcoce, lappui des dcideurs et un investissement relativement minime compar au cot global du projet, une valuation rigoureuse peut avoir une trs forte influence sur lestimation du caractre appropri et efficient des programmes. Lvaluation de limpact est particulirement critique dans des pays en dveloppement o les ressour ces sont rares et chaque dollar dpens doit aspirer maximiser son impact sur la rduction de la pauvret. Si les programmes sont mal conus, natteignent pas les populations cibles ou sont peu rentables, avec linformation juste ils peuvent tre reformuls, amliors, ou le cas chant abandonns. La connaissance acquise partir des tudes dvaluation dimpact fournira aussi la ressource dcisive pour la conception approprie de programmes et de projets futurs. Ce manuel cherche fournir aux dir ecteurs de projet et aux analystes de politique les outils ncessaires pour valuer limpact dun projet. Il est destin aux

vi

Avant-Proposlecteurs qui ont une connaissance gnrale des statistiques. Pour certaines des mthodes statistiques traites plus en profondeur le lecteur est pri de se reporter la littrature technique sur le sujet. Le chapitre 1 prsente une vue densemble des concepts et des mthodologies, le chapitre 2 traite des dmarches cls et des questions connexes cons idrer dans la mise en uvre, le chapitre 3 illustre les diverses techniques analytiques dvaluation par une tude de cas et le chapitre 4 contient une discussion de leons tires dun riche jeu dvaluations de " Meilleure Pratique" de projets de pauvret qui ont t revues pour ce manuel. Les tudes de cas contenues dans lannexe 1 ont t slectionnes partir dune gamme dvaluations effectues par la Banque Mondiale, dautres agences de donateurs, des institutions de recherche et des cabinets de conseil privs. Ils ont t choisis en fonction de leur rigueur mthodologique, dans une tentative de couvrir un ventail vari de situations de pays, de types de projets et de mthodologies dvaluation. Les annexes comportent galement des chantillons d e composantes essentielles qui seraient ncessaires pour planifier nimporte quelle valuation dimpact des modles de termes de rfrence, budgets, indicateurs dimpact, cadre de conception et matrice danalyse. Bien que les techniques employes dans lvaluation dimpact soient semblables travers des secteurs et des sous-groupes de population, les illustrations de mthodologies et les exemples de cas dans ce manuel se concentrent sur lvaluation de limpact sur des projets axs sur les pauvres. Limpact sur la pauvret peut englober une vaste gamme de projets et de questions dvaluation, comme la mesure de limpact de programmes de micro- finance sur le revenu du mnage, limpact dun programme de formation sur lemploi, limpact dun programme de cantine scolaire, sur lassiduit de ltudiant ou limpact de la reconstruction de routes rurales sur le bien-tre du mnage. Indpendamment du type de projet ou des questions traites, la conception de chaque valuation dimpact sera unique, selon des facteurs comme le type de donnes disponibles, les capacits locales et les proccupations de programmation du temps et de budget y affrents. Finalement, les valuations gnreront des rsultats de haute qualit, crdibles et gnralisables pour des dcideurs exigeront, un appui financier et politique fort ; une planification prcoce et prudente, une participation des partenaires dans la conception des objectifs et lapproche de ltude, des donnes fiables ; une combinaison approprie de mthodologies, y compris des techniques tant quantitatives que qualitatives ; lapplication rigoureuse de ces techniques ; et la communication entre les membres dquipe tout au long du processus.

Remerciements

La prparation de ce livre a bnfici des contributions inestimables dune quipe cl. Je voudrais remercier, tant pour leurs contributions crites que pour leurs commentaires utiles au cours du travail, les membres dquipe suivants : Gillette Hall (tudes de cas, leons tires), Julia Lane (tudes de cas, leons tires), Martin Ravallion (tude de cas de mthode analytique), et Laura Rawlings (questions de la mise en uvre, leons tires), et le travail sur lvaluation dimpact effectu par Kene Ezemenari, Gloria Rubio, Anders Rudqvist, et K. Subbarao. La recherche de fond a t effectue par Matthew Fleming et Samir Stewart. Le livre a bnfici du soutien conjoint de la Rgion Amrique Latine et Carabes et du Rseau pour la Rduction de la pauvret et de la Gestion Economique de la Banque mondiale sous la direction de Norman Hicks, Guillermo Perry et Michael Walton. Le travail a aussi bnfici normment des commentaires reus de Omar Arias, Sabina Alkire, Michael Bamberger, Soniya Carvalho, Wendy Cunningham, Norman Hicks, Shahidur Khandker, Norbert Schady, et Quentin Wodon.

viii

Chapitre 1 Dfinition des Concepts et Techniques pour lEvaluation dImpactUne valuation globale se dfinit dans la littrature comme une valuation qui intgre le contrle, lvaluation du processus, lvaluation du cot-bnfice et lvaluation dimpact. Cependant chacune de ces composantes est nettement diffrente. Le contrle aidera valuer si un programme est mis en uvre comme il a t planifi. Un systme de contrle de programme permet la rtroaction continue sur ltat de la mise en uvre du programme, lidentification des problmes spcifiques comme ils apparaissent. . Lvaluation du processus traite du fonctionnement du programme et se concentre sur des problmes de prestation de service. Les valuations cot-bnfice ou de rentabilit valuent des cots de programme (montaire ou non montaire), en particulier leur relation avec des utilisations alternatives des mmes ressources et des bnfices produits par le programme. Et finalement, lvaluation dimpact est destine dterminer de faon plus large si le programme a eu limpact dsir sur des individus, des mnages et des institutions et si ces effets sont attribuables lintervention du programme. Les valuations dimpact peuvent aussi explorer des consquences imprvues, soit positives soit ngatives sur les bnficiaires. Lintrt particulier de ce manuel est la mesure dans laquelle les bnfices du projet atteignent les pauvres et limpact que ces bnfices ont sur leur bien-tre. Certaines des questions traites dans lvaluation dimpact sont entre autres : quel a t limpact du projet sur les bnficiaires ? Certaines amliorations ont elles rsult directement du projet ou bien auraient - elles de toute faon t obtenues ? La conception du programme pouvait-elle tre modifie pour amliorer limpact ? Les dpenses taient-elles justifies ? Ces questions ne peuvent pas, cependant, tre simplement values par le rsultat dun projet. Dautres facteurs ou vnements peuvent tre en corrlation avec les rsultats, sans tre engendrs par le projet. Pour assurer la rigueur mthodologique une valuation dimpact doit estimer les effets contre factuels cest--dire ce qui serait arriv si le projet navait jamais vu le jour ou ce qui aurait pu arriver. Par exemple, si un diplm rcent dun programme de formation de travail trouve un emploi, est-ce que cest un rsultat direct du programme ou est- ce que lindividu de toute faon aurait trouv du travail ? Pour dterminer la comparaison contre factuelle il est ncessaire de distinguer leffet des interventions des autres facteurs une tche quelque peu complexe. Cela se fait travers la comparaison de groupes tmoins (ceux qui ne participent pas un programme ou nen reoivent pas de bnfices) avec les groupes cibles (les individus qui reoivent lintervention). Les groupes

2

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

tmoins sont choisis alatoir ement de la mme population que les participants au programme tandis que le groupe de comparaison est tout simplement le groupe qui nest pas pris en compte par ltude du Programme. Les groupes de comparaison aussi bien que les groupes de contrle devraient ressembler au groupe cible en tous points, la seule diffrence entre les groupes tant la participation au programme. La dtermination de la comparaison contre factuelle est au cur de la conception dvaluation. Elle peut tre ralise selon plusieurs mthodologies regroupes en deux grandes catgories, des conceptions exprimentales (alatoires) et des conceptions quasi exprimentales (non alatoires). Il est cependant difficile de distinguer limpact du programme des conditions contre factuelles qui peuvent tre affectes par lhistoire, la distorsion de la slection et la contamination. Des mthodes qualitatives et participatives peuvent aussi tre utilises pour valuer limpact. Ces techniques prsentent souvent des vues critiques sur les perspectives des bnficiaires, la valeur des programmes pour les bnficiaires, les processus qui auraient pu affecter les rsultats et une interprtation plus approfondie des rsultats observs lanalyse quantitative. Les forces et les faiblesses de chacune de ces mthodes sont traites plus en dtail ci-dessous. Comme le lecteur le constatera, aucune technique nest parfaite et par consquent lvaluateur doit dcider quant aux options pour chaque mthode choisie. La planification prcoce et soigne prsent era cependant beaucoup plus doptions mthodologiques dans la conception de lvaluation. Conceptions Exprimentales Les conceptions exprimentales galement connues comme alatoires sont gnralement considres comme la plus solide des mthodes dvaluation. En affectant de manire alatoire lintervention parmi les bnficiaires ligibles, le processus de nomination lui mme cre les groupes cibles et les groupes tmoins comparables qui sont statistiquement quivalents les uns des autres tant donn les tailles dchantillon appropries. Cest un rsultat trs positif parce que, dans la thorie les groupes tmoins produits par la nomination alatoire servent comme une parfaite comparaison contre factuelle libre des questions de distorsion de slections incommodantes qui existent dans toutes les valuations. Lavantage principal de cette technique est la simplicit dans linterprtation des rsultats limpact du programme sur le rsultat que lon value par la diffrence entre les moyennes des chantillons du groupe cible et le groupe tmoin. Un exemple est lvaluation de manuels scolaires au Kenya dans laquelle les valuateurs ont slectionn une rpartition alatoire de sites de programme, ont men une enqute de base, cr des groupes de contrle et ont ensuite administr le traitement qui dans ce cas tait la fourniture de manuels scolaires. Le fait davoir des groupes de contrle et des groupes cibles a alors permis aux valuateurs de dterminer clairement limpact des manuels sur lducatio n de ltudiant. Tandis que lon considre les conceptions exprimentales comme lapproche optimale lvaluation de limpact dun projet, en pratique plusieurs problmes subsistent. Dabord la simulation de distribution alatoire peut tre contraire la morale par suite du refus des bnfices ou services

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

3

aux membres autrement ligibles de la population pour les objectifs de ltude. Un exemple extrme serait le refus de traitement mdical qui peut savrer tre dimportance vitale pour certaines tranches dune population. Deuximement, il peut tre politiquement difficile de fournir une intervention un groupe et pas un autre. Troisimement, la porte du programme peut signifier quil ny a pas de groupes de non cible en tant que tels, avec un projet ou un changement de politique qui a une large porte par exemples un prt dajustement ou des programmes administrs un niveau national. Quatrimement, des individus au sein des groupes tmoins peuvent changer certaines caractristiques didentification pendant lexprience, ce qui pourrait infirmer ou affecter les rsultats. Si, par exemple, les gens se dplacent lintrieur et lextrieur dun secteur de projet, ils peuvent se dplacer lintrieur et lextrieur du groupe cible ou du groupe tmoin. Alternativement les gens qui on a refus un avantage de programme peuvent le chercher par des sources alternatives ou ceux qui un programme est destin peuvent ne pas jouir de lintervention. Cinquimement, il peut tre difficile dassurer que la slection est vraiment alatoire. Lexemple pourrait tre les administrateurs qui excluent des candidats haut risque pour raliser de meilleurs rsultats. Et finalement des conceptions exprimentales peuvent tre coteuses et prendre beaucoup de temps dans certaines situations, particulirement dans la collecte de nouvelles donnes. La planification rigoureuse peut permettre de surmonter certains de ces problmes dans la mise en uvre de conceptions exprimentales. La slection alatoire des bnficiaires constitue une voie. Cela peut tre employ pour fournir la fois un mcanisme dattribution politiquement transparent et la base dune conception dvaluation saine comme le budget o des contraintes de linformation rendent souvent impossible didentifier exactement et datteindre les bnficiaires les plus ligibles. Une deuxime voie se propose dinclure des groupes tmoins dans le programme une tape postrieure une fois que lvaluation a t conue et amorce. Dans cette technique, le choix alatoire dtermine plutt quand le bnficiaire ligible reoit le programme ou sil ne le reoit pas. Cette technique a t applique dans lvaluation dun programme de nutrition en Colombie qui a prsent lavantage complmentaire de traiter des questions relatives au temps ncessaire imparti pour que le programme devienne efficace dans la rduction de la sous alimentation (McKay 1978). Finalement la simulation de distribution alatoire peut tre applique dans un sous ensemble de bnficiaires galement ligibles, en atteignant tous les candidats les plus ligibles et en refusant les bnfices au moins ligibles comme cela a t fait pour lvaluation du fond s social des projets dducation dans la rgion dEl Chaco en Bolivie (Pradhan, Rawlings et Ridder 1998). Cependant, si la dernire suggestion est mise en uvre, il faut garder lesprit que les rsultats de lvaluation seront applicables au groupe dont lchantillon alatoirement constitu a t choisi. Conceptions Quasi Exprimentales Des mthodes quasi exprimentales (non alatoires) peuvent tre employes pour effectuer une valuation quand il nest pas possible de constituer les groupes cible et de comparaison

4


par une conception exprimentale. Ces techniques produisent les groupes de comparaison qui ressemblent au groupe cible, au moins dans des caractristiques observes, par des mthodologies dconomtrie, qui comprennent des mthodes correspondantes, des mthodes de diffrence doubles, des mthodes de variables instrumentales et des comparaisons rflexives (voir lEncadr 1.) Quand ces techniques sont employes, les groupes de traitement et les groupes de comparaison sont dhabitude choisis aprs lintervention en employant des mthodes non alatoires. Donc, des contrles statistiques doivent tre appliqus pour traiter des diffrences entre les groupes cibles et les groupes de comparaison et des techniques de correspondance sophistiques doivent tre utiliss pour constituer un groupe de comparaison qui est aussi semblable que possible au groupe cible. Dans certains cas un groupe de comparaison est aussi slectionn avant le traitement, bien que la slection ne soit pas alatoire. Lavantage principal des conceptions quasi-exprimentales est quelles peuvent partir de sources de donnes existantes et sont ainsi souvent plus rapides et peu coteuses mettre en uvre et elles peuvent tre excutes aprs quun programme ait t mis en uvre, compte tenu des donnes existantes suffisantes. Les principaux inconvnients des techniques quasiexprimentales sont : (a) la fiabilit des rsultats est souvent rduite puisque la mthodologie est statistiquement moins rigoureuse ; (b) les mthodes peuvent tre statistiquement complexes ; et (c) il y a un problme de slection biaise. En crant un groupe de comparaison plutt que den choisir un alatoirement, beaucoup de facteurs peuvent affecter la fiabilit des rsultats. La complexit statistique exige lexpertise considrable dans la conception de lvaluation et dans lanalyse et linterprtation des rsultats. Cela ne peut pas toujours tre possible, particulirement dans certaines circonstances des pays en voie de dveloppement. Le troisime problme de distorsion de choix tient au fait que les sous- groupes dune population cible participe diffremment un programme, affectant ainsi lchantillon et en fin de compte les rsultats. Il y a deux types de slection biaise : ceux en raison des diffrences observables ou autre dans les donnes et ceux en raison des diffrences non observables (pas dans les donnes), souvent appeles slection biaise (Encadr 1.1) Une slection biaise observable pourrait comprendre les critres de choix par lesquels un individu est identifi, comme lemplacement gographique, la scolarisation ou la participation au march du travail. Les lments non observables qui peuvent biaiser les rsultats de programme pourraient inclure la capacit individuelle, lempressement travailler, des rapports de famille et un processus subjectif de choix (souvent politiquement orient) des individus pour un programme. Les deux types de distorsion de slection peuvent engendrer des rsultats imprcis, comprenant une sous estimation et surestimation dimpacts rels de programme dimpacts ngatifs, quand les impacts rels de programme sont positifs (et vice versa) et des impacts statistiquement insignifiants quand des impacts rels de programme sont significatifs et vice versa. (Voir, par exemple, LaLonde 1986, Fraker et Maynard 1987, Lalonde et Maynard 1987 et Friedlander et 1995 Robins.) Il est possible de matriser le biais par des techniques statis tiques comme la combinaison, et les variables instrumentales, mais il est trs difficile de les corriger entirement


5

ce qui reste un dfi principal pour des chercheurs dans le domaine danalyse dimpact. Parmi les techniques de conception quasi-exprimentale, les techniques de combinaisons mixtes sont gnralement considres comme une seconde meilleure alternative de la conception exprimentale. La majorit de la littrature sur la mthodologie dvaluation est centre sur lutilisation de ce type dvaluation, refltant tant la frquence dutilisation des groupes de comparaison que les nombreux dfis poss par le fait davoir des groupes de comparaison moins meilleurs. Ces dernires annes il y a eu des avances substantielles dans la propension des techniques de combinaisons de score. (Rosenbaum et Rubin 1985 ; Jalan et Ravallion 1998). Cette mthode est

Encadr 1.1 Le Problme de la Distorsion de ChoixLa slection biaise est relative aux lments inobservables qui peuvent dformer les rsultats (par exemple la capacit individuelle, les conditions prexistantes). Des expriences alatoires rsolvent le problme de la distorsion de choix en crant un groupe tmoin exprimental de gens qui auraient particip un programme mais qui on avait dlibrment refus laccs au programme ou le traitement. La nomination alatoire nenlve pas la slection biaise mais quilibre par contre la distorsion entre les chant illons participants et non participants. Dans les conceptions quasi-exprimentales, les modles statistiques (par exemple, la concordance, les diffrences doubles des variables instrumentales) abordent ceci en modelant les processus de slection pour arriver une estimation non distorsion utilisant des donnes non exprimentales. Lide gnrale consiste comparer des participants du programme et les non participants en maintenant des processus de slection constants. La validit de ce modle est tributaire de la spcification du modle. Les salaires des femmes constituent un bon exemple. Les donnes reprsentent les femmes qui veulent travailler. Si cette dcision tait prise, nous pourrions ignorer le fait que ce ne sont pas tous les salaires qui sont valus et utiliser la rgression ordinaire pour valuer un modle de salaire. Certes, la dcision des femmes de travailler nest pas prise au hasard des femmes qui auraient de bas salaires ne choisiraient vraisemblablement pas de travailler parce que leur salaire minimum accept est plus lev que le salaire offert par les employeurs. Ainsi lchantillon de salaires observs pour des femmes serait tir vers le haut. Cela peut tre corrig sil y a des variables qui affectent fortement les chances pour lobservation (le salaire minimum accept) ; mais pas le rsultat de ltude (le salaire offert). Une telle variable pourrait tre le nombre denfants charge la maison. Source : Greene (1997).

6

EVALUATION DE L'IMPACT DES PROJET S DE DEVELOPPEMENT SUR LA PAUVRETE

trs attirante pour les valuateurs qui ont des contraintes de temps et qui travaillent sans le bnfice de donnes de base tant donn quelles peuvent tre utilises avec un chantillon de donnes. Cette technique est cependant tributaire de l'acquisition de donnes fiables parce qu'elle repose sur des bnficiaires d'un programme sur- chantillonn pendant la suspension d'une plus large enqute en les associant ensuite un groupe de comparaison choisi de plus grand chantillon de l'effort d'ensemble, souvent une enqute nationale sur les mnages. Compte tenu de la croissance des demandes de grandes enqutes dans les pays en voie de dveloppement, tel que les Etudes de Mesure de niveaux de vie objectifs multiples, cette mthode d'valuation semble tre particulirement prometteuse. Un bon exemple est l'valuation d'un programme de travaux publics -TRABAJAR- en Argentine (Jalan et 1998 Ravallion, l'Annexe 1.1 et le chapitre 4).

Encadr 1.2 Rsum des Mthodes Q uantitatives pour Evaluer l'Impact de Programme Les principales mthodes pour l'valuation d'impact sont traites ci-dessous. Etant donn, quaucune mthode n'est parfaite, il est toujours souhaitable de procder par triangulation Conception de Vrification Exprimentale ou Alatoire. La simulation alatoire dans laquelle le choix du traitement et des groupes tmoins est alatoire au sein de quelques groupes de gens bien dfinis. Dans ce cas il ne doit y avoir aucune diffrenc e (dans lattente) entre les deux groupes en plus du fait que le groupe cible avait accs au programme. (Il peut toujours y avoir des diffrences en raison derreur dchantillonnage ; plus la taille des chantillons de traitement et de vrification est grande, moins il y a d'erreur). Des conceptions non exprimentales ou quasi -exprimentales Harmonisation des mthodes ou vrifications construites dans lesquelles on essaye de choisir des comparaisons idales qui correspondent au groupe de traitement d'une enqute gnralise. Le type d'harmonisation le plus employ est l'harmonisation du score de propension, dans laquelle le groupe de rfrence est mis en relation avec le groupe de traitement sur la base d'un jeu de caractristiques observes ou en employant "le score de propension" (la probabilit de la participation prvue compte tenu des caractristiques observes); plus le score de propension se rapproche, et meilleure est l'harmonisation. Un bon groupe de comparaison

DEFINITION DES CONCEPT S ET TECHNIQUES POUR LEVALUATION DIMPACT

7

vient du mme environnement conomique et tait soumis au mme questionnaire par des enquteurs forms de la mme manire que le groupe de traitement. Mthodes de la double diffrence ou de la divergence dans la diffrence, dans lesquelles on compare un groupe de traitement et un groupe de comparaison (la premire diffrence) avant et aprs un programme (la deuxime diffrence). Ceux qui oprent la comparaison devraient tre arrts quand ils utilisent les scores de propension et quils ont des scores qui se situent en dehors de la gamme observe pour le groupe de traitement. Des variables instrumentales ou des mthodes de vrification statistiques, dans lesquelles on emploie une ou plusieurs variables qui concernent la participation, et non les rsultats de la participation donne. Cela identifie la variation exogne dans les rsultats attribuables au programme, reconnaissant que son placement nest pas alatoire, mais intentionnel. Les variables instrumentales sont dabord utilises pour prvoir la participation au programme ; alors on voit comment lindicateur de rsultat varie avec les valeurs prvues. Des comparaisons rflexives, dans lesquelles une enqute initiale est faite sur des participants avant l'intervention et une enqute complmentaire est faite aprs. L'enqute de base fournit le groupe de comparaison et l'impact est mesur par le changement d'indicateur de rsultat avant et aprs lintervention.

Mthodes Qualitatives Des techniques qualitatives sont aussi utilises pour faire l'valuation d'impact dans l'intention de dterminer l'impact par la confiance quelque chose d'autre que la comparaison avec un groupe tmoin pour faire une interfrence causale (Mohr 1995). Le centre d'intrt se situe en revanche sur la comprhension du processus, des comportements et conditions tels qu ils sont perus par les individus ou les groupes tudis (Valadez et Bamberger1994). Par exemple, l'observation des mthodes qualitatives et particulirement l'observation des participants peut permettre de comprendre les faons dont les mnages et les communauts locales peroivent un projet et comment celui-ci les affecte. Parce que la mesure de la comparaison avec un groupe tmoin se situe au cur des techniques d'analyse d'impact, des conceptions qualitatives ont t gnralement employes conjointement avec d'autres techniques d'valuation. L'approche qualitative emploie des mthodes relativement ouvertes pendant la conception, la collecte des donnes et l'analyse. Des donnes qualitatives peuvent aussi tre quantifies. Parmi les mthodologies employes dans des valuations d'impact qualitatives, il y a les techniques dveloppes pour l'valuation rurale rapide, qui repose sur la connaissance par les participants des conditions environnantes du projet ou du programme dans toutes les tapes de l'valuation ou des valuations

8


participatives dans lesquelles les partenaires sont impliqus dans toutes les tapes de l'valuation - dtermination de l'valuation des objectifs de l'tude, identification et slection des indicateurs utiliser et participation la collecte de donnes et l'analyse. Pour une discussion dtaille des mthodes participatives voir la Banque Mondiale (1996), Le "Livre de Base sur lvaluation participative de la Banque Mondiale. Les avantages des valuations qualitatives consistent en ce qu'elles sont flexibles, peuvent tre spcifiquement construites aux besoins de l'valuation utilisant des approches ouvertes, peuvent tre effectues rapidement en utilisant des techniques rapides et peuvent normment accrotre les rsultats d'une valuation dimpact en fournissant une meilleure comprhensi n des perceptions et priorits des partenaires et des conditions et processus qui o auraient pu affecter l'impact du programme. Parmi les inconvnients majeurs, il y a la subjectivit en jeu dans la collecte des donnes, le manque d'un groupe de comparaison et le manque de rigueur statistique tant donn les tailles principalement petites des chantillons, rendant difficile la gnralisation une population plus large et reprsentative. La validit et la fiabilit des donnes qualitatives dpendent fortement de la comptence mthodologique, la sensibilit et la formation de l'valuateur. Si le personnel de terrain n'est pas sensible aux normes et pratiques sociales et culturelles spcifiques et aux messages non verbaux, les donnes collectes peuvent tre mal interprtes. Et finalement sans un groupe de comparaison, il est impossible de dterminer le groupe tmoin et ainsi la consquence d'impact du projet. Combinaison de Mthodes Quantitatives et Qualitatives Bien qu'il existe une large littrature sur les mthodes qualitatives et quantitatives d'impact, il y a aussi une acceptation croissante du besoin de combiner les deux approches. Les valuations d'impact utilisant des donnes quantitatives d'chantillons statistiquement reprsentatives sont meilleures et conviennent l'valuation de la causalit utilisant des mthodes conomtriques ou lobtention d'une conclusion gnralisable. Cependant, des mthodes qualitatives permettent l'tude approfondie des questions slectionnes, des cas ou des vnements et peuvent prsenter des aperus critiques dans les perceptives des bnficiaires la dynamique d'une rforme particulire ou les causes caches de certains rsultats observs dans une analyse quantitative. Il y a des diffrences significatives dans le choix d'une technique au lieu d'une autre. La combinaison des valuations quantitatives et qualitatives peut souvent s'avrer la meilleure voie pour rpondre aux besoins d'information du projet. Dans la fusion des deux approches, des mthodes qualitatives peuvent tre employes pour informer sur les questions cls de l'valuation d'impact, examiner le questionnaire ou la stratification de l'chantillon qualitatif et analyser le contexte social, conomique et politique dans lequel un projet se situe tandis que des mthodes quantitatives peuvent tre employes pour informer des stratgies de collecte de donnes qualitatives concevoir l'chantillon, informer dans quelle mesure les rsultats observs dans


9

le travail qualitatif peuvent tre gnraliss une plus grande population en utilisant un chantillon statistiquement reprsentatif et, l'analyse statistique peut tre employe pour contrler les caractristiques du mnage et les conditions socio- conomiques de diffrents secteurs d'tude liminant ainsi des explications alternatives des rsultats observs. Il y a plusieurs avantages utiliser des approches intgres dans la recherche faite par Bamberger (2000) qui s'applique aussi aux valuations d'impact. Parmi ceux-ci : Les contrles de cohrence peuvent tre intgrs l'aide des procdures de triangulation qui permettent deux ou plusieurs valuations indpendantes d'tre faites pour des variables cls (comme le revenu, les avis sur des projets, les raisons d'employer ou non des services publics et l'impact spcifique d'un projet). Des perspectives diffrentes peuvent tre obtenues. Par exemple, bien que les chercheurs puissent considrer le revenu ou la consommation comme indicateurs cls de bien-tre du mnage, les tudes de cas peuvent rvler que les femmes sont plus concernes par la vulnrabilit (dfinie comme le manque d'accs aux systmes d'appui social dans les temps de crise, l'absence de pouvoir ou l'exposition la violence). L'analyse peut tre conduite des niveaux diffrents. Les mthodes d'enqute peuvent fournir les bonnes valuations du bien-tre de l'individu, du mnage et au niveau de la communaut, mais ils sont beaucoup moins efficaces pour analyser des processus sociaux (conflit social, raisons d'employer ou de ne pas employer des services, etc.) ou pour l'analyse institutionnelle (comment fonctionnent efficacement la sant, l'ducation, le crdit et d'autres services et comment ils s perus par la ont communaut). Il y a beaucoup de mthodes qualitatives conues pour analyser des questions comme le processus social, le comportement institutionnel, la structure sociale et le conflit. Des possibilits peuvent tre offertes la rtroaction pour aider interprter les rsultats. Les rapports d'enqute comportent frquemment des rfrences aux incohrences apparentes dans les rsultats ou aux diffrences intressantes entre communauts ou groupes que l'on ne peut pas expliquer par des donnes. Dans la plupart des recherches quantitatives, une fois la phase de collecte de donnes acheve, il n'est pas possible de retourner sur le terrain pour vrifier de telles questions. La plus grande flexibilit de la recherche qualitative rside dans la possibilit de retourner sur le terrain pour recueillir des donnes complmentaires. Des enquteurs emploient aussi des mthodes qualitatives pour vrifier des points extrmes - rponses qui divergent des modles gnraux. Dans de nombreux cas, l'analys te de donnes doit prendre une dcision arbitraire comme pour savoir si un mnage ou une communaut qui prsente des conditions qui sont significativement au-dessus ou au-dessous de la norme doivent tre exclus (en supposant qu'ils refltent une erreur de rapport) ou si les chiffres doivent tre ajusts. Les mthodes qualitatives permettent un suivi rapide sur le terrain pour vrifier ces cas.

10


En pratique la combinaison des mthodes quantitatives et qualitatives devrait tre effectue chaque tape de l'valuation. Le chapitre 2 mentionne plusieurs possibilits pour le faire. Par exemple la Rforme de l'Autonomie de l'Ecole au Nicaragua fournit un bon exemple de mthodes intgres. Des mthodes quantitatives aprs une conception quasi exprimentale ont t employes pour dterminer le rapport entre la gestion dcentralise et l'tude et gnraliser des rsultats pour les diffrents types d'cole. En plus des techniques qualitatives comprenant une srie d'interviews cls d'information et des discussions du groupe cible avec le personnel local de diffrentes coles et des parents dlves ont t utilises pour analyser le contexte dans lequel la Rforme a t prsente, examiner la dynamique du processus de dcision dans chaque cole et valuer les perspectives de diffrents acteurs de la communaut scolaire quant au processus d'autonomie (voir Annexe 1.11). Autres Approches pour l'Evaluation de l'Impact

Deux autres termes sont particulirement appropris pour la discussion de l'valuation de l'impact des projets sur la pauvret : (a) des approches de la mesure de l'impact des Programmes d'Ajustement Structurel et (b) des valuations base de thorie. Tous les deux intgrent beaucoup de mthodologies traites ci-dessus, mais chacun emploie une approche diffrente. Evaluation des Programmes d'Ajustement Structurel. Il y a eu un dbat substantiel sur l'impact des programmes d'ajustement structurel sur le pauvre. Une grande partie des justifications utilises pour soutenir ce dbat est, cependant, base sur des mthodes et des hypothses dficientes. Tout comme d'autres projets, les changements de politique au titre des Programmes d'Ajustement Structurel doivent tre (a) compars avec des hypothses contre factuelles adaptes aux mmes contraintes macro -conomiques et (b) analyss dans le contexte de la structure conomique locale et bass sur l'information empirique tire d'enqutes sur le mnage. Ceci, cependant e trs difficile pour trois raisons. D'abord, les st changements de politique peuvent avoir un impact conomique de grande envergure ne permettant pas de trouver les groupes de comparaison inchangs. Deuximement, cause des facteurs exognes, des retards, des rtroactions et des substitutions, n'importe quels changements du bien-tre des pauvres doivent tre interprts avec une prcaution extrme. Et troisimement, il est difficile de prvoir ce qui serait arriv si l'ajustement n'avait pas eu lieu - quelles politiques alternatives un gouvernement aurait pu poursuivre et quel en serait l'impact sur le pauvre. Dans la littrature, plusieurs approches ont t utilises, chacune avec ses propres dfauts. Les techniques sont dans de nombreux cas semblables celles dcrites dans l'encadr 1.2, bien que, comme indiqu dans l'encadr 1.3, valuer la comparaison contre factuelle ncessite de grandes hypothses qui peuvent considrablement affecter la validit des rsultats. Ceci est trait de la faon la plus viable en isolant les changements de politiques spcifiques


11

qui affecteraient la population, comme la politique de taux de change, la politique commerciale, des rductions de dpenses publiques et des rductions de l'emploi du secteur public. Cependant, mme avec cette approche il peut tre difficile d'isoler l'impact de politiques spcifiques. En guise d'exemples, voir Killick (1995), Poppele, Summarto et Pritchett (1999), Bourguignon, de Melo et Suwa (1991) et Sahn, Dorosh et Younger (1996).

Encadr 1.3 Rsum des Mthodes Employes pour Evaluer des Politiques d'Ajustement Structurel Approches sans comparaison contre factuelle Des tudes qualitatives qui valuent les conditions de la population (identification des sous-groupes vulnrables) avant, pendant, aprs que des politiques d'ajustement soient mises en oeuvre travers des groupes cibles, des interviews et d'autres techniques qualitatives. "Avant et Aprs", qui compare la performance des variables cls pendant et aprs un programme avec celles avant le programme. L'approche emploie des mthodes statistiques pour valuer s'il y a un changement significatif de quelques variables essentielles avec le temps. Cette approche engendre souvent des rsultats biaiss parce qu'elle suppose que, si cela navait pas t le programme, les indicateurs de performance auraient pris leurs valeurs de priode d'avant crise. Approches qui Gnrent une Comparaison Contre Factuelle Utilisant des Hypothses Multiples Des modles d'quilibre gnraux calculables (CGEs) qui tentent d'opposer les rsultats dans les groupes de traitement et de comparaison par des simulations. Ces modles cherchent tracer l'opration de l'conomie relle et sont gnralement bass sur des matrices de comptabilit sociales dtaille rassembles partir des donnes sur des comptes nationaux, des enqutes de dpense, du mnage et d'autres donnes d'enqute. Des modles CGE gnrent souvent des rsultats pour la comparaison contre factuelle bien que la force du modle soit entirement tributaire de la validit des hypothses. Cela peut tre pro blmatique tant donn que des bases de donnes sont souvent incompltes et la plupart des paramtres nont pas t estims par des mthodes conomtriques formelles. Des modles CGE prennent aussi beaucoup de temps, sont encombrants et reviennent chers gnrer.(Lencadr continue sur la page suivante)

12


Encadr 1.3 (suite) Avec et sans des comparaisons qui analysent le comportement dans des variables cls dans un chantillon de pays de programme avec leur comportement dans des pays sans programme (un groupe de comparaison). C'est une approche la question contre factuelle exploitant les expriences du groupe de comparaison comme mandataire pour ce qui serait autrement arriv dans les pays du programme. Il est, cependant, tout fait difficile de raliser un vrai groupe de comparaison. La mthode suppose que seule l'adoption d'un programme distingue un pays de programme du groupe de comparaison et , que, l'environnement externe affecte les deux de la mme manire. Des vrifications statistiques consistant en des rgressions qui contrlent les diffrences dans les conditions et les politiques entreprises dans les pays avec ou sans programme. L'approche identifie les diffrences entre le programme et des pays sans programme dans la priode de pr-programme et contrle en suite ces diffrences statistiquement pour identifier les impacts isols des programmes dans la performance de post-rforme.

L'valuation base de thorie. La prmisse des valuations base de thorie est que les programmes et projets sont bass sur une thorie explicite ou implicite sur comment et pourquoi un programme va russir. L'valuation serait alors base sur l'valuation de chaque thorie et hypothse d'un programme pendant la mise en uvre plutt qu' mi-parcours ou aprs que le projet a t achev. Dans la conception de l'valuation, la thorie sous- jacente est prsente en plusieurs micro tapes avec les mthodes ensuite labores pour la collecte des donnes et l'analyse pour le droulement des hypothses. Si les vnements ne se passent pas comme prvu l'valuation peut indiquer avec une certaine confiance o, pourquoi et comment la dfaillance est arrive. L'approche met l'accent sur les rponses des participants aux activits du programme. Les thories dirigent l'attention de l'valuateur sur des types d'impacts probables court et long terme. Parmi les avantages, il y a, d'abord que l'valuation fournit des indicatio ns rapides de l'efficacit du programme pendant la mise en uvre du projet. S'il y a des dfaillances pendant la mise en uvre, il est possible de les situer le long du parcours. Deuximement l'approche aide expliquer comment et pourquoi les effets se so nt produits. Si les vnements se passent comme prvu l'valuation peut indiquer avec une certaine confiance comment les effets se sont produits. En suivant l'ordre des tapes, il est possible de suivre la trace les micro-tapes qui ont conduit des ressources du programme jusqu'aux rsultats.


13

Les dfauts de l'approche sont semblables beaucoup d'autres mthodologies. Particulirement : (a) des hypothses identifiables et des thories peuvent tre en soi complexes, (b) les valuateurs peuvent rencontrer des problmes pour mesurer chaque tape, moins que les donnes et les instruments corrects ne soient disponible, (c) des problmes peuvent surgir dans l'ap prciation de l'effort parce que les dclarations thoriques peuvent tre trop gnrales pour permettre une apprciation nette, et (d) il peut y avoir les problmes d'interprtation qui rendent difficile la gnralisation des rsultats (voir Weiss). Un exemple de la technique base de thorie est pilot par le Dpartement des Oprations et d'Evaluation de la Banque Mondiale pour valuer l'impact des fonds d'investissement social sur les processus de prise de dcision au niveau de la communaut, les structures de pouvoir traditionnelles et les relations et la capacit de la communaut, la confiance et le bien tre. Ce sera bas sur la thorie que les groupes prioritaires peuvent efficacement mettre en uvre un projet, le faire fonctionner et sauvegarder l'investissement cr par le projet. Un jeu des hypothses principales et des sous-hypothses a t expos et sera valu en employant des donnes existantes d'enqutes sur les mnages aussi bien qu'un instrument d'enqute particulirement conu pour un chantillon plus restreint et des groupes cibles et d'autres techniques PRA. L'information de chacune de ces sources de donnes sera exploite triangulairement. Analyse du cot bnfice ou de rentabilit Tandis que ce type d'analyse n'est pas strictement concern par des mesures d'impact, il permet aux dcideurs de mesurer l'efficacit d'un programme en comparant des interventions alternatives sur la base du cot de production d'un rsultat donn. Il peut normment accrotre les implications de la politique de l'valuation de l'impact et doit donc aussi tre inclus dans la conception de n'importe quelle valuation d'impact (Pour une discussion plus complte sur l'analyse du cot bnfice et de rentabilit, voir le Manuel sur l'Analyse Economique des Oprations et d'Investissement de la Banque Mondiale 1996.) L'analyse du cot bnfice essaie de mesurer l'efficacit conomique des dpenses d'un programme par rapport aux bnfices du programme, en termes montaires. Pour beaucoup de projets, particulirement, dans les secteurs sociaux, il n'est pas possible de mesurer tous les bnfices en termes montaires. Par exemple, les bnfices d'un programme de fournitures scolaires (livres, matriels didactiques) devraient tre une ducation accrue. Au lieu de mesurer les rsultats montaires, les rsultats de ralisation de l'ducation pourraient tre exploits pour valuer quantitativement les bnfices, ce qui exigerait l'analyse de la rentabilit. Les concepts pour les deux types d'analyse sont les mmes. Les principales tapes de l'analyse du cot bnfice ou de rentabilit doivent identifier toutes les dpenses et tous les bnfices d'un projet et calculer ensuite une proportion du cot par rapport l'efficacit. Dans le calcul des dpenses, la valeur de l'intervention

14


doit tre incluse aussi bien que toutes les autres dpenses, comme l'administration, la prestation de services, les dpenses d'investissement (escomptes la valeur prsente nette), la valeur montaire des marchandises ou services gratuitement fournis, les dpenses sociales comme la dtrioration environnementale et les risques pour la sant. Les bnfices peuvent tre montaires comme le gain ou le nombre d'units livres, des rsultats de test ou des amliorations de sant. Quand les bnfices ne peuvent tre valus quantitativement, il est possible d'employer des indicateurs subjectifs comme les systmes d'indemnit ou de classement. Cette approche cependant peut tre biaise dans l'interprtation des rsultats subjectifs. Une fois que les dpenses et bnfices ont t arrts, le ratio de rentabilit (R) est donc R= cot/unit (ou bnfice). Ce ratio peut ensuite tre compar travers des interventions pour mesurer l'efficacit. En thorie, cette technique est tout fait directe. En pratique, cependant, beaucoup de risques impliqus dans l'identification et la quantification des cots et bnfices. Il est important de s'assurer que des indicateurs appropris soient choisis, que les mthodologies et les hypothses conomiques employes soient cohrentes travers les ratios, et que les ratios soient effectivement comparables. Et comme dans d'autres techniques employes dans l'analyse de l'impact, l'valuation de la rentabilit peut tre mieux faite quand on l'inclut dans la conception de l'valuation ds les toutes premires tapes. Cela permet de collecter l'information sur le cot et bnfice ncessaire et d'assurer la cohrence.

Le choix d'une mthodologieCompte tenu la diversit des types de projet, des questions d'valuation, de la disponibilit des donnes, le cot, les contraintes de temps et les situations de pays, chaque tude d'valuation d'impact sera diffrente et ncessitera une certaine combinaison de mthodologies appropries, la fois quantitatives et qualitatives. L'valuateur doit soigneusement explorer les options mthodologiques dans la conception de l'tude dans le but d'obtenir les rsultats les plus fiables possibles. Parmi les mthodes quantitatives on considre les conceptions exprimentales et les comparaisons harmonises comme la seconde meilleure alternative. D'autres techniques, cependant, peuvent aussi produire des rsultats fiables, particulirement avec une bonne conception de l'valuation et des donnes de haute qualit. Sil est vident que les valuations "Meilleure Pratique" passes en revue pour ce manuel fait ressortir que le choix des mthodologies d'valuation d'impact n'est pas mutuellement exc lusif. En effet des valuations plus fiables combinent souvent des mthodes afin d'assurer la fiabilit et prvoir des ventualits dans la mise en uvre. La combinaison des approches avec et sans et avant et aprs utilisant la fusion des donnes de base et des donnes de suivi constitue une combinaison fortement recommande du point de vue mthodologique (Subbarao, et autres 1999). La disponibilit des donnes de base permettra aux valuateurs de vrifier l'intgrit des groupes de traitement et des groupes de comparaison, d'valuer le ciblage et de se prparer pour une valuation d'impact fiable. Ceci est vrai mme pour


15

des conceptions de simulation alatoire. Bien que la simulation alatoire assure des groupes cibles et de comparaison quivalente au moment du choix, cette particularit ne doit pas pousser les valuateurs penser qu'ils n'ont pas besoin de donnes de base. En effet, les donnes de base peuvent tre cruciales pour rtablir pourquoi certains vnements ont eu lieu et faire un contrle pour ces vnements dans l'valuation d'impact. Il est aussi fortement recommand que le cot-bnfice ou la rentabilit soit incorpor dans l'analyse. Cette mthodologie peut permettre aux dcideurs de comparer des interventions alternatives sur la base du cot de production d'un rsultat donn. Ceci est particulirement important dans le contexte des pays en dveloppement o les ressources sont extrmement limites. Finalement, la combinaison des mthodes quantitatives et qualitatives est l'idal parce qu'elle fournira l'impact quantifiable d'un projet aussi bien qu'une explication des processus et des interventions qui ont gnr ces rsultats. Bien que chaque valuation d'impact ait des caractristiques uniques ncessitant des approches mthodologiques diffrentes, certaines caractristiques considres comme bonnes pratiques comprennent : une estimation des comparaisons contre factuelles faite par (a) lutilisation de la nomination alatoire pour crer un groupe tmoin (la conception exprimentale) et (b) l'utilisation approprie et soigne d'autres mthodes comme la mise en parallle pour crer un groupe tmoin (la comparaison quasi exprimentale) le contrle des diffrences d'avant et daprs programme chez les participants et lobservation des signes des impacts de programme ; sassurer quil y a des donnes appropries collectes au dpart et pendant le suivi (incluant des dlais suffisants pour permettre de tenir compte des impacts d'un programme). Les groupes cibles et les groupes de contrle sont de tailles suffisantes pour tablir des inductions statistiques avec une usure minimale. L'analyse cot-bnfice ou de rentabilit est ralise pour mesurer l'efficacit du projet. Des techniques qualitatives sont intgres pour permettre la triangulation des rsultats.

Chapitre 2 Dmarches Cls dans la Conception et la Mise en uvre des Evaluations d'ImpactEntreprendre une tude d'valuation d'impact peut tre stimulant et coteux avec des questions relatives la mise en uvre qui surgissent continuellement. Ces dfis mettent en vidence l'importance d'une tude bien conue, une quipe engage et hautement qualifie et une bonne communication entre les membres de l'quipe d'valuation. En incorporant ds le dpart l'valuation dans la conception d'un projet, il sera possible d'obtenir des rsultats en temps opportun pour que les conclusions puissent tre utilises pour les rajustements mi-parcours des composantes spcifiques. Indpendamment de la taille, du type de programme ou de la mthodologie employe pour l'valuation, il y a plusieurs dmarches cls effectuer comme dcrit ci-dessous (Encadr 2.1) Ce chapitre fournira un expos de ces dmarches ainsi qu'un expos des nombreuses questions qui peuvent surgir dans la mise en uvre. La succession de ces dmarches est critique particulirement pour assurer la collecte des donnes ncessaires avant que le projet nentre en excution. La planification faite temps fournit l'occasion de faire une simulation alatoire, de construire a priori des comparaisons parallles, de collecter des donnes de base et didentifier des enqutes qui pourraient tre utilises dans une approche associant des rsultats de tendance. Tout le travail de conception et de collecte des donnes initiales doit se faire pendant l'identification et la prparation du projet. Idalement, quelques rsultats seront disponibles pendant la mise en uvre du projet de faon qu'ils puissent servir l'amlioration de la conception du projet si ncessaire. Un bon exemple de plans d'valuation incorpors ds les toutes premires tapes est illustr dans le Projet de Nutrition et de Dveloppement de la Petite Enfance en Ouganda. Dterminer lopportunit deffectuer une valuation Une premire dcision est de savoir si une valuation d'impact est ncessaire ou non. Comme discut ci-dessus les valuations d'impact diffrent des autres valuations en ce qu'elles sont centres sur l'valuation de la causalit. Etant donn la complexit et le cot de l'excution de l'valuation d'impact, les cots et les bnfices doivent tre valus et lutilisation dune autre approche qui serait plus approprie, comme le contrle des indicateurs cls de performance ou une valuation du processus, devrait galement tre envisage. Ces approches ne devraient pas

* Ce chapitre sest beaucoup inspir dun expos prpar par Laura Rawlings,

Implementation Issues in Impact Evaluation, Processed, 1999.

16

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 17

Encadr 2.1 Principales dmarches dans la conception et l'excution des valuations d'impact Pendant l'Identification et la Prparation du Projet 1. Dterminer s'il faut ncessairement effectuer une valuation ou non 2. Clarifier les objectifs de l'valuation 3. Explorer la disponibilit des donnes 4. Concevoir l'valuation 5. Former l'quipe d'valuation 6. Si des donnes seront collectes : (a) Conception et slection des chantillons (b) Dveloppement de l'instrument de collecte des donnes (c) Recruter et former le personnel de terrain (d) Raliser lenqute pilote (e) Collecte de donnes (f) Gestion et accs aux donnes Pendant la Supervision du Projet 7. Poursuivre la collecte des donnes 8. Analyser les donnes 9. Rendre compte des rsultats par crit et les discuter avec les dcideurs et les bailleurs de fonds 10. Incorporer les rsultats la conception du projet.

tre considres comme des substituts aux valuations d'impact; en fait, elles constituent souvent des complments critiques aux valuations d'impact. Et peut- tre les raisons dcisives deffectuer une valuation ou non dpendent de limportance de lappui politique et financier. L'effort complmentaire et les ressources ncessaires pour conduire des valuations d'impact sont mieux mobiliss quand le projet est innovateur, transposable et implique des allocations de ressources substantielles et comporte des interventions bien dfinies. Par exemple, l'valuation de l'impact du Fonds d'investissement social bolivien a rempli chacun de ces critres. D'abord, on a considr comme innovateur et transposable le nouveau modle de fonds social prsent en Bolivie, deuximement le fonds social a t responsable d' peu prs 25 pour cent de tous les investissements publics en Bolivie depuis le dbut de l'valuation et troisimement les interventions taient bien dfinies par le menu de microprojets du fonds social.

18

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

On doit aussi donner la priorit aux valuations d'impact si le projet en question lance une nouvelle approche comme un programme pilote qui sera plus tard pris en considration pour une extension base sur les rsultats d'valuation ou les nouveaux Prts pour l'Apprentissage et l'Innovation de la Banque Mondiale. Ce raisonnement a fait de la rforme de l'autonomie scolaire nicaraguayenne un bon candidat une valuation d'impact. L'tude d'valuation a accompagn l'exprimentation par le gouvernement d'un nouveau modle de gestion scolaire dcentralise depuis sa phase pilote au milieu des annes 1990 jusqu' son extension presque tous les collges d'enseignement gnral et environ la moiti de toutes les cole s primaires aujourd'hui. L'valuation a t gre par une quipe internationale en troite collaboration comprenant le personnel local de l'unit de recherche et d'valuation du Ministre de l'Education Nationale et l'unit d'valuation et le bureau de coordination du Projet d'Education Primaire de la Banque Mondiale Managua. Leur implication a assur que l'valuation a inform les dcisions de politique cls relatives l'valuation quant la modification et l'extension du projet pilote. Une autre considration importante est de s'assurer que le programme qui doit tre valu est suffisamment dvelopp pour tre soumis une valuation d'impact. Les projets pilotes et les rformes naissantes sont souvent enclins aux rvisions quant leur contenu aussi bien que pour savoir comment, quand et par qui, ils seront mis en uvre. Ces changements peuvent saper la cohrence de l'effort d'valuation, des conceptions particulirement exprimentales et d'autres types d'valuation prospective qui reposent sur les donnes de base et de suivi des groupes de traitement et de contrle clairement tablis. L o la politique valuer est encore en cours de dfinition, il peut tre recommand d'viter d'utiliser une valuation d'impact afin de permettre la flexibilit dans le projet L'obtention de l'appui des dcideurs et des financiers pour une valuation d'impact peut tre stimulante mais est un pralable ncessaire pour avancer. Ils doivent tre convaincus que l'valuation est un exercice utile traitant des questions qui seront pertinentes aux dcisions concernant l'affinement, l'extension ou la rduction du programme valu. Ils doivent aussi tre convaincus de la lgitimit de la conception de l'valuation et donc des rsultats, particulirement quand ceux-ci ne sont pas aussi positifs que prvu. Le financement d'une valuation d'impact reste une question difficile pour les directeurs de programme, de mme que pour les partenaires bnficiaires. La question du financement se compose du fait que les donnes sur des dpenses d'valuation sont d'habitude difficile obtenir. Et peut-tre la question la plus difficile vient de la bonne valeur publique de l'valuation : si les rsultats de l'valuation vont tre employs pour informer la politique applique l'extrieur des frontires nationales o l'valuation est conduite, comme c'est souvent le cas, pourquoi un seul pays devrait- il supporter le cot de l'valuation? Parmi les tudes de cas qui avaient l'information sur les sources de financement, l'information mo ntre que les pays assument souvent la majorit, mais pas l'intgralit, des dpenses d'valuation. Comme discut plus pleinement dans le chapitre 4, beaucoup de cas passs en revue suggrent que l'excution russie d'une valuation d'impact exige


non seulement un engagement de ressources substantielles des pays bnficiaires mais aussi l'implication du personnel de la Banque Mondiale ou de chercheurs et consultants externes, ncessitant des ressources au-del de celles fournies par le pays. Clarifier les objectifs de l'valuation Une fois qu'il a t dcid qu'une valuation d'impact est approprie et justifie, tablir des objectifs clairs qui seront le point central de l'valuation contribuera grandement son succs. Des objectifs clairs sont essentiels pour l'identification des besoins de l'information, pour la fixation des rsultats et des indicateurs d'impact et btir une stratgie solide dvaluation pour trouver des rponses aux questions poses. L'utilisation d'une approche de cadre logique fournit un bon outil gnralement employ pour identifier les buts et les besoins d'information du projet autour desquels l'valuation peut tre btie. Le cadre logique, de plus en plus employ la Banque Mondiale, est bas sur une matrice simple "quatre par quatre " qui associe l'information avec des objectifs du projet et la faon dont l'excution sera suivie la trace, utilisant des jalons et des programmes de travail, quel impact les rsultats du projet auront sur l'institution ou le systme bnficiaire et comment cela sera mesur et comment les ressources sont utilises pour produire des rsultats (voir Annexe 5 pour des exemples). Autrement dit, il est assum que l'impact du projet prvu est fonction des rsultats du projet aussi bien qu'une srie d'autres facteurs. Les rsultats sont une fonction des entres du projet qui sont leur tour fonction des ressources du projet et de facteurs extrieurs au projet. Des mesures quantifiables doivent alors tre identifies pour chaque maillon du cycle du projet. Cette approche n'interdit pas l'valuateur de considrer aussi les impacts fortuits d'un projet mais sert garder les objectifs clairs et centrs. Des techniques qualitatives sont aussi utiles dans la rvlation de la participation dans la clarification des objectifs de l'valuation et des indicateurs d'impact y affrents. Bien qu'une dclaration d'objectif puisse sembler, en apparence, une des parties les plus faciles du processus d'valuation, sera peut tre extrmement difficile. Par exemple des dclarations qui sont trop vagues ne se prtent pas l'valuation. La dclaration d'objectif dans l'valuation du PROBECAT au Mexique (Annexe 1.9) selon laquelle l'valuation concerne l'effet du programme de formation PROBECAT sur les rsultats du march du travail serait plus prcise si elle avait t ramene l'effet de PROBECAT sur les heures de travail, les indemnits horaires, le salaire mensuel et la priode du premier placement au travail pour les diffrents types d'ouvriers. L'valuation du PROGRESA au Mexique fournit un bon exemple et cre un profit clair des objectifs multiples ds le dbut avec une discussion spare de chaque composante avec des objectifs dtaills dans les sous catgories (Annexe 1.10). Il est particulirement important parce que

20


l'intervention tait tout fait complexe avec une valua tion devant traiter non seulement l'impact du programme mais aussi les aspects de ciblage et du chronogramme des oprations. L'examen d'autres composantes de l'valuation telles que le cot rentabilit ou le processus dvaluations peut aussi constituer des objectifs importants dune tude et peut complter lvaluation dimpact. La rentabilit peut tre d'un intrt particulier pour des dcideurs dont il s'agira de rduire, tendre ou reformer l'intervention value. Sur des questions lies la prestation de service, une valuation du processus pourrait tre approprie pour les procdures, la dynamique, les normes et les contraintes dans lesquelles un programme particulier est ralis. Explorer la disponibilit des donnes Plusieurs types de donnes peuvent tre utiliss pour effectuer des tudes dvaluation d'impact. Ceux-ci peuvent comprendre une gamme d'enqutes allant des enqutes de sessions croises ou d'ensemble, aux interviews qualitatives finalit ouverte. Idalement, cette information est disponible au niveau individuel pour assurer que le vrai impact peut tre valu. L'information au niveau des mnages peut cacher l'allocation de ressources internes au mnage qui affecte des femmes et des enfants parce qu'ils ont souvent un accs plus limit aux ressources productives du mnage. Dans de nombreux cas, l'valuation d'impact profitera de quelques donnes existantes ou se superposera une enqute en cours, ce qui peut considrablement rduire les cots. Avec cette approche, cependant, les problmes peuvent surgir dans le choix du temps de collecte des donnes et avec la flexibilit de la conception du questionnaire. L'Encadr 2.2 met en lumire quelques points cls retenir dans l'exploration de l'utilisation des ressources des donnes existantes pour l'valuation d'impact. Avec cette crativit, il peut tre possible de maximiser des ressources d'information existantes. L'valuation du Fonds d'Investissement social hondurien (voir le chapitre 4) est un bon exemple. Cette tude a u tilis un module tir de l'enqute nationale sur les revenus dans le questionnaire du fonds social, permettant ainsi au revenu des bnficiaires du fonds social d'tre compar avec des mesures nationales pour valuer le ciblage de la pauvret (Walker et d'autres 1999). Au plus bas niveau, des donnes sur l'univers de la population concerne seront exiges comme base partir de laquelle dterminer les tailles types, construire le cadre de l'chantillonnage et choisir l'chantillon. D'autres types de donnes qui peuvent tre disponibles dans un pays donn et peuvent tre employs pour des valuations d'impact diffrentes comprennent (voir Valadez et Bamberger 1994) : revenu du mnage et enqutes sur les revenus et les dpenses des mnages, tude de la mesure du niveau de vie, enqutes sur le march du travail ; rapports des coopratives, associations de cooprative de crdit et d'autres institutions financires ou rapport scolaire sur l'tat de la frquentation, du redoublement et des examens; rapports de sant publique sur la mortalit infantile,


Encadr 2.2 Points cls pour identifier des ressources de donnes pour l'valuation d'impact Connaissez bien le programme. Il est risqu de s'engager dans une valuation sans bien connatre les dtails administratifs et institutionnels du programme ; cette information vient typiquement de l'administration du programme. Collectez l'information sur les faits styliss appropris par rapport la dtermination. Les faits appropris pourraient inclure la carte de la pauvret, comment fonctionne le march du travail, les divisions ethniques majeures et d'autres programmes publics appropris. Soyez clectique au sujet des donnes. Les sources peuvent embrasser tant des interviews informelles, peu structures avec des participants au programme que des donnes quantitatives d'chantillons reprsentatifs. Cependant, il est extrmement difficile de poser des questions contre factuelles dans des interviews ou des groupes cibls ; essayer de demander quelqu'un qui participe actuellement un programme public : " que feriez-vous maintenant si ce programme n 'avait pas exist ? " Parler aux participants au programme peut tre, mais il est improbable d'obtenir une valuation crdible sur cette seule base. Assurez- vous qu'il y a des donnes sur les indicateurs de rsultat et des variables explicatives appropri es. Ces dernires ont besoin de traiter l'htrognit dans les hypothses de rsultat sur la participation au programme. Les rsultats peuvent diffrer en fonction, par exemple, de l'instruction. Il n'est pas possible de voir l'impact du programme moins qu'on contrle cette htrognit. Selon les mthodes utilises, les donnes pourraient aussi tre ncessaires sur des variables qui influencent la participation, mais n'influencent pas la participation donne aux rsultats. Ces variables instrumentales peuvent tre valables pour trier les effets suscits possibles de programmes non alatoires (encadr 1.2). Les donnes sur les rsultats et d'autres variables explicatives appropries peuvent tre quantitatives ou qualitatives. Mais il doit tre possib le d'organiser l'information dans toute sorte de structure de donnes systmatiques. Un exemple simple et commun est que l'on a les valeurs de variables diverses incluant un ou plusieurs indicateurs de rsultat pour des units d'observation diverses (des individus, des mnages, des socits, des communauts) Les variables sur lesquelles on a des donnes et les units dobservation quon utilise sont souvent choisies comme une partie de la mthode dvaluation. Ces choix

(Lencadr continue sur la page suivante).

22


Encadr 2.2 (Suite)devraient tre ancrs la connaissance antrieure du programme (ses objectifs, bien sr, mais aussi c omment il est dirig) et l'arrangement dans lequel il est prsent.

La source spcifique des donnes sur les rsultats et leurs dterminants, y compris la participation au programme, vient typiquement des donnes d'enqute de toute sorte. L'unit d'observation pourrait tre le mnage, la socit ou le secteur gographique selon le type de programme que l'on tudie. Les donnes d'enqute peuvent souvent tre compltes avec d'autres donnes utiles sur le programme (telle la donne de base de contrle du programme) ou l'arrangement (telles les donnes de base gographiques).

Incidence des diffrentes maladies infectieuses, le nombre de femmes sollicitant conseil sur la contraception, lutilisation du prservatif ; des enqutes spcialises menes par des universits, des organisations non gouvernementales et des groupes consultatifs, contrle de donnes des administrateurs de programme et tude de cas de projet. Exploitation des donnes d'enqutes existantes. Plusieurs enqutes peuvent tre en cours de planification ou en cours dexcution. Si une enqute valuant les indicateurs ncessaires est projete, l'valuation peut tre en mesure de prendre l'chantillonnage de la population concerne au cours de l'enqute gnrale (par exemple, destin tre utilis dans lapproche des rsultats de tendance ) comme ce fut le cas pour l'valuation du Fonds d'investissement social nicaraguayen et l'valuation du programme protection-travail TRABAJAR en Argentine (Jalan et Ravallion 1998). Par contre, si une enqute est projete qui couvrira la population concerne, l'valuation peut tre en mesure d'introduire une question ou la srie de questions comme une partie de l'enqute ou ajouter une enqute qualitative pour complter l'information quantitative. Par exemple, le Crdit pour le programme d'ducation au Ghana a inclus un jeu d'interviews qualitatives avec des partenaires cls aussi bien qu'avec des groupes cibles non participants et participants qui ont fourni la confirmation qualitative des rsultats quantitatifs (Annexe 6). L'valuation a mesur l'impact du programme sur le statut institutionnel et la scurit alimentaire des mnages pauvres. Des donnes qualitatives ont inclus des questions spcifiques sur le revenu et les dpenses du mnage, et le niveau de comptence tandis que des donnes qualitatives se sont concentres sur le renforcement des capacits des femmes - statut et prise de dcision dans les mnages, rseaux sociaux, confiance en soi et ainsi de suite.

DEMARCH ES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 23

Conception de l'valuation Une fois que les objectifs et les ressources de donnes sont clairs, il est possible de commencer la phase de conception de l'tude de l'valuation d'impact. Le choix des mthodologies dpendra des questions de l'valuation, du choix du temps de lvaluation, des contraintes du budget et de la capacit de mise en uvre. Les avantages et les inconvnients des diffrents types de conception traits au chapitre 1 doivent tre quilibrs pour dterminer les mthodologies les plus appropries et la manire dont des techniques quantitatives et qualitatives peuvent tre intgres pour se complter les unes les autres. Mme aprs que la conception de l'valuation a t dcide et intgre au projet, les valuateurs doivent tre prpars tre flexibles et faire des modifications la conception pendant que le projet est mis en uvre. En plus des dispositions doivent tre prises pour suivre la trace les interventions du projet si l'valuation inclut des donnes de base et de suivi pour que le travail d'valuation soit parallle l'allure relle du projet. Dans la dfinition de la conception, il est aussi important de dterminer comment l'valuation d'impact s'ajustera la plus large stratgie de contrle et d'valuation applique au projet. Tous les projets doivent tre contrls pour que les administrateurs, les bailleurs de fonds et les dcideurs puissent suivre l'volution du programme comme il se droule. L'effort de l'valuation, comme trait ci-dessus, doit tre faonn aux exigences d'information du projet. Question de l'valuation. Les questions d'valuation poses sont troitement lies la conception de l'valuation en termes de type de donnes collectes, unit d'analyse, mthodologies employes et temps choisi pour les diverses tapes. Par exemple, dans l'valuation de l'impact des manuels scolaires sur les rsultats de l'apprentissage, il serait ncessaire de faonner l'valuation pour mesurer l'impact sur les tudiants, les salles de classe et les enseignants pendant une anne scolaire donne ; ce qui serait trs diffrent de la mesure de l'impact des services fournis par des investissements de fonds sociaux qui exigeraient des donnes sur les quipements de la communaut et sur les mnages. Les tudes de cas dans l'Annexe 1 fournissent les autres exemples en la manire dont la question de l'valuation peut affecter la conception de l'valuation. Dans la clarification des que stions d'valuation, il est aussi important de considrer les implications de genre sur l'impact du projet. Au dbut, cela ne peut pas toujours tre vident, cependant, dans la mise en uvre du projet, il peut y avoir des effets secondaires sur les mnages , ce qui ne serait pas ncessairement identifi sans la collecte de donnes spcifiques et les efforts d'analyse. Questions du choix du temps de lvaluation et du budget. La question du choix du temps la plus critique est de savoir s'il est possible de commencer la conception de l'valuation avant que le projet ne soit mis en oeuvre et quand les rsultats seront disponibles. Il est aussi utile d'identifier ds le dpart quels points du cycle du projet l'information

24 DEMARCHES C LES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

fournie par le travail de l'valuation sera ncessaire pour que la collecte des donnes et les activits d'analyse puissent tre lies. Avoir des rsultats au bon moment peut tre crucial pour les dcisions - par exemple au cours d'un examen de projet, pendant une priode lectorale ou quand des dcisions relatives la continuation dun projet sont en train dtre prises. Quelques mthodes ncessitent plus de temps pour la mise en uvre que d'autres. Le choix alatoire des mthodes "avant et aprs" (par exemple des comparaisons rflexives) prend plus de temps mettre en uvre que des approches de mise en correspondance de la comparaison ex-post. En exploitant des approches "avant et aprs" qui utilisent des valuations de base et de suivi, le temps doit tre laiss au dernier membre du groupe de traitement pour recevoir l'intervention et ensuite d'habitude on laisse plus de temps pour que les effets post programme se concrtisent et soient observs. Grossman (1994) suggre que 12 18 mois aprs l'inscription de l'chantillon dans l'intervention soit une priode type observer avant l'examen des impacts. Dans des projets de la Banque Mondiale, axs sur des donnes de base, l'attente que l'intervention prenne place et que les rsultats se concrtisent peut prendre des annes. Par exemple dans l'valuation du Fonds d'investissement social bolivien qui tablait sur les donnes de base collectes en 1993 des donnes complmentaires n'taient collectes qu'en 1998 cause du temps ncessit pour les interventions (projet d'adduction d'eau et de systmes sanitaires, cliniques de sant et coles) ralises pour que les effets sur la sant de la population des bnficiaires et des rsultats ducatifs soient obtenus. Une priode semblable de temps a t ncessaire pour l'valuation d'un projet d'ducation primaire au Pakistan qui a utilis une conception exprimentale avec des donnes d'enqutes de base et de suivi pour valuer l'impact des coles communautaires sur les rsultats des tudiants, y compris les performances acadmiques. Les exigences du choix du temps de l'valuation ne peuvent pas guider le projet en valuation. Par leur nature mme, les valuations sont soumises aux dlais tablis par le reste du projet. Les valuations doivent attendre pour les projets qui sont lents pour les dboursements et la ralisation des interventions. Et mme si les projets avancent l'allure tablie, quelques interventions prennent plus de temps p se raliser comme des projets d'infrastructure. Les dlais pour l'valuation sont our aussi sensibles aux indicateurs choisis parce que beaucoup d'indicateurs, comme les changements de taux de fcondit ou la russite scolaire mettent plus de temps pour se manifester dans la population des bnficiaires. Capacit de mise en uvre. Une considration finale dans l'chelle et la complexit de la conception d'valuation est la capacit de mise en uvre de l'quipe d'valuation. Les questions de la mise en uvre peuvent tre trs dfiantes particulirement dans les pays en voie de dveloppement o il y a peu d'exprience de la recherche applique et des valuations de programme. La composition de l'quipe d'valuation est trs importante aussi bien que l'exprience des membres de l'quipe avec les diffrents types de mthodologie et leur capacit quant d'autres activits en cours d'excution par l'unit d'valuation. Ceci est particulirement


25

vrai quand on travaille avec les agences du secteur public qui ont des responsabilits multiples et un personnel limit. La conscience que l'unit a de la charge du travail est importante pour valuer non seulement comment elle affectera la qualit de l'valuation mene mais aussi le cot d'opportunit de l'valuation en ce qui concerne d'autres efforts dont l'unit est responsable. Il y a plusieurs exemples des efforts d'valuation qui ont t dvoys quand le personnel cl a t appel sur d'autres projets et n'tait pas ainsi en mesure de mettre en uvre la collecte des donnes sur le programme au point critique dans le temps (comme un point pendant l'anne scolaire ou pendant la saison agricole). De telles situations peuvent tre vites par la coordination avec des responsables dans l'unit en charge de l'valuation pour s'assurer qu'un quilibre est ralis en respectant le choix du temps des diverses activits aussi bien que la rpartition du personnel et des ressources sur ces activits. Alternativement, il est peut-tre prfrable de passer un contrat avec un bureau dtudes pour effectuer l'valuation (trait ci dessous). Formation de l'quipe d'valuation Une gamme de comptences est ncessaire dans le travail d'valuation. La qualit et l'utilit ventuelle de l'valuation d'impact peuvent tre normment amliores avec la coordination entre les membres d'quipe et les dcideurs ds le dbut. Il est donc important d'identifier les membres de l'quipe le plus tt possible, convenir des rles et des responsabilits et tablir des mcanismes pour la communication aux points cls de l'valuation. Dans l'quipe centrale, figurent le directeur de l'valuation, les analystes (tant des conomistes que d'autres spcialistes des sciences humaines) et pour des conceptions d'valuation impliquant une nouvelle collecte de donnes, un expert de prlvement d'chantillon, le concepteur de l'enqute, le responsable des oprations de terrain et l'quipe de terrain et des responsables et des processeurs de donnes (pour un guide global la conception et l'excution des enqutes) voir Grosh et Muoz 1996). Selon la taille, la porte et la conception de l'tude, certaines de ces responsabilits sont partages ou d'aut res besoins en personnel pourraient s'ajouter cette quipe centrale. Dans les cas o les analystes de politique peuvent n'avoir pas eu l'exprience d'intgration des approches quantitatives et qualitatives, il peut tre ncessaire de passer un temps complmentaire au stade initial de la formation de l'quipe pour sensibiliser les membres de l'quipe et assurer la pleine collaboration. Les responsabilits dtailles des membres de l'quipe sont les suivantes : Responsable de l'valuation - Le responsable de l'valuation est charg de l'tablissement des besoins de l'information et des indicateurs pour l'valuation (qui sont souvent tablis avec le client en employant une approche de structure logique), rdigeant les termes de rfrence pour l'valuation, choisissant la mthodologie d'valuation et identifiant l'quipe d'valuation. Dans de nombreux cas, le responsable de l'valuation effectuera aussi l'analyse de la politique.

26


Analyste politique - Un conomiste est ncessaire pour l'analyse quantitative aussi bien qu'un sociologue ou un anthropologue pour assurer une ressource participative et une analyse qualitative aux diffrentes tapes de l'valuation d'impact. Tous les deux doivent tre impliqus dans la rdaction du rapport d'valuation. Expert dchantillonnage - L'expert de lchantillonnage doit tre capable d'effectuer des calculs solides pour dterminer les tailles types appropries pour les indicateurs tablis, choisir l'chantillon, passer en revue les rsultats de l'chantillon rel contre l'chantillon conu et incorporer les poids de l'chantillonnage pour l'analyse. Pour des donnes qualitatives, l'expert du tirage des chantillons doit guider le processus de choix type en coordination avec les analystes, assurant que les procdures tablies garantissent que les informateurs corrects sont choisis. L'expert du prlvement des chantillons devrait tre aussi charg de la slection des sites et des groupes pour lenqute pilote et devra souvent tre associe un coordonnateur local de l'information, responsable de la collecte, pour l'expert de l'chantillonnage, des donnes do l'chantillon sera tir. Le concepteur d'enqute - Il pourrait tre une personne ou une quipe, dont la responsabilit est de concevoir les instruments de la collecte des donnes accompagnant des manuels et des livres codes et d'tre en coordination avec le responsable d'valuation pour assurer que les instruments de la collecte des donnes produiront effectivement les donnes ncessaires pour l'analyse. Cette personne ou quipe doit aussi tre implique dans lenqute pilote et l'affinement des questionnaires. Le directeur des oprations de terrain et le personnel - Le directeur doit tre responsable de la supervision de tout le travail de la collecte de donnes, depuis la planification des voies pour la collecte des donnes jusqu' la formation et l'organisation des quipes de terrain, gnralement composes de superviseurs et d'intervieweurs. Les superviseurs grent gnralement le personnel de terrain (d'habitude des intervieweurs , des oprateurs de saisie et des chauffeurs) et sont responsables de la qualit des donnes collectes sur le terrain. Les intervieweurs administrent les questionnaires. Dans certaines cultures, il est ncessaire d'assurer que des intervieweurs masculins et fminins effectuent les enqutes et qu'elles soient administres sparment par les hommes et les femmes. Responsables des donnes et analystes - Ces membres d'quipe conoivent les programmes d'entre des donnes, entrent les donnes, vrifient la validit des donnes, fournissent la documentation des donnes ncessaires et produisent les rsultats de base qui peuvent tre vrifis par les analystes de donnes.

Dans la formation de l'quipe d'valuation, il y a aussi certaines dcisions importantes que le directeur d'valuation doit prendre en rapport avec la capacit locale et les dispositions institutionnelles appropries, en vue d'assurer l'impartialit et la qualit des rsultats d'valuation. La premire est de savoir si la capacit locale existe pour la mise en uvre de l'valuation, ou de certaines parties de lvaluation, et le genre de supervision et d'assistance extrieure qui serait ncessaire. La capacit d'valuation varie normment


d'un pays un autre et bien que les contrats internationaux permettent des socits d'un pays d'effectuer des valuations dans un autre pays (un exemple est l'valuation de PROGRESA en cours de ralisation par l'Institut International de Recherche sur l'Alimentation et la Politique), la pratique gnrale pour les projets soutenus par la Banque Mondiale s

Baker 2000 (évaluation de l'impact des projets de développement sur la pauvreté)

Documents

Transcript of Baker 2000 (évaluation de l'impact des projets de développement sur la pauvreté)