BANQUE MONDIALE DÉPARTEMENT DE L’ÉVALUATION DES...

Rétrospective de l’évaluation de l’aide aux pays

Rétrospective de l’évaluation de l’aide aux pays Auto-évaluation de l’OED

BANQUE MONDIALE

BANQUE MONDIALE D É P A R T E M E N T D E L ’ É V A L U A T I O N D E S O P É R A T I O N S

D E L A B A N Q U E M O N D I A L E

ISBN

The

World

Bank

Country Assistance Evaluation Retrospective

Rétrospective de l’évaluation de l’aide aux pays

RENFORCER L’EFFICACITÉ DU DÉVELOPPEMENT EN PROCÉDANT EN TOUTE INDÉPENDANCE À DES ÉVALUATIONS DE QUALITÉ

Le Département de l’évaluation des opérations (OED) est une unité indépendante au sein de la Banque mondiale, quirend compte directement aux Administrateurs de l’institution. L’OED est chargé d’évaluer : ce qui marche et ce qui nemarche pas ; la manière dont un emprunteur entend gérer et poursuivre un projet ; et en quoi la Banque contribuedurablement au développement global d’un pays. Il s’agit, ce faisant, de tirer les leçons de l’expérience, de fournir desdonnées objectives à partir desquelles évaluer les opérations de la Banque et de rendre compte de la réalisation desobjectifs fixés par l’institution. L’OED contribue également à améliorer l’action de la Banque en tirant et en diffusant lesleçons de l’expérience et en formulant des recommandations à partir des conclusions de ses évaluations.

DÉPARTEMENT DE L’ÉVALUATION DES OPÉRATIONS

Study Series2003 Annual Review of Development Effectiveness: The Effectiveness of Bank Support for Policy ReformAgricultural Extension: The Kenya ExperienceAssisting Russia’s Transition: An Unprecedented ChallengeBangladesh: Progress Through PartnershipBridging Troubled Waters: Assessing the World Bank Water Resources StrategyThe CGIAR: An Independent Meta-Evaluation of the Consultative Group on International Agricultural ResearchDebt Relief for the Poorest: An OED Review of the HIPC InitiativeDeveloping Towns and Cities: Lessons from Brazil and the PhilippinesThe Drive to Partnership: Aid Coordination and the World BankFinancial Sector Reform: A Review of World Bank AssistanceFinancing the Global Benefits of Forests: The Bank’s GEF Portfolio and the 1991 Forest Strategy and Its ImplementationFiscal Management in Adjustment LendingIDA’s Partnership for Poverty ReductionImproving the Lives of the Poor Through Investment in CitiesIndia: The Dairy RevolutionInformation Infrastructure: The World Bank Group’s ExperienceInvesting in Health: Development Effectiveness in the Health, Nutrition, and Population SectorJordan: Supporting Stable Development in a Challenging RegionLesotho: Development in a Challenging EnvironmentMainstreaming Gender in World Bank Lending: An UpdateThe Next Ascent: An Evaluation of the Aga Khan Rural Support Program, PakistanNongovernmental Organizations in World Bank–Supported Projects: A ReviewPoland Country Assistance Review: Partnership in a Transition EconomyPoverty Reduction in the 1990s: An Evaluation of Strategy and PerformancePower for Development: A Review of the World Bank Group’s Experience with Private Participation in the Electricity SectorPromoting Environmental Sustainability in DevelopmentReforming Agriculture: The World Bank Goes to MarketSharing Knowledge: Innovations and Remaining ChallengesSocial Funds: Assessing EffectivenessUganda: Policy, Participation, PeopleThe World Bank’s Experience with Post-Conflict ReconstructionThe World Bank’s Forest Strategy: Striking the Right BalanceZambia Country Assistance Review: Turning an Economy Around

Evaluation Country Case SeriesBosnia and Herzegovina: Post-Conflict ReconstructionBrazil: Forests in the Balance: Challenges of Conservation with DevelopmentCameroon: Forest Sector Development in a Difficult Political EconomyChina: From Afforestation to Poverty Alleviation and Natural Forest ManagementCosta Rica: Forest Strategy and the Evolution of Land UseEl Salvador: Post-Conflict ReconstructionIndia: Alleviating Poverty through Forest DevelopmentIndonesia: The Challenges of World Bank Involvement in ForestsUganda: Post-Conflict Reconstruction

ProceedingsGlobal Public Policies and Programs: Implications for Financing and EvaluationLessons of Fiscal AdjustmentLesson from Urban TransportEvaluating the Gender Impact of World Bank AssistanceEvaluation and Development: The Institutional Dimension (Transaction Publishers)Evaluation and Poverty ReductionMonitoring & Evaluation Capacity Development in AfricaPublic Sector Performance—The Critical Role of Evaluation

Publications en langues étrangèresAllègement de la dette pour les plus pauvres : Examen OED de l’initiative PPTE

Appréciation de l’efficacité du développement :

L’évaluation à la Banque mondiale et à la Société financière internationale

Determinar la eficacia de las actividades de desarrollo :

La evaluación en el Banco Mundial y la Corporación Financiera Internacional

Côte d’Ivoire : Revue de l’aide de la Banque mondiale au pays

Filipinas: Crisis y oportunidades

Reconstruir a Economia de Moçambique

Содействие России в переходе к рыночной экономике: беспрецедентная задача

http://www.worldbank.org/oed

PUBLICATIONS DE L’OED

Rétrospective de l’évaluation de l’aide aux pays Auto-évaluation de l’OED

2005Banque mondiale

Washington

D É P A R T E M E N T D E L ’ É V A L U A T I O N D E S O P É R A T I O N S D E L A B A N Q U E M O N D I A L E

http://www.worldbank.org/oed

© 2005 Banque internationale pour la reconstruction et le développement / Banque mondiale

1818 H Street, N.W.

Washington, D.C. 20433, États-Unis d’Amérique

Téléphone : (202) 473 1000

Site Web : www.worldbank.org

Courriel : [email protected]

Tous droits réservés

Fait aux États-Unis d’Amérique

Première édition mai 2005

Les constations, interprétations et conclusions présentées dans ce document sont celles des auteurs et ne reflètent pas

nécessairement les vues des Administrateurs de la Banque mondiale ou des pays qu’ils représentent.

La Banque ne peut garantir l’exactitude des données présentées dans ce document. Les frontières, les couleurs, les

dénominations et toute autre information figurant sur les cartes du présent document n’impliquent de la part du Groupe de

la Banque mondiale aucun jugement quant au statut juridique d’un territoire quelconque et ne signifient nullement que le

Groupe reconnaît ou accepte ces frontières.

Droits et licences

Le contenu de cette publication fait l’objet d’un dépôt légal. Aucune partie de la présente publication ne peut être reproduite

ou transmise sans l’autorisation préalable de la Banque mondiale. La Banque mondiale encourage la diffusion de ses études

et, normalement, accorde sans délai l’autorisation d’en reproduire des passages.

Pour obtenir cette autorisation, veuillez adresser votre demande en fournissant tous les renseignements nécessaires, par

courrier, au Copyright Clearance Center, Inc., 222 Rosewood Drive, Danvers, Massachusetts, 01923 (États-Unis d’Amérique) ;

téléphone : 978-750-8400 ; fax : 978-750-4470 ; site Web : www.copyright.com.

Pour tous autres renseignements sur les droits et licences, y compris les droits dérivés, envoyez votre demande par

courrier à l’adresse suivante : Office of the Publisher, World Bank, 1818 H Street NW, Washington, D.C. 20433 ; par fax au

202-522-2422 ; ou par courriel : [email protected].

Photo de couverture : photothèque de la Banque mondiale

ISBN

e-ISBN

Une demande a été soumise à la Bibliothèque du Congrès des États-unis en vue de cataloguer cette publication.

Imprimé sur du papier recyclé

World Bank InfoShop

Courriel : [email protected]

Téléphone : 202-458-5454

Fax : (202) 522-15 00

Département de l’évaluation des opérations

Groupe des Programmes de savoir et renforcement

des capacités d’évaluation (OEDPK)

Salle I 9-352

MSN I 9-903

Téléphone : (202) 458-0382

Fax : (202) 522-3125

i i i

v Remerciements

vii Avant-propos

ix Résumé analytique

xv Sigles et abréviations

1 1 Introduction1 Rappel des faits2 Démarche suivie pour l’évaluation rétrospective des CAE

5 2 Première partie : qu’avons-nous appris ?5 Conclusions8 Leçons tirées de l’expérience

13 3 Deuxième partie : comment améliorer l’instrument que constitue la CAE ?14 Impact des CAE sur la formulation des stratégies d’aide aux pays 15 Méthodologie18 Notations21 Situations contrefactuelles22 Calendrier23 Contacts avec les équipes-pays23 Contacts avec les bénéficiaires24 Amélioration de la présentation des CAE

27 Annexes 29 A: La méthodologie de la CAE33 B: Évaluations de l'aide-pays qui ont été achevées

exercices 1995–200435 C: Résumé des entrevues avec les administrateurs/ membres du code41 D: examen de la CAS et des documents connexes par les administrateurs 45 E: Récapitulation des entrevues avec les services de la banque51 F: Récapitulation des méthodes d’évaluation des programmes par pays

utilisées par d’autres institutions

Table des matières

53 Pièce Jointe 1 : Récapitulation des entretiens, Sous-Comité du CODE

57 Notes de renvoi

59 Bibliographie

Encadré 20 3.1: L’obtention de résultats « insatisfaisants » ne signifie pas nécessairement

que la performance de la Banque a été médiocre

Figure 42 1: Origine des références

Tableaux 6 2.1: Caractéristiques des 25 pays couverts par les CAE examinées7 2.2: Notation des résultats des CAE et notation des résultats des projets7 2.3: Notations par secteur et par projet, CAE des exercices 01-03 51 F.1: Utilisation des principaux outils méthodologiques

R É T R O S P E C T I V E D E L ’ É V A L U A T I O N D E L ’ A I D E A U X P A Y S : A U T O - É V A L U A T I O N D E L ’ O E D

i v

v

Remerciements

Cette rétrospective des évaluations de l’aide-pays (CAE) a été rédigée par Poonam Gupta(chef de projet) et Kyle Peters (directeur

sénior), qui ont bénéficié, dans le cadre de leurstravaux, de l’appui et de suggestions de RenéVandendries, Chandra Pant, John Johnson et Asitade Silva.

Plusieurs consultants et évaluateurs externesindépendants ont participé à la préparation decette auto-évaluation. Mike Hendricks a évalué lesméthodes des CAE. Sharon Felzer a préparédes directives pour les entretiens directifs encollaboration avec Patrick Grasso (OED, Bureau dudirecteur). David Shirley a interrogé les membres

du CODE et des services de la Banque aux fins de laprésente rétrospective. Svenja Weber-Venghaus aexaminé les comptes-rendus des examens des CASet, avec Brandie Sasser, a recensé les méthodesutilisées par d’autres bailleurs de fonds pourévaluer leurs programmes par pays. Janice Joshi etAgnes Santos ont assuré l’appui administratif.

Marcelo Selowsky, membre du Bureauindépendant d’évaluation du Fonds monétaireinternational et Ulrich Zachau (LCRVP) ont assuméles fonctions d’évaluateurs-experts pour le présentrapport. Les évaluateurs-experts externes étaientVijay Kelkar et Faik Oztrak.

Directeur général par intérim, Évaluation des opérations : Ajay Chhibber

Directeur par intérim, Département de l’évaluation des opérations : R. Kyle Peters

Chef, Évaluation des pays et relations avec les Régions : R. Kyle Peters

Chef du projet : Poonam Gupta

v i i

Avant-propos

Ce rapport est une auto-évaluation desévaluations de l’aide-pays (CAE) de l’OED.Durant l’exercice 02, le Sous-Comité

informel du Comité sur l’efficacité du développement(CODE) a examiné la méthodologie des CAE et lerôle que ces dernières jouent dans l’évaluation desinterventions de la Banque au niveau des pays,ainsi que la nécessité de poursuivre les efforts deperfectionnement de cette méthodologie. Laprésente rétrospective s’inscrit dans le droit-fil decet examen et cherche à répondre à deux questions :qu’avons-nous appris, et comment améliorerl’instrument que constitue la CAE ? Aux fins derépondre à la première question, elle a compilé lesleçons tirées des CAE les plus récentes qui sontpertinentes pour les stratégies d’aide-pays, etpour la seconde, elle a évalué le processus, laméthodologie et la présentation des CAE.

Cette rétrospective aboutit à la conclusionqu’une évaluation de portée nationale donne uneidée plus précise des résultats des programmesd’aide de la Banque que les évaluations deprogrammes ou de projets particuliers. Dans lecadre d’environ un tiers des programmes deportée nationale qui ont été évalués, l’ensembledes résultats des projets menés dans le pays a étéjugé satisfaisant, tandis que les résultats duprogramme d’aide-pays ont été jugés de manièregénérale non satisfaisants. L’examen des récentesCAE laisse penser que la Banque doit veiller à

mieux comprendre le contexte national, approfondirsa connaissance du pays et ne poursuivre desopérations de prêt d’ajustement ou de prêt àl’appui de la politique de développement quelorsque l’adhésion du gouvernement est bienétablie. Il montre également qu’il serait possibled’améliorer les résultats des programmes d’aide-pays de la Banque en procédant à des analyses derisques plus robustes, en réduisant plus rapidementles niveaux d’aide prévus lorsque l’action publiquedérape, et en poursuivant une politique de prêtplus prudente en phase de redressement.

La deuxième partie de cette rétrospective reposesur de nombreuses entrevues avec des membresdu CODE, leurs suppléants et leurs conseillers,ainsi que des membres des services des Régions dela Banque, ainsi que sur des évaluations de laméthodologie et du processus des CAE par desévaluateurs externes. Il ressort de ces évaluationsque le cadre méthodologique utilisé depuisquelques années est fondamentalement adéquatmais qu’il présente plusieurs inconvénients. Lastructure adoptée fait en général une place plusimportante aux instruments de la Banque qu’à laréalisation des objectifs du programme, et peutêtre source de confusion lorsque différentessections de la CAE semblent aboutir à desconclusions différentes. Ces critiques confirmentles perceptions des membres du CODE quiestiment que les CAE accordent trop d’importance

aux questions de respect formel des programmeset à l’impact des instruments de la Banque audétriment de l’impact de l’institution sur ledéveloppement et les résultats accomplis.

Cette rétrospective aboutit à la conclusion qu’ilimporte, à l’avenir, d’adopter une approchedavantage basée sur les résultats qui établit desliens bien définis entre les objectifs et lesinstruments de la Banque, d’une part, et lesrésultats obtenus, d’autre part. La démarcheretenue consisterait à exposer les principauxobjectifs et les résultats que la Banque s’efforced’atteindre dans chaque pays, tels qu’ils ressortentde la CAS. Pour chaque objectif (et résultatsouhaité), la CAE évaluerait l’efficacité (et lapertinence) des instruments utilisés, ainsi que lacontribution relative de la Banque (par oppositionà celles d’autres entités) à la réalisation del’objectif. Cette approche traduirait dans les faits laprincipale recommandation des administrateurs, àsavoir le ciblage des CAE sur l’impact effectif desactions menées au niveau du pays.

La rétrospective examine également plusieursautres questions soulevées par les CAE.

Premièrement, elle examine le débat suscité parles notations des CAE. Si les membres du CODEsont en général favorables à ces notations, lamajorité des membres des services de la Banquequi ont été interrogés ont critiqué ces dernières.

L’OED réexaminera l’utilisation des notations dansles CAE ; il a déjà entrepris d’examiner avec ladirection la systématisation d’auto-évaluationsdans les rapports d’achèvement des stratégiesd’aide-pays (CASCR) que valide un examen del’OED. Si ce système, similaire au système denotation des projets, devait être utilisé pour toutesles CAS, les notations des CAE pourraient devenirredondantes.

Deuxièmement, la rétrospective montre que lemoment choisi pour effectuer une CAE déterminede manière cruciale son utilité. L’OED continuera,comme il le fait maintenant, de soumettre les CAEaux administrateurs et aux services de la Banqueenviron trois à neuf mois avant les entretiensprévus pour la CAS.

Enfin, ce rapport note que, de l’avis général, descontacts plus fréquents avec les équipes-pays et lesbénéficiaires du pays durant la préparation desCAE auraient pour effet d’accroître la qualité desévaluations et la mesure dans laquelle sontacceptées. L’OED propose donc de s’efforcer deconsulter les bénéficiaires du pays de manière plusuniforme et de faire participer les équipes-pays auxexamens à mi-parcours des futures CAE afind’obtenir plus rapidement d’information en retoursur les conclusions et recommandations quicommencent à être formulées.


v i i i

Ajay ChhibberDirecteur général par intérim de l'OED

i x

Résumé analytique

Le présent rapport présente l’autoévaluationpar le département de l’Évaluation desopérations (OED) de ses évaluations de l’aide-

pays (CAE). Lors de l’examen de la méthodologiedes CAE mené en 2002, le Sous-Comité informel duComité sur l’efficacité du développement (CODE) anoté l’importante contribution des CAE à l’évaluationdes interventions de la Banque au niveau des payset la nécessité de poursuivre les efforts deperfectionnement de cette méthodologie. Cetterétrospective, qui donne suite à cet examen, a deuxobjets principaux. Le premier est de compiler lesleçons pertinentes pour la formulation de stratégiesd’aide-pays tirées des CAE les plus récentes et ledeuxième est d’évaluer les modifications qu’il estproposé d’apporter au processus, à la méthodologieet à la présentation des CAE.

Qu’avons-nous appris ?La première partie de cette rétrospective récapituleles conclusions et leçons tirées des 25 CAE achevéesdurant les exercices 01 à 03, et complète cet exposépar certaines observations découlant de l’examend’autres CAE achevées durant l’exercice 04. Il enressort, de manière générale, que la Banque doitmieux comprendre le contexte dans lequel le paysopère, mieux connaître le pays et mieux calibrer sesprogrammes d’aide pour obtenir des progrèsnotables au niveau de l’exécution des réformes.

La présente rétrospective aboutit à laconclusion qu’une évaluation de portée nationaledonne une idée plus précise des résultats desprogrammes d’aide de la Banque que lesévaluations de programmes ou de projets

particuliers. Dans le cas d’environ un tiers desprogrammes de portée nationale qui ont étéévalués, l’ensemble des résultats des projetsmenés dans le pays a été jugé satisfaisant tandisque les résultats de la stratégie d’aide au paysont été jugés, de manière générale, nonsatisfaisants. Cela montre bien à quel point il estimportant d’évaluer la stratégie globale de laBanque dans le cadre d’une CAE car sinon,l’analyse pourrait ne pas relever des omissionscruciales des programmes d’aide au pays, commele fait, par exemple, que les interventions au niveaudes projets peuvent ne pas s’attaquer auxprincipaux obstacles au développement.

La rétrospective note également que lesaccomplissements de la Banque varient selon lessecteurs. Les résultats semblent avoir étérelativement satisfaisants dans les secteurs del’éducation et de la santé, mais, dans l’ensemble,moins bons dans le domaine du développementdu secteur privé, de la gestion du secteur public etdu développement rural. Les raisons d’être de lamédiocrité des résultats obtenus dans ces secteurstiennent aux facteurs suivants :

• Les réformes dans ces secteurs semblent se heurterà une plus forte opposition de la part des intérêtsétablis ou des parties qui pourraient y perdre.

• Il faut du temps pour combler les carences auniveau des capacités institutionnelles. De nom-breux projets réalisés dans ces secteurs visent àaméliorer les cadres juridique, institutionnel etréglementaire ; toutefois, pour que ces change-ments aient lieu, il faut surmonter l’inertie de la

bureaucratie et les incitations négatives dontelles font l’objet dans de nombreux pays.

• Ces secteurs sont beaucoup plus exposés auxeffets négatifs de facteurs exogènes et aux chocsmacroéconomiques que les autres. Pouraméliorer les résultats dans tous les secteurs, ilfaudrait mettre davantage l’accent sur l’évalua-tion d’indicateurs basés sur les résultats etfournir un appui à ce titre.

La rétrospective a débouché sur un certain nombre deleçons qui pourraient améliorer la formulation etl’exécution des stratégies d’aide-pays de la Banque.

Premièrement, pour porter leurs fruits, lesprogrammes de portée nationale doivent êtreadaptés au contexte du pays ; l’économie politiquedes réformes doit également être bien comprise.Les politiques intérieures et les intérêts établisdéterminent dans une large mesure le rythme et lanature des réformes dans les pays. Cetterétrospective fait état d’un certain nombre de casdans lesquels une compréhension insuffisante del’économie politique des réformes a amené laBanque à encourager des réformes qui n’avaientguère de chance de réussir. Un dialogue soutenuavec les administrations publiques nationales, lesadministrations locales et les parties prenantespermet à la Banque de mieux comprendre lesconsidérations relatives à l’économie politique.

Deuxièmement, il existe une relation étroiteentre la bonne connaissance d’un pays et le succèsdes interventions dans ce pays. Il est largementreconnu que les projets donnent de meilleursrésultats lorsqu’ils sont basés sur des analysesdétaillées. Il en va de même pour les programmesde portée nationale. Cette rétrospective a permisd’établir que, pour plus des deux tiers desprogrammes qui affichent de bons résultats, desétudes économiques et sectorielles avaient étéréalisées en temps voulu. Les activités d’analyse etde conseil peuvent aussi aider la Banque à ouvrirun dialogue avec les pouvoirs publics sur l’action àmener et à informer la société civile, mais il fautdans ce cas prêter une attention suffisante à leurdiffusion. Celle-ci a fait défaut dans de nombreuxcas. Ce problème peut aussi se poser dans le casdes travaux d’analyse participative, dont lesconclusions ne sont pas toujours largementdiffusées en dehors des ministères publics qui yont collaboré avec la Banque.

Troisièmement, un certain nombre de CAEtémoignent clairement de la contribution quepeuvent avoir l’assistance technique et les prêtsd’investissement à la promotion des réformesinstitutionnelles et du renforcement descapacités mais, pour que les avantages qu’ellesprocurent soient durables, ces opérationsdoivent s’inscrire dans le cadre d’une stratégiede réforme économique et de stabilisationmacroéconomique. Lier l’assistance techniqueet les prêts d’investissement aux réformesaccroît également les chances de réussite de cesdernières.

Quatrièmement, les prêts d’ajustement peuventproduire de bons résultats, surtout lorsque legouvernement est fermement déterminé àpoursuivre la stabilisation macroéconomique et lesréformes structurelles ; toutefois lorsque lesprogrès accomplis au plan de la stabilisation et desréformes ne sont pas durables, les prêtsd’ajustement ne font qu’accroître l’endettementdu pays et réduisent les incitations à poursuivre denouvelles réformes. La Banque doit résister auxpressions exercées pour qu’elle poursuive sesactivités de prêt d’ajustement lorsque legouvernement n’est pas déterminé à mener lesréformes et que les actions qu’il a mené jusque làau niveau de l’exécution jusque là ne sont passatisfaisantes. Il ne ressort toutefois guère desévaluations des programmes d’aide aux payseffectuées par l’OED que la Banque résiste à cespressions. Dans de nombreux pays, lorsqu’elle acédé à ces dernières, un certain nombre desrésultats obtenus n’ont pas été satisfaisants et, faitle plus important, l’incitation à poursuivre desréformes s’en est trouvée affaiblie.

Enfin, la rétrospective recommande plusieursstratégies qui auraient pour effet d’améliorer lesrésultats des programmes d’aide de la Banque.

• Procéder à des analyses de risques plus robustesafin de déterminer précisément l’adhésion del’emprunteur aux réformes et ses capacités d’exé-cution. Ces analyses devraient s’appuyer sur desétudes entreprises par d’autres parties et les infor-mations en retour obtenues dans le cadre d’undialogue plus large avec les parties prenantes.

• Réduire le niveau de l’aide prévue lorsque lasituation montre clairement que l’actionpublique a dérapé.


x

• Poursuivre une politique de prêt plus prudenteen phase de redressement. Cela vaut tout parti-culièrement lorsque des problèmes graves seposent de longue date au niveau de l’exécution.Le niveau de l’aide fournie devrait être limitédans un premier temps, puis calibré en fonctionde résultats quantifiables et de la réalisation dejalons concrets. La Banque obtient de meilleursrésultats dans le cadre de ses financementslorsque ces derniers augmentent parallèlementà l’évolution du programme de réformes et nonpréalablement à ce dernier.

En bref, l’établissement de projections ou laformulation d’attentes optimistes sur la based’analyses de risque inadéquates a fréquemmentpour effet d’affaiblir la performance des stratégiesétablies pour les pays. Les programmes nedevraient pas reposer sur les prévisions les plussouriantes. Enfin, les stratégies établies pour lespays doivent être souples, et ne pas prévoir uneseule trajectoire bien déterminée dont il n’est paspossible de s’écarter.

Comment améliorer l’instrumentque constitue la CAE ?Le principal objectif d’une CAE de l’OED est de tirerles leçons des activités passées de la Banque afind’orienter ses stratégies futures. L’utilité de cetinstrument est donc manifeste. La préparation d’uneCAE est toutefois une tâche complexe et, si désormaisde nombreux organismes multilatéraux et bilatérauxentreprennent des évaluations de leurs programmespar pays, il n’existe pas de méthode « standard ». Ladeuxième partie de la rétrospective des CAE analyse laméthode actuellement suivie par l’OED ainsi que lesperceptions des points forts et des points faibles desCAE dans le but d’améliorer la méthodologie, leprocessus d’évaluation et la structure de cesévaluations.

L’OED a adopté une méthodologie formelle pourles CAE durant l’exercice 00 qui a permis destandardiser et de rendre plus cohérente la démarchedes évaluations. La méthodologie actuelle commencepar déterminer la pertinence de la stratégie d’aide dela Banque face aux besoins et aux problèmes dedéveloppement du pays, notamment en établissant sicette stratégie a omis de prendre en compte toutobstacle important au développement. Elle évalueensuite le programme d’aide en suivant trois axes

différents pour procéder : à un examen « de bas enhaut » des produits et services du programme(financements, activités d’analyse et de conseil, etpartenariats) ; à un examen « de haut en bas » demanière à établir si le programme de la banque aatteint ses objectifs ou les résultats prévus et a eu unimpact réel au plan du développement ; et à uneanalyse des contributions respectives de la banque,de l’emprunteur, d’autres bailleurs de fonds, et deforces exogènes aux réalisations.

Aux fins de cette rétrospective, l’OED a procédé àplusieurs enquêtes sur l’utilisation qui est faite desCAE. Selon toutes les mesures objectives — études desuivi des recommandations des CAE, renvois auxconclusions et recommandations des CAE dans lecadre des débats consacrés aux stratégies d’aide-pays(CAS) qui leur font suite et de l’examen de cesdernières par les administrateurs — il est souvent faitmention des CAE et leurs recommandationsoccupent une place prédominante dans les CAS de laBanque. Les membres du CODE qui ont étéinterrogés aux fins de cette rétrospective estimentque les CAE sont utiles mais ne pensent pas que lesservices de la Banque utilisent leurs conclusions danstoute la mesure du possible. Cette conclusion rejointcelle des services de la Banque qui, de manièregénérale, ont une opinion beaucoup moins favorabledes CAE bien que celle-ci soit plus positive lorsqu’ilsconstatent que la CAE a bien eu un impact sur lastratégie de l’institution. La conclusion sur laquelledébouche la présente rétrospective est donc que lesCAE sont utiles, mais qu’il faudrait apporter desmodifications à leur méthodologie, au système denotation et aux contacts avec les diverses partiesintéressées pour que les évaluations soient acceptéeset utilisées de manière plus productive.

L’évaluation de la méthodologie des CAE parl’OED lui-même et celle d’un évaluateur externeindépendant ont abouti à la conclusion que si le cadreméthodologique est fondamentalement adéquat, ilsemble toutefois présenter plusieurs inconvénients.Premièrement, la structure adoptée fait en généralune place plus importante aux instruments de laBanque qu’à la réalisation des objectifs duprogramme. Deuxièmement, il peut sembler quedifférentes sections des CAE aboutissent à desconclusions différentes. Par exemple, la noteattribuée aux résultats du programme dans sonensemble peut différer de la note récapitulative desdifférents projets du portefeuille, comme indiqué

RÉSUMÉ ANALYTIQUE

x i

plus haut. Enfin, telles qu’elles sont structurées àl’heure actuelle, les CAE mettent l’accent d’abord surle client puis sur la Banque puis de nouveau sur leclient. Il est donc difficile de suivre le déroulementdes faits. L’évaluation de l’OED cadre avec lesperceptions des membres du CODE qui estiment queles CAE accordent trop d’importance aux questionsde respect formel du programme et à l’impact desinstruments de la Banque au détriment de l’impact dela Banque sur le développement et les résultatsaccomplis.

La rétrospective aboutit à la conclusion qu’ilfaudra, à l’avenir, adopter une approche basée sur lesrésultats établissant clairement les liens entre lesobjectifs de la Banque, les instruments utilisés et lesrésultats obtenus. La démarche retenue consisterait àexposer les principaux objectifs et les résultats que laBanque s’efforce d’atteindre dans chaque pays, telsqu’ils ressortent de la CAS. L’examen de la stratégies’appuierait sur un modèle logique simple définissantles liens entre les intrants et les résultats escomptésen fonction des informations tirées de la CAS etd’autres documents. Pour chaque objectif (et résultatsouhaité), la CAE évaluerait l’efficacité (et lapertinence) des instruments utilisés, ainsi que lacontribution relative de la Banque (par opposition àcelles d’autres entités) à la réalisation de l’objectif.Cette approche serait basée sur les résultats ettraduirait dans les faits la principale recommandationdes administrateurs, à savoir le ciblage des CAE surl’impact effectif des actions menées au niveau dupays.

Les CAE notent les résultats de l’aide de la Banque,sa durabilité et son impact sur le développementinstitutionnel. Les notations des CAE ont fait l’objetde nombreux débats et de maintes critiques qui, dansune certaine mesure, sont motivées par le débat quipartage de longue date la communauté del’évaluation et a trait au choix entre un systèmepermettant de déterminer à qui sont imputables lesrésultats et un système permettant de promouvoir lesleçons qui peuvent être tirées de l’expérience. Lesmembres du CODE sont dans l’ensemble favorablesau maintien des notations, et font valoir que cesdernières offrent le meilleur moyen de s’assurer quela direction prête attention aux résultats des CAE. Lamajorité des membres des services de la Banque quiont participé aux entrevues ont critiqué le système de

notation et ont, dans certains cas, fait étatd’incohérences entre les notes attribuées et lesexplications censées les justifier, ou encore del’absence d’évaluations différenciées pour chaquepériode d’exécution. Toutefois, le problème majeurqui se pose à cet égard tient au fait que de nombreuxlecteurs pensent, à tort, que la notation des résultatsporte sur les progrès accomplis par le pays au plan dudéveloppement ou bien sur la performance de laBanque. Il importe de déployer des efforts accruspour clarifier la nature des notations des CAE et leurjustification.

L’OED a entrepris de revoir les notations des CAEet examine avec la direction la possibilité d’incorporerun système d’auto-évaluation dans les rapportsd’achèvement des CAS (CASCR) validés par unexamen de l’OED. Si ce système, similaire au systèmede notation des projets, était adopté pour toutes lesCAS, les notations des CAE pourraient devenirredondantes.

Le moment choisi pour effectuer une CAEdétermine de manière cruciale son utilité. Les servicesde la Banque préfèrent disposer d’une CAE au débutdu processus de formulation de la CAS, tandis que lesmembres du CODE préfèrent examiner la CAE à unedate proche de l’examen de la CAS pertinente par lesadministrateurs. Il a été possible de déterminer, dansle cadre de cette rétrospective, que la grande majoritédes CAE récemment préparées semble l’avoir été aubon moment pour faciliter la préparation de la CAS etson examen. L’examen consacré par l’OED aucalendrier des CAE achevées durant les exercices 01 à03 montre que plus de 50 % des CAE qui ont étésuivies d’un examen par les administrateurs de la CASsubséquente, avait été examiné par le CODE dans lessix mois précédant l’examen de la CAS et les deuxtiers des CAE durant l’année qui a précédé cetexamen. Par ailleurs, bien que les services de laBanque estiment que leur calendrier n’était pasadéquat, les 22 CAE examinées par le CODE avantl’examen de la CAS par les administrateurs sontmentionnées dans lesdites CAS. L’OED continuera,comme il le fait maintenant, de soumettre les CAE auxadministrateurs et aux services de la Banque environtrois à neuf mois avant les entretiens prévus pour laCAS, mais note que la date fixée pour les examens deces dernières n’est pas toujours prévisible de sortequ’il est très difficile de respecter ce délai.


x i i

Enfin, de l’avis général, un resserrement descontacts avec les équipes-pays durant la préparationdes CAE et avec les bénéficiaires du pays aurait poureffet d’accroître aussi bien la qualité des CAE quel’acceptation de leurs conclusions. Si la présenterétrospective a pu établir que les contacts avec lesbénéficiaires nationaux sont beaucoup plus fréquentsqu’on ne le pense, l’OED s’efforcera toutefoisd’uniformiser les pratiques de consultation desbénéficiaires dans le pays et la prise en compte de leuropinion. La rétrospective aboutit également à laconclusion que des contacts plus systématiques avec

les équipes-pays durant le processus de préparationde l’évaluation pourraient permettre d’éclaircirdifférents points, de rendre les conclusions des CAEplus acceptables et d’accroître la mesure dans laquelleelles sont prises en compte dans les programmesétablis pour les pays. L’OED propose donc de faireparticiper les équipes-pays aux examens à mi-parcours des futures CAE de manière à disposerrapidement d’informations en retour sur lesconclusions et recommandations qui commencent àêtre formulées.

RÉSUMÉ ANALYTIQUE

x i i i

x v

Sigles et Abréviations

APL Prêt à des programmes évolutifs ARDE Examen annuel de l’efficacité du développement AROE Rapport annuel sur les évaluations des opérations BAfD Banque africaine de développement BIRD Banque internationale pour la reconstruction et le développementBIsD Banque islamique de développement CAD Comité d’aide au développementCAE Évaluation de l’aide-paysCAS Stratégie d’aide-paysCASCR Rapport d’achèvement des stratégies d’aide-paysCASPR Rapport d’étape sur la stratégie d’aide-paysCODE Comité sur l’efficacité du DéveloppementCPIA Évaluation de la politique et des institutions nationales DFID Department for International Development (R-U)IDA Association internationale de développementIDI Impact sur le développement institutionnelLICUS Pays à faible revenu en difficultéLIL Prêt au développement des connaissances et à l’innovation OCDE Organisation de coopération et de développement économiquesOED Département de l’évaluation des opérationsONG Organisation non gouvernementalePPTE Pays pauvre très endettéPSD Développement du secteur privéUNICEF Fonds des Nations Unies pour l’enfance

1

Introduction

Le présent rapport présente l’auto-évaluation par le département del’Évaluation des opérations (OED) de ses évaluations de l’aide-pays(CAE). Lors de l’examen de la méthodologie des CAE mené en 2002, le

Sous-Comité informel du Comité sur l’efficacité du développement (CODE)a noté l’importante contribution des CAE à l’évaluation des interventions dela Banque au niveau des pays et la nécessité de poursuivre les efforts deperfectionnement de cette méthodologie.

Cette rétrospective, qui donne suite à cet examen,a deux objets principaux. Le premier est de répondreà la question : « Qu’avons-nous appris ? » en compilantles leçons pertinentes pour la formulation destratégies d’aide-pays tirées des CAE les plus récentes.Le deuxième est d’évaluer les modifications qu’il estproposé d’apporter au processus, à la méthodologieet à la présentation des évaluations d’aide aux payspour déterminer « Comment améliorer l’instrumentque constitue la CAE ».

Rappel des faitsL’aide de la Banque au développements’inscrit maintenant résolument dans le cadrede programmes par pays. Les stratégies d’aide-pays (CAS) sont devenues la pièce maîtresse desprogrammes par pays de la Banque et replacent lesopérations de l’institution dans le contexte de lastratégie et des objectifs de développement du payslui-même. La Banque a entrepris de renforcer sonprocessus de formulation de stratégies en adoptant

11

un cadre axé sur les résultats pour les CAS, demanière à mieux définir les résultats que la Banquesouhaite promouvoir dans chaque pays, ainsi queles liens entre ces résultats et le programme appuyépar ses initiatives.

La Banque ayant décidé d’abandonner uneapproche privilégiant des projets particulierspour replacer son action dans le cadre deprogrammes par pays, l’OED a commencé àévaluer ces programmes durant l’exercice 95.L’OED est parti des méthodes qu’il appliquaitjusque là aux projets pour élaborer une nouvelleméthodologie. Celle-ci a été codifiée dès l’exercice001 et, comme indiqué plus haut, a été examinéedans le cadre d’uneréunion du Sous-Comitédu CODE durantl’exercice 02. L’approchede la CAE est ainsidevenue plus homogèneet plus cohérente.

Les stratégies d’aide-pays(CAS) sont devenuesla pièce maîtresse desprogrammes par paysde la Banque

La méthodologie actuelle donne lieu, pourcommencer, à l’évaluation de la pertinence de lastratégie d’aide de la Banque face aux besoins et auxproblèmes de développement du pays, et cherche àdéterminer, entre autres, si cette stratégie a omis deprendre en compte un obstacle majeur audéveloppement. La CAE examine ensuite leprogramme d’aide sous trois angles différents. Dansune première étape, elle procède à un examen debas en haut des produits et services de la Banque(financements, activités d’analyse et de conseil, etcoordination de l’aide) que celle-ci emploie pouratteindre ses objectifs. Elle analyse ensuite lasituation de haut en bas pour déterminer si leprogramme de la Banque a atteint ses objectifs oules résultats prévus, et s’il a eu un impact sensiblesur le développement du pays. Ces deux typesd’examen permettent de vérifier la cohérence desconclusions relatives aux produits et services et àl’impact au plan du développement. Enfin, la CAEdétermine la répartition de la responsabilité desrésultats de la stratégie établie pour le pays entre laBanque, l’emprunteur, d’autres bailleurs de fondset/ou des facteurs exogènes.

À la fin de l’exercice 04, l’OED avait publiédes CAE évaluant l’impact de l’aide fournie parla Banque à 64 pays2. Ces évaluations couvrentapproximativement 47 % des emprunteurs et 76 % dumontant total des engagements bruts. La présenterétrospective est essentiellement basée sur les 25CAE achevées durant les exercices 01-03, maisprésente également certains enseignements tirésdes huit CAE achevées durant l’exercice 04.

Cinq CAE ont été réalisées en associationavec d’autres institutions multilatérales demanière à encourager le partage des expérienceset l’harmonisation des évaluations. Lesévaluations de l’aide au Lesotho et au Rwanda ont étépréparées en association avec la Banque africainede développement (BAfD) ; les évaluations del’aide à la Jordanie et à la Tunisie ont été effectuéesavec la Banque islamique de développement(BIsD), et l’évaluation de l’aide au Pérou a étéréalisée en association avec la Banqueinteraméricaine de développement.

Ces évaluations conjointes avaient principalementpour objet de promouvoir le partage des

2


connaissances et d’encourager l’établissement denormes d’évaluation communes, dans le droit-fildu programme d’harmonisation de plus vasteportée de la Banque et d’autres bailleurs de fond.Par exemple, la BAfD a récemment modifié sesdirectives pour l’évaluation de l’aide aux pays demanière à ce qu’elles cadrent bien avec la méthodeactuellement employée par l’OED. Les évaluationsconjointes ont également permis d’identifier desobstacles majeurs et des carences importantes auniveau de l’assistance des bailleurs de fond. Parexemple, l’évaluation par la BAfD de sonprogramme pour le Rwanda a fait ressortirl’absence de principes directeurs pour la périodefaisant suite au conflit. Enfin, les évaluationsconjointes de l’aide-pays sont un moyen d’allégerla charge imposée aux pays bénéficiaires par lapoursuite d’efforts d’évaluation menésindépendamment par différents bailleurs de fond.Ces avantages sont néanmoins quelque peuréduits par les coûts de transaction et le tempssupplémentaire qui doit être consacré auxconsultations et à la coordination.

Démarche suivie pour l’évaluationrétrospective des CAEPour atteindre les deux objectifs de cetterétrospective, l’OED a demandé à ce que soientréalisées un certain nombre d’études de fondspour évaluer les enseignements tirés del’expérience, la méthodologie des CAE, etl’utilisation des CAE par les administrateurs, leCODE (et son Sous-Comité), et les services de laBanque.

• Le personnel de l’OED a examiné les 25 CAEachevées durant la période allant de l’exercice01 à l’exercice 03 pour en tirer des leçonsapplicables à toutes les CAE. Cette analyse et cesconclusions sont présentées dans la premièrepartie de cette rétrospective.

• L’OED a chargé un consultant indépendant deprocéder à des études qualitatives qui ontdonné lieu à des entrevues non directives avecles administrateurs, les membres du CODE etdu Sous-Comité du CODE, ainsi que d’autresparticipants aux réunions consacrées par le

CODE ou son Sous-Comité à l’examen des CAE.Au total, 30 personnes ont été consultées.

• Deux études de contrôle périodique ont étéentreprises. Les comptes-rendus des entretiensdu Conseil et les déclarations écritesd’administrateurs au sujet des CAS ou desrapports d’avancement des CAS ont étéexaminés dans le but d’évaluer l’impact des CAEsur l’examen des CAS qui les ont suivi. Parailleurs, les dossiers des 25 CAS (ou rapportsd’avancement) établis à la suite de CAE ont étéanalysés afin de déterminer si les CAE avaientété réalisées en temps opportun et la manièredont leurs recommandations ont été utilisées.

• L’OED a demandé au consultant indépendantqui a interviewé les membres du CODE depoursuivre un exercice qualitatif similaire avec

des agents de la Banque. Ce consultant a doncprocédé à des entrevues détaillées avec 20anciens ou actuels directeurs-pays associés à aumoins 11 des 25 CAE achevées durant la périodeallant de l’exercice 01 à l’exercice 03, cinqanciens ou actuels vice-présidents de région et18 autres membres des services de la Banque.

• Un spécialiste des évaluations a examiné laméthodologie actuelle des CAE et proposécertaines modifications qui auraient pour effet,en particulier, de cibler les CAE sur les résultatsliés aux CAS.

• Un examen sur dossier des méthodesd’évaluation de l’aide-pays suivies par d’autresorganismes bilatéraux/multilatéraux a étéentrepris dans le but d’identifier les bonnespratiques.

I N T R O D U C T I O N

3

5

Première partie :qu’avons-nous appris ?

Ce chapitre récapitule les conclusions et leçons tirées des 25 CAE achevéesdurant les exercices 01 à 03. Il présente également certaines observationsdécoulant de l’examen de huit autres CAE achevées durant l’exercice 043.

Ces 25 CAE ne constituent ni un échantillonaléatoire ni un échantillon représentatif. Les paysqui en font l’objet ont été sélectionnés sur la basede plusieurs facteurs. Le principal est la dateprévue pour la prochaine stratégie d’aide-pays dela Banque (CAS), mais d’autres ont également étépris en considération tels que la possibilité pourl’OED de collaborer avec d’autres institutionsfinancières internationales, la répartition parrégion et l’existence ou non d’une CAE antérieurepour le pays considéré. Par conséquent, si les paysretenus ne constituent pas un échantillon aléatoiredes emprunteurs de la Banque, les 25 CAEsélectionnées forment une base raisonnable pourcet examen des « conclusions et leçons » (voir letableau 2.1).

L’échantillon est bien réparti entre pays à faiblerevenu et pays à revenu intermédiaire, c’est-à-direentre emprunteurs à la Banque internationale pourla reconstruction et le développement (BIRD) etemprunteurs à l’Association internationale dedéveloppement (IDA), et aussi entre les régions.Quatre pays sortant d’un conflit figurent dansl’échantillon. Celui-ci comprend aussi des paysdont les résultats ont été jugés satisfaisants(environ les 3/5) et des pays dont les résultats n’ontpas été jugés satisfaisants. Il est constitué à parts

22

relativement égales de pays dont la performance aété jugée satisfaisante et de pays dont laperformance a été jugée non satisfaisante dans lecadre des évaluations de la politique et desinstitutions nationales (EPIN). Comme l’indiquel’Examen annuel de l’efficacité du développement

2003 (ARDE), il existe une corrélation positiveentre la notation des résultats dans le cadre de laCAE et la performance au niveau des politiques(OED 2004a, p.15). Relativement peu de paysd’Amérique latine, d’Asie du Sud et d’Asie de l’Estfigurent toutefois dans l’échantillon, en grandepartie parce que les évaluations des pays de cesrégions ont été pour l’essentiel achevées avantl’exercice 01.

ConclusionsLes notations des résultats dans le cadre desCAE peuvent différer de la notation del’ensemble des résultatsdes projets. Dans le casd’environ un tiers desCAE, les résultats de lastratégie d’aide au paysont été jugées peusatisfaisantes, alors quel’ensemble des résultats des projets menés dans

Les notations des résultatsdans le cadre des CAEpeuvent différer de lanotation de l’ensembledes résultats des projets.

6


pays, qui englobe aussi bien des projets que desactivités d’analyse et de conseil. Par ailleurs, lesCAE ont pour objet d’évaluer la stratégie globalede la Banque, y compris le volume, la répartitionsectorielle et le type des financements. Parexemple, la CAE peut déterminer que la situationn’est pas satisfaisante si la stratégie d’aide globalede la Banque souffre d’omissions cruciales, mêmesi les projets sont jugés, individuellement, avoirdonné des résultats satisfaisants.

Les CAE montrent que les programmes dela Banque ont obtenu les meilleurs résultatsdans les secteurs de l’éducation et de lasanté, et les moins bons résultats dans ledomaine du développement du secteur privé,du développement rural, de l’environnement etde la protection sociale (tableau 2.3). Cetteobservation est corroborée, pour l’essentiel, parles notations globales des projets pour la mêmesérie de 25 CAE (tableau 2.3). Les seules différencesnotables entre les notations sectorielles des CAE et lesnotations des résultats des projets concernent lesdomaines du développement du secteur privé, dudéveloppement rural et de la gestion du secteurpublic, dans le cadre desquels les résultats jugésrelativement peu favorables dans les CAEs’opposent à la forte proportion de projets dont lesrésultats ont été considérés satisfaisants.

Les différences entre les notations au niveaudes projets et les notations au niveau sectorieldans les domaines du développement dusecteur privé, du développement rural et de lagestion du secteur public peuvent tenir àplusieurs facteurs. Premièrement, l’économiepolitique des réformes dans ces secteurssoulève davantage de problèmes, et l’oppositionde parties qui pourraient se retrouver perdantesou d’intérêts établis est probablement plusciblée et durable. Il se peut que les différentsprojets soient exécutés de manière satisfaisante,mais qu’il faille déployer des efforts plus intenses etde plus longue durée pour surmonter l’oppositionpolitique et obtenir des résultats satisfaisants auniveau macro. Par exemple, dans les économies entransition, l’antipathie qu’éprouve de longue datela nomenklatura envers les entreprises privées a deprofondes racines idéologiques et n’est pas facile àsurmonter. Malgré les réformes juridiques etréglementaires, un parti pris continue d’exister

Niveau de revenu

Faible 10

Intermédiaire - tranche inférieure 12

Intermédiaire - tranche supérieure 3

25

Pays à financement BIRD,

IDA ou hybride

BIRD 14

IDA 8

Hybride 2

24a

Post conflit ou non

Oui 4

Non 21

25

Niveau EPINb

Au-dessus de la moyenne 13

En dessous de la moyenne 11

24c

Région

Afrique 12

Asie de l’Est et Pacifique 2

Asie du Sud 1

Europe et Asie centrale 5

Moyen-Orient et Afrique du Nord 3

Amérique latine et Caraïbes 2

25

Notation OED des résultats

Très satisfaisant 2

Satisfaisant 9

Assez satisfaisant 8

Peu satisfaisant 3

Non satisfaisant 9

31d

a. Les financements consentis à la Cisjordanie et Gaza émanent d’un fonds fiduciaire de la Banque

mondiale et sont accordés sous forme de don ou aux conditions de l’IDA.

b. EPIN = Évaluation de la politique et des institutions nationales

c. Aucune EPIN n’est réalisée pour la Cisjordanie et Gaza

d. Quatre pays ont reçu des notations différentes pour certaines sous-périodes

Caractér i s t iquesdes 25 pays couver tspar l es CAE examinées

T a b l e a u 2 . 1

le pays durant la période couverte par la CAE a étéjugé satisfaisant (voir le tableau 2.2). Cela n’estguère surprenant. La CAE est une évaluationdétaillée du programme de la Banque dans un

dans ces pays à l’encontre de l’activité économiqueprivée. Dans les économies moins développéesd’Asie, d’Afrique et d’Amérique latine, les grandesinitiatives de développement rural se heurtentfréquemment aux conflits d’intérêts qui opposentde puissants groupes (tels que les gros exploitantset les ouvriers agricoles, ou encore les habitantsdes zones rurales et les habitants des zonesurbaines) et il faut du temps et de la finessepolitique pour pouvoir les résoudre.

Deuxièmement, même en l’absence d’uneforte opposition politique, ces domaines sontfondamentalement tributaires des réformesinstitutionnelles et du renforcement descapacités, c’est-à-dire de processus de longuehaleine dont les effets se manifestent parfoisau-delà de la période couverte par la CAE. Parexemple, le développement du secteur privédépend de l’existence d’un appareil judiciaireefficace, qui ne peut être mis en place rapidement.Il faut du temps pour réformer la fonction publiqueet encore plus de temps pour constater les effetsde cette réforme. Les résultats au niveau sectorielne se matérialisent donc qu’à terme.

Enfin, les résultats dans ces domaines sontdavantage tributaires de l’évolution de lasituation dans l’ensemble de l’économie etde facteurs exogènes. L’expansion du secteur

P R E M I È R E P A R T I E : Q U ’ A V O N S - N O U S A P P R I S ?

7

privé dépend non seulement du cadre juridique etrèglementaire de son développement, mais aussides progrès accomplis dans d’autres domaines dela politique économique, tels que la stabilisationmacroéconomique,l’infrastructure et le secteurfinancier. Les conditionsautres qu’économiques quirègnent dans le pays, l’ordrepublic, par exemple, et lasituation extérieure, notam-ment l’attitude du marchédans la région, ont égalementun impact fondamental sur ledéveloppement du secteurprivé. Le développement

Notation des résultatsdes CAE et notationdes résultats des projets

T a b l e a u 2 . 2

Notation des résultats des CAE (%) Résultats du portefeuille-pays Satisfaisant Insatisfaisant

Satisfaisant 53 33

Insatisfaisant 7 7Source : Base de données de la Banque mondiale.

N o t a t i o n s p a r s e c t e u r e t p a r p r o j e t , C A E d e s e x e r c i c e s 0 1 - 0 3 T a b l e a u 2 . 3

Résultats des projets Notation CAE des résultats des secteursb

Secteur (% satisfaisanta) Satisfaisant Insatisfaisant Mixte Non déterminé

Éducation 100,0 48 8 4 40

Santé 86,5 40 20 8 32

Protection sociale 37,9 12 24 20 44

Environnement 25,5 16 16 24 44

Secteur rural 87,2 12 36 28 24

Secteur financier 81,6 24 16 32 28

Infrastructure 87,7 36 16 24 24

Secteur public 99,9 24 32 28 16

Développement du secteur privé 60,1 12 24 44 20a) Pourcentage (de la valeur des engagements) des projets ayant donné des résultats satisfaisants par secteur dans les pays pour lesquels des CAE ont été achevées durant les exercices 01-03.

b) Les notations sur lesquelles sont basés les chiffres de ces colonnes sont celles des responsables des CAE, et le produit de l’examen sur dossier des résultats des CAE par secteur. Les

CAE ne fournissant pas de notation explicite par secteur dans la plupart des cas, les chiffres indiqués ne sont présentés qu’à titre indicatif.

Source : base de données de la Banque mondiale et estimations de l’OED.

Il se peut qu’unecompréhensioninsuffisante de l’économiepolitique des réformes et de la nature de l’Étatait parfois amené laBanque à encourager desréformes qui n’avaientguère de chances de réussir

rural et les réformes dusecteur public sont aussiimpactés de manière nonnégligeable par la situationéconomique générale. (Celane veut pas dire que lesrésultats affichés par d’autressecteurs ne sont pas fonction

dans une certaine mesure de ces mêmes facteurs.C’est l’intensité de l’effet exercé qui est différent.)

Leçons tirées de l’expériencePremière leçon : il est essentiel de comprendre

l’économie politique des réformes, et notamment

l’engagement et l’adhésion des pouvoirs publics

aux réformes ainsi que l’intensité de l’appui ou de

l’opposition politique auxdites réformes, pour

formuler des stratégies d’aide-pays réalistes,

concevoir des programmes et des projets spécifiques

et procéder à une analyse des risques.

Les réformes économiques échouentfréquemment soit parce que le gouvernementn’est pas déterminé à les poursuivre, soit parce quele gouvernement a sous-estimé l’opposition à cesréformes et n’a pas pu les mener à bien. Il se peutqu’une compréhension insuffisante de l’économiepolitique des réformes et de la nature de l’État aitparfois amené la Banque à encourager desréformes qui n’avaient guère de chance de réussir.Par exemple, au Zimbabwe, la politiqueéconomique et sociale du Gouvernement étaitessentiellement motivée par le désir d’assurer lapropriété des actifs productifs aux populationsautochtones. Si la Banque avait mieux comprisl’importance de cette question, elle aurait pudonner la priorité aux réformes agraires. Il auraitété également plus facile de comprendre le peud’empressement du Gouvernement à mener uneréforme des établissements paraétatiques et de lafonction publique. Au Pérou, la privatisation et laréforme de la fonction publique ont été menacéespar l’opposition de la classe moyenne. Il aurait étépossible de réduire cette opposition enpoursuivant les réformes dans un ordre différent eten adoptant des mesures de protection socialepour atténuer les conséquences défavorables duprocessus de privatisation et des réformes de lafonction publique.

8


Deuxième leçon : il est essentiel de poursuivre

des réformes institutionnelles et de renforcer

les capacités pour assurer une bonne

gouvernance et, partant, pour pouvoir obtenir

de bons résultats. Étant donné que le

renforcement des capacités est une opération

de longue haleine, il importe d’entreprendre

au plus tôt les réformes et de les poursuivre

pendant plusieurs années.

Le développement institutionnel est lefondement de l’efficacité du développement.L’accroissement de la solidité des institutionss’accompagne généralement d’une augmentationde 20 points de pourcentage de la probabilité queles résultats d’un projet seront jugés satisfaisants(OED 1999). Les résultats que peut avoir uneréforme sont souvent amoindris par des carencesinstitutionnelles ou l’inexistence d’importantsdispositifs institutionnels.

Par exemple, dans les économies en transitiond’Europe centrale et d’Europe de l’Est et en ex-Union soviétique, les institutions n’ont pas étéconçues pour une économie de marché. Lorsquel’économie dirigée s’est effondrée, des réformesaxées sur le marché ont été mises en œuvre mais,étant donné le temps requis pour mettre en placedes institutions nécessaires, il n’a pas été possiblede tirer pleinement parti des réformes4. Une réformeinstitutionnelle ne consiste pas uniquement àmodifier des organigrammes et à changer des règles ;elle implique également l’abandon d’habitudes etle changement de comportements bien établis —ce qui est long et difficile à accomplir. Les grandsréaménagements institutionnels peuvent prendreplusieurs années5.

Troisième leçon : le succès des réformes menées

dans un secteur dépend souvent des réformes

complémentaires et des succès obtenus dans

d’autres secteurs. L’ordre dans lequel ces réformes

sont poursuivies et la manière dont elles sont

combinées doivent être décidés compte tenu de cette

complémentarité.

Il ressort de plusieurs CAE que de meilleursrésultats auraient pu être obtenus si une plus grandeattention avait été portée à la complémentarité desréformes menées dans différents secteurs. Il n’estpas possible d’assurer le développement du

Il est essentiel depoursuivre des réformesinstitutionnelles et derenforcer les capacitéspour assurer une bonnegouvernance

secteur privé uniquement en procédant à desprivatisations. Il faut également réformer le secteurpublic en démantelant les réglementations, apporterdes changements à la politique et à l’administrationfiscales et lutter contre la corruption. Par exemple, enMongolie, d’importantes mesures ont été prisespour promouvoir le développement du secteurprivé — qui ont consisté, notamment, à permettrela propriété privée, éliminer les contrôles de prix etdes marges, abaisser les barrières commerciales,simplifier le régime fiscal, et améliorer le cadre del’investissement étranger ; toutefois les effortsdéployés pour desserrer l’étau de l’État surl’économie n’ont pas été suffisants. L’inefficacitédes fonctions de réglementation et de supervisiondu gouvernement a continué de faire obstacle audéveloppement du secteur privé.

Comme le notent plusieurs CAE, l’expansion dusecteur privé dépend dans une très large mesure del’existence d’un appareil judiciaire efficace. On aégalement pu constater que la mesure dans laquelleles réformes du secteur financier permettentd’améliorer l’intermédiation financière dépendfondamentalement des réformes menées dans lesecteur des entreprises et dans le secteur public. Parexemple, tant que les entreprises peuvent comptersur le secteur public pour les renflouer (que ce soitpar le versement de subventions explicites ouimplicites où l’accumulation d’arriérés fiscaux), ellessont moins incitées à emprunter aux banques. Cesdernières, quant à elles, hésitent à offrir des capitauxà des entreprises qui ne survivront que si elles sontsubventionnées par le secteur public. Dans les deuxcas, l’intermédiation financière s’en trouve réduite.

Quatrième leçon : les études économiques et

sectorielles doivent être prêtes en temps utile, de

bonne qualité et totalement intégrées dans la

conception de la stratégie, des programmes et des

projets de la Banque. Il est particulièrement

important de pouvoir disposer rapidement de ces

études pour les pays qui empruntent pour la

première fois, ou renouvellent leurs emprunts et

pour les pays qui procèdent à des réformes par

à-coups.

Les études économiques et sectoriellescontribuent largement à la formulation de lastratégie d’aide de la Banque et au renforcementde son efficacité. Les deux tiers des CAE qui fontétat de résultats favorables notent également que


9

les études économiques et sectorielles ont étéréalisées en temps voulu. Ces CAE indiquent, parailleurs, que les résultats obtenus n’ont pas étésatisfaisants lorsque les études économiques etsectorielles n’avaient pas été préparéessuffisamment rapidement.

Au Brésil, grâce à l’actualité de ces études, laBanque a pu orienter ses financements vers desprojets dans les secteurs de l’éducation, de lasanté, et de la pauvreté rurale dans le Nord-Est etavoir un impact maximum sur la réduction de lapauvreté. Au Viet Nam, les études économiques etsectorielles ont montré que la pauvreté rurale étaittrès étroitement associée aux carences del’infrastructure économique, ce qui a amené laBanque à axer son programme de financement surl’infrastructure économique.

La contribution des études économiques etsectorielles a toutefois été moins satisfaisante auKazakhstan, par exemple, où un projet deprotection sociale a été réalisé dans le butd’atténuer l’impact des privatisations sur la sociétéen renforçant les capacités institutionnelles desservices d’aide aux chômeurs pour rationaliser lesprocédures d’inscription et le paiement desprestations de chômage. L’évaluation de lapauvreté publiée deux années plus tard a montréqu’il aurait mieux valu prendre des mesures pourfaciliter la mobilité de la main-d’œuvre etpermettre aux salariées de se recycler en fonctionde l’évolution des circonstances au lieu derenforcer les capacités des services d’aide auxchômeurs. En Bulgarie, la présentation d’uneévaluation de la pauvreté en temps utile aurait pupermettre de mieux cibler l’assistance sociale surles segments démunis de la population dans lecadre d’un prêt au titre de la protection sociale.

Dans quelques pays, des études économiqueset sectorielles de hautequalité ont été préparéesen temps voulu, mais leursconclusions ou bien n’ontpas été prises dûment encompte dans le cadre de laformulation des stratégies,ou bien ont été utilisées demanière sélective, ce qui aréduit leur pertinence et

Les études économiques etsectorielles doivent êtreprêtes en temps utile, debonne qualité et totalementintégrées dans laconception de la stratégie,des programmes et desprojets de la Banque.

leur efficacité. Par exemple, en Jordanie, lesfinancements accordés par la Banque durant lesannées 90 ne visaient pas à résoudre le problèmede l’ampleur des dépenses publiques, alors que lesanalyses avaient montré comment il aurait étépossible de les réduire et de mieux les cibler. AuPérou, le prêt au titre de la réforme du secteurfinancier (exercice 99) n’a pas été utilisé pours’attaquer aux problèmes fondamentaux dusecteur, qui avait été correctement identifiés dansune évaluation de ce secteur.

Les études économiques et sectorielles peuventétablir une solide base de connaissances et aider laBanque à ouvrir un dialogue avec les pouvoirspublics sur l’action à mener. Elles peuventégalement aider les pouvoirs publics à comprendreles coûts et les avantages des réformes et, cefaisant, faciliter la conception du programme deréformes. Il importe également de noter l’impact àlong terme de ces études, car elles permettentd’ouvrir le débat sur les questions relevant del’action publique et contribuent à familiariser lasociété civile avec les questions relatives auxréformes. Il va toutefois sans dire que ces étudesne peuvent pas entraîner une réorientation de lapolitique de l’État lorsque le gouvernement n’estpas déterminé à poursuivre des réformes.

Cinquième leçon : il peut être utile d’avoir

recours à des prêts d’assistance technique et

d’investissement spécifique pour promouvoir des

réformes institutionnelles mais, pour que les

avantages qu’elles procurent soient durables,

ces opérations doivent s’inscrire dans le cadre

d’une stratégie de réforme économique et de

stabilisation de plus grande envergure, et bénéficier

de la solide adhésion des

pouvoirs publics aux

réformes.

Environ 22 des 25 CAEdémontrent clairement lacontribution que peuventavoir des prêts d’investisse-ment spécifique et des prêtsau titre de l’assistancetechnique à la promotiondu développement institu-tionnel dans les pays àfaible revenu ainsi que dans

1 0


les pays à revenu intermédiaire6. Vingt de cespays ont également bénéficié de prêtsd’ajustement. Dans de nombreux pays, les prêtsspécifiques accordés au titre de l’assistancetechnique et du renforcement des institutions ontété étroitement coordonnés avec les prêtsd’ajustement, ce qui a permis de renforcer lescapacités de formulation et d’exécution desajustements de l’action publique appuyés par lesprêts d’ajustement.

Il est toujours essentiel d’avoir une solideadhésion des pouvoirs publics et des prioritésclairement formulées pour que ces instrumentspuissent efficacement contribuer à la promotiondu développement institutionnel. À cet égard, lesagents de la Banque peuvent profiter de la périodeplus longue couverte par les prêts d’investissementpour établir des rapports avec leurs homologues,et fournir à la fois des services de conseil et uneassistance technique, en particulier aux ministèressectoriels. En revanche, si les pouvoirs publics nesont pas résolument déterminés à poursuivre lesréformes institutionnelles sur le long terme, il estpeu probable que l’aide de la Banque puisse porterses fruits7.

Sixième leçon : lorsque les progrès accomplis

au plan des réformes ne sont pas durables,

les prêts d’ajustement ne font qu’accroître

l’endettement du pays et peuvent réduire les

incitations à poursuivre de nouvelles réformes.

Les prêts d’ajustement peuvent produire debons résultats, surtout lorsque le gouvernementest fermement déterminé à poursuivre lastabilisation macroéconomique et les réformesstructurelles. La Banque devrait toutefois résisteraux pressions exercées sur elle pour assurer lapoursuite des prêts d’ajustement lorsque legouvernement n’est pas résolu à mener lesréformes et que des antécédents satisfaisants n’ontpas été établis dans le cadre de leur application. Lesprêts d’ajustement ont pour objet de fournir lesfinancements nécessaires pour atténuer le coût del’ajustement engendré par l’exécution de réformesstructurelles.

Toutefois, l’examen des CAE dans le cadre decette rétrospective montre que les prêts d’ajuste-ment n’ont été retardés, comme il se devait, quedans seulement deux pays (Bulgarie et Brésil)lorsque le processus de réforme s’est enrayé. Dans

Lorsque les progrèsaccomplis au plan desréformes ne sont pasdurables, les prêtsd’ajustement ne fontqu’accroître l’endettementdu pays et peuventréduire les incitations àpoursuivre de nouvellesréformes.

sept autres pays, la Banque a maintenu ses prêtsd’ajustement malgré les progrès minimesaccomplis en direction des objectifs de l’aide de laBanque et de ses grandes orientations8.

Dans ces pays, des pressions ont été exercéesen vue d’assurer la poursuite des financementspour diverses raisons : exploiter un « créneau »unique (Kenya), témoigner son appui augouvernement (Maroc), entretenir de bonnesrelations (Zimbabwe), éviter une crise possible(Pérou), prévenir le retour du communisme(Russie), et éviter des sorties nettes de capitaux(Zambie). Si ces facteurs ont, certes, pu influencerla Banque, il ne fait guère de doute que dans,certains de ces pays, la volonté de réforme a encoreété affaiblie par la décision prise par la Banque demaintenir son financement, qui a alourdi le fardeaude la dette de ces pays9.

Septième leçon : il est important de procéder à

une analyse des risques sans complaisance et

réaliste pour accroître la pertinence des stratégies

nationales.

La Banque doit faire preuve de davantage deréalisme et de candeur dans le cadre de sesévaluations de la situation d’un pays et de laformulation des stratégies nationales, et notammentévaluer la détermination d’un emprunteur àpoursuivre des réformes ainsi que ses capacitésd’exécution, sa réceptivité aux conseils de laBanque, et l’impact des réformes sur la croissanceet sur la réduction de la pauvreté. La surestimationsystématique par la Banque de la réceptivité del’emprunteur à ses conseils, de sa détermination àentreprendre des réformes difficiles et de lacapacité du gouvernement à exécuter desréformes a compromis les stratégies de la Banquedans nombre des pays évalués (Haïti, Jordanie,Kazakhstan, Kenya, Lesotho, Maroc, Paraguay,Pérou, République kirghize, Zambie, Zimbabwe).Cet optimisme a souvent perduré malgré lesfaits10, et ont mené la Banque à prendre desdécisions de financement qui n’ont pas permisd’atteindre les objectifs fixés11.

Les stratégies d’aide à de nombreux pays ont étébasées sur une hypothèse de croissance beaucoupplus optimiste qu’elle n’aurait dû l’être étantdonné les résultats antérieurs du pays considéré ouceux de tout autre pays confronté aux mêmesobstacles et ayant des perspectives similaires. Les


1 1

évaluations ont fait ressortir l’utilisation deprojections de croissance irréalistes dansplusieurs pays (Jordanie, Kazakhstan,République kirghize et Zambie). Le manque deréalisme des estimations de la croissance acontribué à la formulation par la Banque destratégies d’aide inadaptées qui ont engendré descoûts réels pour les pays. Si les estimations de lacroissance avaient été réalistes, la Banque auraitprobablement consacré davantage d’études auxfacteurs de croissance et aux obstacles à celle-ci,ainsi qu’aux mesures de réduction de la pauvreté.Des projections de la croissance réalistes auraientégalement permis d’exposer plus clairement lesquestions soulevées par le niveau d’endettementtolérable et des efforts accrus auraient pu êtredéployés pour obtenir un allégement de la dette outoute autre forme d’aide financière concessionnelle,afin d’éviter d’alourdir par trop le fardeau de ladette extérieure12, et il aurait peut-être été possiblede convaincre les pays d’entreprendre des réformesplus profondes pour accélérer la croissanceéconomique.

Huitième leçon : la Banque devrait moins hésiter

à réduire le niveau de l’aide prévue lorsque la

situation montre clairement que l’action publique

a dérapé.

La Banque doit non seulement identifierles risques mais aussi être prête à modifier sonprogramme d’aide lorsqu’elle constate un affaiblis-sement de la déterminationdu gouvernement ou undérapage au niveau del’action publique. C’est cequ’elle a fait en Bulgarievers le milieu des années 90 :la Banque a en effet réduitle volume de son finance-ment et à suspendu un important prêt d’ajuste-ment lorsqu’elle a constaté que les risquesmacroéconomiques augmentaient et que legouvernement ne se montrait guère enclin às’attaquer à la question des réformes. L’examendes CAE montre toutefois que la Banque n’a passystématiquement adopté cette démarche. AuPérou, le programme de la Banque n’était assortid’aucun seuil de risque auquel des mesures deréduction du volume des prêts aurait pu êtredéclenchées. Au Kenya, la stratégie de 1998 a prisles risques en compte et le programme a incorporé

La Banque devrait moinshésiter à réduire le niveau del’aide prévue lorsque lasituation montre clairementque l’action publique adérapé.

les niveaux de référence dela CAS, mais la Banque n’arien fait lorsque ceux-cin’ont pas été atteints.Au Maroc, la Banque aconsenti un prêt à l’appuide réformes vers la fin desannées 90 pour récom-penser le pays de sonévolution en direction d’unsystème politique plusouvert et de son adhésionaux réformes. Le prêtn’était pas assez ciblé pouravoir un réel impact sur

l’un quelconque des domaines de réformeessentiels identifiés dans la stratégie du pays. Ungrand nombre des mesures prises avant laprésentation aux administrateurs étaient que desactions préliminaires qui, dans certains cas, se sontlimitées à des études ou des plans, tandis que denombreuses autres mesures n’ont pas produit derésultats concrets.

Neuvième leçon : la Banque doit se montrer

particulièrement prudente en phase de re-

dressement. Elle doit fonder sa stratégie d’aide

sur des évaluations réalistes de la situation dans

le pays et non sur des vœux pieux.

De manière générale, la Banque a des difficultésà identifier les « moments charnières » et à adapterson action à l’évolution de la situation dans le pays.Elle a tendance à réagir lentement en cas de

détérioration et trop rapidement en casd’amélioration. En République dominicaine, parexemple, la Banque n’a pas détecté les signesd’une amélioration durant les exercices 92 à 95 etn’a pas fourni d’appui au gouvernement durant unepériode cruciale de réformes économiquesfructueuses. Cette erreur lui a coûté toute l’influencequ’elle pouvait avoir dans ce pays. Elle n’a pas notéla dégradation de la situation au Pérou en 1997 et amaintenu l’appui qu’elle lui avait accordé lorsqueles réformes étaient en cours d’exécution. AuKenya, les mesures initiales prises aux fins deréformes vers le milieu de 2000 ont été interprétéesprématurément comme un mouvement de relanceet ont été récompensées par un accroissement desvolumes de financement ; les réformes se sont enfin de compte arrêtées.

Pour surmonter ce problème, la Banque doitêtre mieux à l’écoute, par l’intermédiaire de sesmissions résidentes, de ses contacts avec la sociétécivile et d’études économiques sectoriellespertinentes, pour mieux comprendre l’économiepolitique. Dans la mesure du possible, l’adhésiondu gouvernement devrait être évaluée sur la basede ses antécédents en matière de réformes et nonde ses déclarations d’intention. Les volumes d’aidedevraient rester initialement à un niveau prudentpuis évoluer en fonction de résultats quantifiableset de la réalisation de certains objectifs concrets.Cela vaut tout particulièrement pour les pays où lesefforts menés pour exécuter des réformes sont delongue date marqués par des échecs.


1 2

De manière générale, laBanque a des difficultés àidentifier les « momentscharnières » et à adapterson action à l’évolution dela situation dans le pays.Elle a tendance à réagirlentement en cas dedétérioration et troprapidement en casd’amélioration.

1 3

Deuxième partie :comment améliorer l’instrumentque constitue la CAE ?

Le principal objectif d’une CAE de l’OED est de tirer les leçons des activitéspassées de la Banque afin d’orienter ses stratégies futures. La premièrepartie de cette rétrospective a fait la synthèse d’un certain nombre de

leçons et d’observations tirées de la série la plus récente de CAE de l’OED. Cesleçons, qui corroborent les conclusions d’autres évaluations de l’OED,témoignent de l’utilité de l’instrument que constitue la CAE. La préparationd’une CAE est toutefois une tâche complexe et, si désormais de nombreuxorganismes multilatéraux et bilatéraux entreprennent des évaluations de leursprogrammes par pays, il n’existe pas de méthode « standard »13.

Cette deuxième partie de la rétrospective desCAE analyse la méthode actuellement suivie parl’OED ainsi que les perceptions des points forts etdes points faibles des CAE dans le but d’améliorer laméthodologie, le processus d’évaluation et lastructure de ces évaluations. Le présent chapitreexamine l’impact des CAE sur la formulation desstratégies pour les pays qu’elles couvrent, leursystème de notation, l’utilisation de situationscontrefactuelles, le calendrier des évaluations, lesinteractions avec les équipes chargées des pays enquestion et avec les bénéficiaires de ces pays, et laprésentation des CAE. Chaque section décrit lamanière dont les utilisateurs des CAE les perçoivent,décrit les résultats d’études de suivi périodiquesainsi que l’examen réalisé par l’OED lui-même, etprésente en conclusion des suggestions pouraméliorer les CAE.

33

L’analyse présentée dans ce chapitre repose,d’une part, sur une enquête consacrée à l’utilisationqui est faite des CAE par les administrateurs et parles services de la Banque et l’opinion qu’ils ont deces évaluations et, d’autre part, sur les travaux d’unévaluateur externe qui a examiné la méthodologiede la CAE et une série de CAE récemment achevées.Comme indiqué en introduction, un certainnombre d’enquêtes et d’études de suivi périodiqueont été réalisées aux fins de l’analyse. Lesconclusions détaillées des enquêtes menées auprèsdes membres du CODE sont présentées à l’annexe C ;celles de l’analyse de l’examen des CAS par lesadministrateurs le sont à l’annexe D ; les résultatsdes entrevues avec les agents de la Banque quiconnaissent bien les CAE figurent à l’annexe E et lesrésultats des analyses des méthodes d’évaluationdes programmes nationaux employées par d’autres

1 4


durant les exercices 01 à 03. Celle-ci a donné lieu àl’examen des CAS qui ont immédiatement suivi lesCAE afin de déterminer dans quelle mesure lesrecommandations officielles consignées dans lesrelevés d’intervention de la direction avaient étésuivies. Les CAS qui ont été établies à la suite de 22CAE15 ont intégralement repris deux tiers desrecommandations de l’évaluation. Elles ont aussien partie repris un quart des recommandations etn’ont fait totalement abstraction que de moins de10 % de ces dernières. Par ailleurs, les 22 CASmentionnent toutes la CAE qui les a précédé et 16d’entre elles contiennent une analyse détailléedes conclusions et recommandations de la CAEcorrespondante. Il semble donc que les CAE aientun impact sur la formulation des stratégies de laBanque, bien qu’il ne soit pas possible de fairevaloir que l’adoption d’une recommandationparticulière ait été motivée par l’analyse de la CAE.

Les CAE semblent également avoir eu unimpact sur l’examen par les administrateursdes CAS postérieures, et les questions soulevéesdans des CAE s’inscrivent dans le droit-fil desdiscussions des administrateurs. Aux fins de laprésente rétrospective, l’OED a examiné les comptes-rendus de l’examen par les administrateurs de 13 CASpour lesquelles les CAE les plus récentes étaientdisponibles en avril 200316. Environ un tiers desdéclarations, écrites ou orales, du président duConseil font explicitement référence à la CAE à aumoins une reprise. Au total, les CAE ont étémentionnées 85 fois dans le cadre des 13 examens.Environ un quart (21) de ces références étaientd’ordre très général, mais les 75 % restantes (75)portaient sur des questions particulières. Les CAEsont mentionnées plus fréquemment dans le cadredes examens approfondis de la CAS ou lorsque lesrésultats ont été jugés insatisfaisants ; ce sont lesadministrateurs représentant les groupes de pays dela Première partie qui ont fait le plus souventréférence aux CAE. Au total, celles-ci ne représententqu’une petite fraction (6 %) des nombreux sujetsdébattus durant l’examen des CAS par le Conseil.Toutefois, même si la CAE n’est pas mentionnée, lesquestions soulevées dans celle-ci sont étudiées parles administrateurs dans le cadre de l’examen de laCAS correspondante et dans les rapportsd’avancement.

Les participants aux enquêtes de suivi etles administrateurs de la Banque ne conçoivent

organismes apparaissent àl’annexe F. Chaque annexedécrit de manière détailléeles objectifs de l’enquêteainsi que l’échantillonretenu, les opinionsprésentées et lesconclusions formulées.

Impact des CAE sur la formulationdes stratégies d’aide aux pays Selon des études précédemment réalisées,les CAE ont bien un impact sur les stratégiesd’aide-pays de la Banque, et les CAS prennenten compte les recommandations des CAE.Une enquête a été menée auprès des équipes-paysde la Banque sur les CAE dans le cadre du Rapportannuel sur l’évaluation des opérations 2002 de l’OED(AROE)14. Environ 71 % des personnes interrogéesont indiqué que les CAE avait eu un impact surl’orientation générale de l’action de la Banque auniveau des pays, 80 % ont noté que les CAEprésentaient de l’intérêt pour leur travaux et 93 %ont fait valoir qu’une CAE leur serait très utile s’ilsdevaient commencer à s’occuper d’un nouveaupays. Aux fins de ce même rapport annuel, l’OED aprocédé à une étude de suivi pour évaluer la mesuredans laquelle les recommandations des CAE pour unpays étaient incorporées dans les CAS qui leurfaisaient suite, et dans l’assistance effectivementfournie. L’étude a porté sur 15 CAE, toutes achevéesdurant l’exercice 99 ou antérieurement, c’est-à-dire ily suffisamment longtemps pour qu’il soit devenupossible de faire le bilan de l’aide effectivementfournie. Cette étude a abouti à la conclusion qu’il

existe un lien étroit entreles recommandations desCAE et les CAS, etcorrobore donc lesconclusions de l’enquête

Une récente analysemontre que lesrecommandations desCAE sont dûmentprises en compte dansles CAS qui leur fontsuite. Aux fins de la

présente rétrospective, l’OED a entrepris unenouvelle étude de suivi des 25 CAE achevées

Une récente analysemontre que lesrecommandations desCAE sont dûment prises encompte dans les CAS quileur font suite.

Les CAE semblent égalementavoir eu un impact surl’examen par lesadministrateurs des CASpostérieures, et les questionssoulevées dans des CAEs’inscrivent dans le droit-fildes discussions desadministrateurs.

pas de la même manière l’utilisation qui peutêtre faite des CAE et leur utilité. Les enquêtessur l’utilisation des CAE montrent que lesadministrateurs comme les services de la Banqueont connaissance des CAE. Les membres du CODEinterrogés aux fins de cette rétrospective ontindiqué qu’ils utilisaient les CAE pour se préparer àl’examen des CAS en Conseil, pour replacer lesquestions sectorielles et thématiques dans lecontexte national, et pour évaluer les CAS. Certainsmembres du CODE ont cité quelques cas précisdans lesquels la CAE avait eu un impact positif sur lastratégie formulée par la Banque pour le pays. Lamajorité d’entre eux doutent toutefois que les CAEaient un réel impact sur les décisions de la directionou sur la définition de l’action à mener, et ont faitvaloir que l’impact des conclusions des CAE étaitréduit par le fait qu’elles n’avaient pas l’aval de ladirection. Cette « absence d’aval de la direction »ressort clairement des entrevues avec les servicesde la Banque, et notamment les vice-présidents desrégions et les directeurs-pays. Ceux-ci ont unemoindre opinion de l’utilité des CAE, bien qu’ils semontrent plus favorables à leur égard lorsqu’ilsestiment qu’une CAE a eu un impact sur lapréparation d’une CAS. Les services de la Banqueont identifié plusieurs facteurs qui réduisentl’impact des CAE : la date à laquelle elles sontdiffusées, une consultation insuffisante deséquipes-pays, et l’absence d’observations ou deleçons utiles pour les interventions de la Banquedans le pays.

Il serait possible de réduire ces divergenceset d’améliorer l’utilisation qui est faite desCAE en modifiant la méthodologie, laprésentation et le calendrier, et en accroissantles contacts avec les équipes-pays. Bien que lesCAE occupent une place importante dans les CAS etdans les examens des CAS par les administrateurs,nos enquêtes ont permis d’identifier un certainnombre de questions. Les membres du Conseil nesont guère convaincus que le personnel desservices opérationnels tire tout le parti qu’ilpourrait des conclusions des CAE. Les services dela Banque ont, quant à eux, exprimé certainesréserves à l’égard de la méthodologie utilisée, ducalendrier des CAE et de la place relative qu’ellesaccordent à l’attribution des responsabilités et auxleçons de l’expérience. Il importe de porter à cesquestions la plus grande attention et, le cas

D E U X I È M E P A R T I E : C O M M E N T A M É L I O R E R L ’ I N S T R U M E N T Q U E C O N S T I T U E L A C A E ?

1 5

échéant, d’y trouver unesolution pour que lesconclusions et lesrecommandations des CAEsoient mieux acceptées etexploitées. Le reste duprésent chapitre est consacréaux principales questionsidentifiées par les enquêtesconsacrées à leur utilisation :la méthodologie, lesnotations, le recours à dessituations contrefactuelles ; le calendrier, les contactsavec les équipes-pays ; les contacts avec lesbénéficiaires dans le pays ; et la présentation des CAE.

MéthodologieL’adoption d’une méthodologie formellepour les CAE durant l’exercice 00 a permisd’établir une démarche plus cohérente pourles évaluations de l’aide aux pays17. Laméthodologie des CAE prend la CAS pour cadred’évaluation initial et détermine si cette stratégiea omis de prendre en compte tout obstacleimportant au développement. La CAE évalue lapertinence des grands objectifs stratégiques de laCAS et la mesure dans laquelle ils ont été atteints,sans défaillance.

La méthodologie actuellement utilisée pour lesCAE consiste à suivre trois axes différents pourprocéder à l’analyse de l’aide-pays :

• l’axe des produits et services, qui donne lieu àun examen « de bas en haut » des grandsintrants du programme — financements, activitésd’analyse et de conseil, et coordination de l’aide

• l’axe de l’impact au plan du développement,

qui donne lieu à une analyse « de haut en bas »des principaux objectifs du programme, à savoirla pertinence de ce dernier, son efficacité, sesréalisations, sa pérennité et son impact au plandu développement

• l’axe de l’attribution de la responsabilité des

résultats, c’est-à-dire l’attribution par l’évaluateurde la responsabilité des réalisations du programmeaux quatre facteurs considérés : a) le client ; b) laBanque ; c) les partenaires et autres partiesprenantes ; et d) des forces exogènes (telles quedes manifestations de la nature, des chocs

Il serait possible de réduireces divergences etd’améliorer l’utilisationqui est faite des CAE enmodifiant la méthodologie,la présentation et lecalendrier, et en accroissantles contacts avec les équipes-pays.

économiques au niveauinternational etc.).

Grâce à l’introductionde cette méthodologieformelle, les CAE sontdésormais plus homo-gènes sur le fond et laforme. Une CAEcommence toujours parun examen de la situationglobale au plan dudéveloppement et de la

pertinence des objectifs de la CAS. Elle présenteensuite un examen en profondeur de tous lesproduits et services utilisés pour atteindre lesobjectifs de la Banque. Dans une troisième section,elle détermine si les objectifs de la Banque ont étéatteints et indique les notes attribuées. Elle établitensuite la contribution respective des différentspartenaires aux résultats obtenus et, en conclusion,présente diverses recommandations et leçons tiréesde l’expérience.

Les enquêtes montrent que, malgrél’adoption et la diffusion d’une méthodologieformelle pour les CAE, il semble que cetteméthodologie pourrait être encore amélioréeet rendue plus transparente et homogène. Lamajorité des participants du CODE estiment queles CAE sont toujours de haute qualité et fournissentune analyse approfondie des programmes établispar la Banque pour les pays. D’autres sont toutefoisd’avis que leurs conclusions peuvent manquer decohérence et que leur qualité est variable. Lesmembres du CODE ont fait valoir que ces documentsaccordent parfois trop d’importance au suivi durespect des objectifs institutionnels officiels audétriment de l’impact de la Banque sur ledéveloppement dans le pays. Ils pensent qu’uneCAE devrait mettre l’accent sur les résultatsobtenus et sur la manière dont les instruments ontété employés pour atteindre ces résultats. Desmembres des services de la Banque ont égalementnoté que, à leur avis, la méthodologie de la CAEmanque de clarté et de cohérence, et qu’elle n’estni normalisée ni rationnelle. Ils pensent aussi quetrop peu de CAE aboutissent à des conclusions et àdes recommandations pragmatiques pouvantguider la gestion de programmes ultérieurs.Certains membres des services de la Banque ont

1 6


déclaré qu’ils préfèreraient avoir des évaluationsaxées sur un petit nombre de secteurs particuliersplutôt que des évaluations cherchant à couvrirdans sa totalité le programme d’un pays.

L’auto-évaluation de l’OED aboutitégalement à la conclusion qu’il serait possiblede modifier à plusieurs égards la méthodologieactuelle des CAE pour en accroître latransparence, la cohérence et la lisibilité. Afinde déterminer la pertinence des perceptions desmembres du CODE et des services de la Banque,l’OED a chargé un évaluateur externe indépendantde procéder à une évaluation de la méthodologieactuelle des CAE sans lui imposer de restriction oude condition préalable. L’analyse a également portésur les méthodes d’évaluation des programmesadoptées par d’autres bailleurs de fondsmultilatéraux et bilatéraux18. Cette analyse et lesenquêtes sur l’utilisation qui est faite des CAE ontpermis de dégager un certain nombred’observations. L’approche actuelle qui consiste àconsidérer la situation sous trois angles différents apermis de créer un cadre cohérent pour laprésentation d’informations de sorte que le lecteursait à quoi se rapporte chaque chapitre. Cetteapproche méthodologique semble toutefoisprésenter plusieurs inconvénients :

• La structure adoptée fait en général une place

plus importante aux instruments de la Banque

(prêts, activités d’analyse et de conseil,

coordination de l’aide) qu’à l’impact ou aux

résultats des interventions de la Banque. LesCAE mettent davantage l’accent sur les intrantsdu programme que sur l’impact de ce dernier auplan du développement. Sur les 18 CAE qui sontmanifestement structurées de manière similaire,13 accordent plus de deux fois et demie plusd’importance aux intrants qu’à l’impact sur ledéveloppement.

• Il peut sembler que différentes sections des CAE

aboutissent à des conclusions différentes.

Comme indiqué dans la première partie decette rétrospective, dans un tiers des CAE, il n’ya pas de corrélation entre l’attribution d’unenote satisfaisante, en moyenne, pour lesdifférents projets du portefeuille et l’attributiond’une note satisfaisante pour les résultats duprogramme dans son ensemble. Si ces divergences

La structure adoptée faiten général une place plusimportante auxinstruments de la Banque(prêts, activités d’analyse etde conseil, coordination del’aide) qu’à l’impact ou auxrésultats des interventionsde la Banque.

peuvent s’expliquer relativement aisément (ence sens que l’évaluation d’un projet particulierou d’une étude économique sectorielle s’effectueessentiellement par référence aux objectifsavérés dudit projet ou de ladite étude sans qu’ilsoit nécessairement prêté attention à la pertinencede ces objectifs pour la réalisation des objectifsglobaux que poursuivait le programme àl’époque), la structure des CAE se prête mal àune évaluation des raisons fondamentales decette divergence.

• Dans les CAE, le point focal change d’une section

à l’autre, ce qui complique la compréhension

du processus. Telles qu’elles sont structurées àl’heure actuelle, les CAE mettent l’accent d’abordsur le client (première section), puis sur laBanque (deuxième section) puis de nouveau surle client. Il est donc difficile de faire le lien entreles objectifs (qui sont examinés dans la premièresection) et les résultats (qui ne le sont que dans latroisième section), et aussi entre les intrants etservices de la Banque (qui sont évalués dans ladeuxième section) et des résultats particuliers.

• La terminologie de la CAE manque de clarté et

de cohérence. L’examen interne des CAE réalisépar l’OED montre que la terminologie utiliséedans différentes CAE n’est pas toujours cohérente,différents chefs de projet pouvant interpréter lemême concept de façon quelque peu différente.Par exemple, la distinction entre la performancede la Banque et les résultats de son programmen’est pas très claire dans certaines CAE, ce quipeut tenir au fait que les stratégies de la Banqueciblent des objectifs prioritaires et quel’institution n’a pas clairement défini une séried’objectifs intermédiaires. Par ailleurs, la manièredont les résultats sont imputés aux différentsintervenants, qui est un concept par définitioncomplexe dans un programme de portéenationale, pose problème.

Il faudra, à l’avenir, adopter une approchebasée sur les résultats établissant clairementles liens entre les objectifs de la Banque, lesinstruments utilisés et les résultats obtenus.La structure de la CAE devrait être axée sur lesrésultats, l’évaluation des instruments de laBanque (les produits et services) n’étant plusconsidérée que comme le moyen de vérifier si les


1 7

résultats obtenus signifientque les objectifs ultimes de laBanque ont été atteints. Cettemanière de procéder estcompatible avec le cadre basésur les résultats adopté pourla formulation de la stratégiede la Banque et est aussiconforme à la méthodologieactuellement adoptée pard’autres organismes bailleurs de fonds. Ladémarche retenue consisterait à exposer lesprincipaux objectifs et les résultats que la Banques’efforce d’atteindre dans chaque pays, tels qu’ilsressortent de la CAS. L’examen de la stratégies’appuierait sur un modèle logique simpledéfinissant les liens entre les intrants et lesrésultats escomptés en fonction des informationstirées de la CAS et d’autres documents. Pourchaque objectif (et résultat souhaité), la CAEévaluerait l’efficacité (et la pertinence) desinstruments utilisés, ainsi que la contributionrelative de la Banque (par opposition à cellesd’autres entités) à la réalisation de l’objectif. Cetteapproche serait basée sur les résultats et traduiraitdans les faits la principale recommandation desadministrateurs, à savoir le ciblage des CAE surl’impact effectif des actions menées au niveau dupays.

Plusieurs des dernières CAE incorporentdéjà certains aspects de cette nouvelleméthodologie. Par exemple, l’Évaluation del’aide à la Zambie a identifié quatre grands domaines(objectifs) que la Banque voulait privilégier pourréduire la pauvreté : i) la promotion d’unenvironnement macroéconomique stable ; ii) laprivatisation des entreprises d’État ; iii) le ciblage del’aide directement sur les groupes pauvres etvulnérables, et iv) l’amélioration de l’efficacité dusecteur public et de la gouvernance. La CAE aensuite passé en revue les activités de la Banqueet en a évalué les résultats à chacun de ces égardspour ensuite les récapituler sous la forme d’unenote globale. La CAE établie pour le Brésil aidentifié et évalué les progrès accomplis en directiondes grands objectifs qui sont la réduction de lapauvreté et une croissance soutenable, ainsi queplusieurs objectifs intermédiaires pour chacun deces grands objectifs. Plus récemment, durant

Il faudra, à l’avenir, adopterune approche basée sur lesrésultats établissantclairement les liens entre lesobjectifs de la Banque, lesinstruments utilisés et lesrésultats obtenus.

l’exercice 04, les CAE préparées pour la Chine, laTunisie, la Bosnie-Herzégovine et la Croatie onttoutes suivi une approche davantage axée sur lesobjectifs.

L’examen par l’OED des CAE et de laméthodologie employée par d’autres bailleursde fonds montre qu’il importe également demodifier le concept d’attribution. Le Comitéd’aide au développement (CAD) définit l’attributioncomme la confirmation d’une relation causale entreles changements observés et une action spécifique.Cette relation est difficile à confirmer en partieparce qu’il est fondamentalement difficile deprouver l’existence d’une relation de cause à effetdans un contexte naturel. Les pays ne sont pas deslaboratoires et les CAE ne décrivent pas les résultatsd’expériences scientifiques ; il est extrêmementdifficile dans la réalité de neutraliser les effetsd’autres facteurs et d’isoler les influences. Leconcept d’« association la plus probable » rend bienmieux compte du lien entre les actions de laBanque, ou d’un autre bailleur de fond, et lesrésultats observés que le concept d’ « attribution ».Il s’agit en effet d’établir, dans la mesure dupossible, comment et dans quelle mesure lesinterventions de la Banque sont liées aux résultatsobtenus. La CAE du Brésil et le ciblage de l’action dela Banque sur le nord-est du pays offrent un bonexemple de la manière dont le concept del’association la plus probable peut être utilisé pourévaluer la contribution de la Banque.

L’OED intensifiera ses efforts pour assurerune application plus systématique de laméthodologie. L’OED a déjà un rigoureuxprocessus d’examen interne qui contribue à assurerla cohérence des différentes évaluations. Pourencore améliorer cette cohérence, l’OED vaélaborer un glossaire de termes, similaire au« Glossaire des principaux termes relatifs àl’évaluation et la gestion axée sur les résultats »produit par le Groupe de travail sur l’évaluation del’aide auprès du Comité d’aide au développement(CAD) de l’Organisation de coopération et de

développement écono-miques (OCDE). L’OEDcontinuera de faire appelà des évaluateurs externespour les CAE concernantde gros clients. Cesévaluateurs externes, qui

1 8


sont d’éminents spécialistes retraités de la Banque,des universitaires non membres des services de laBanque, et des responsables de la politique dedéveloppement des pays clients, contribuent àfaire valoir la manière dont les programmes de laBanque sont perçus de l’extérieur et à assurer lavalidité des conclusions des CAE.

NotationsLes CAE notent les résultats de l’aide de laBanque, sa durabilité et son impact sur ledéveloppement institutionnel. Actuellement,l’OED note de manière spécifique les programmesde portée nationale dans le cadre de ses évaluationspar pays ; aucune autre entité multilatérale oubilatérale ne procède de cette manière. La plupartdes CAE donnent lieu à l’attribution de trois notes19.La première se rapporte aux résultats desprogrammes d’aide de la Banque. Elle indique ledegré de pertinence et de réalisation, sansdéfaillance, des grands objectifs stratégiques et sesitue sur une échelle à six niveaux allant de « trèssatisfaisant » à « très insatisfaisant ». La deuxième, quiest attribuée par la plupart des CAE, note l’impactsur le développement institutionnel (IDI) duprogramme d’aide et utilise une échelle à quatreniveaux (élevé, important, modeste, négligeable)pour indiquer la mesure dans laquelle le programmea renforcé l’aptitude du client à utiliser plusefficacement, équitablement et durablement sesressources humaines, financières et naturelles.Enfin, l’OED note la durabilité ou la robustesse faceaux risques des avantages procurés au plan dudéveloppement par le programme d’aide aux payssur l’échelle suivante : très probable, probable,improbable, très improbable ou, faute d’informationssuffisantes, indéterminable.

Les notations des CAE ont fait l’objet denombreux débats et de maintes critiques. Cescritiques sont motivées par le débat qui partage delongue date la communauté de l’évaluation et a traitau choix de celui des deux objectifs complémentairesqui doit être considéré comme primordial : la mise enplace d’un système permettant de déterminer à quisont imputables les résultats, ou la promotion desleçons qui peuvent être tirées de l’expérience pouraméliorer les actions futures.

Ce débat historique est ressorti des entrevuesavec les membres du Conseil. La majorité desparticipants considèrent que les notations sont

Les CAE notent les résultatsde l’aide de la Banque, sadurabilité et son impact surle développementinstitutionnel.

indispensables et certains font même valoir queces notations offrent les meilleures possibilités derendre la direction comptable de ses actions et des’assurer qu’elle prête suffisamment attention auxconclusions des évaluations. D’autres participantsestiment, quant à eux, qu’il conviendrait d’accordermoins d’attention aux notations, et font remarquerque les désaccords engendrés par ces notationsmettent les services opérationnels de la Banquesur la défensive et font en fait obstacle àl’assimilation des leçons tirées de l’application duprogramme. Néanmoins, la plupart des membresdu Conseil interrogés se sont accordés àreconnaître que les échelles de notation devaientêtre précisées et que les différentes notes devaientêtre définies de manière plus transparente ets’exclure mutuellement.

La majorité des membres des services de laBanque qui ont participé aux entrevues ontégalement critiqué le système de notation et ont,dans certains cas, fait état d’incohérences entre lesnotes attribuées et les explications censées lesjustifier, ou encore de l’absence d’évaluationsdifférenciées pour chaque période d’exécution.Les services de la Banque ont également indiquéqu’une notation standard « applicable à tous » nepermet pas de prendre suffisamment en compteles différences cruciales qui peuvent exister entreles capacités des clients, leur situation au début duprogramme et leur vulnérabilité à des risquesexogènes. Les avis sont partagés lorsqu’il s’agit dedéterminer s’il convient de faire abstraction desnotations, de réduire l’importance qui leur estaccordée ou de les améliorer en adoptant descritères plus rigoureux.

Un problème majeur tient au fait que denombreux lecteurs pensent, à tort, que lanotation des résultats porte sur les progrèsaccomplis par le pays au plan du développe-ment ou bien sur la performance de laBanque. Les CAE notent les résultats desprogrammes d’aide de la Banque, mais il ressortclairement des entrevues avec les membres duConseil et les services de la Banque ainsi que descommentaires sur les CAE communiqués par écrit,que la nature de la notation des résultats n’est pasbien comprise. L’évaluation d’un programme d’aideindique dans quelle mesure il a permis d’atteindreses objectifs particuliers qui sont, en règle générale,


1 9

un sous-ensemble des objectifs de développementdu pays client. Il peut arriver que les résultats duprogramme d’aide de la Banque soient entièrementsatisfaisants alors même que la situationéconomique du pays se dégrade, et inversement. Ilexiste donc une différence entre la notation desrésultats d’un programme d’aide et les résultatsgénéraux obtenus par le client au plan dudéveloppement. Par ailleurs, même si la notation desrésultats indique la mesure dans laquelle leprogramme d’aide a atteint ses objectifs, elle neconcerne pas la performance de la Banque, que lesCAE ne notent pas. Comme il est clairement indiquédans le cadre méthodologique des CAE, les résultatsdu programme d’aide de la Banque sont déterminésnon seulement par la performance de la Banquemais aussi par l’impact conjugué de quatrecatégories de facteurs : a) le client ; b) la Banque ; c)les partenaires et autres parties prenantes ; et d) desforces exogènes (par exemple des événementsnaturels, des chocs économiques internationaux,etc.). On comprend donc mieux les conclusionsapparemment contradictoires de certaines CAE,selon lesquelles la performance de la Banque peutavoir été satisfaisante mais les résultats obtenusinsatisfaisants. Par exemple, les résultats produits parla stratégie d’aide de la Banque en Bulgarie (1991-1997), en Haïti (1997-2000), au Paraguay (1989-1999)et au Rwanda (1990-1993) ont été qualifiésd’insatisfaisants dans les CAE correspondantes qui,par contre, indiquent que la performance de laBanque a été satisfaisante (voir l’encadré 3.1).

L’OED modifiera ses notations pour lesrendre plus précises, transparentes etcohérentes. L’OED al’intention de continuer ànoter les résultats et lapérennité des programmes.L’approche méthodologiquerévisée décrite dans laprésente rétrospectivecontribuera grandement àla dissociation des différentséléments notés. À l’avenir,les CAE ventileront leursévaluations en notant séparément et distinctementles résultats obtenus au regard de chaque grandobjectif. Ces notes intermédiaires seront alorspondérées sur la base de la stratégie et regroupées

De nombreux lecteurspensent, à tort, que lanotation des résultats portesur les progrès accomplispar le pays au plan dudéveloppement ou bien surla performance de laBanque.

afin de produire une notation globale des résultats.Des modifications sont également envisagées pourla notation de la durabilité. Ce concept pourraitêtre redéfini en termes de « durabilité probable »,auquel cas la notation indiquerait si les avantagesprocurés par le programme pour le pays courentun risque élevé ou faible d’être compromis. Laplupart des activités de la Banque comptantdésormais le développement institutionnel parmileurs objectifs, l’OED a l’intention d’abandonner lanote distincte de l’IDI pour inclure cet élément

2 0


dans celle des résultats. Enfin, lorsqu’une plusgrande expérience aura été acquise dans le cadrede CAS basées sur les résultats et des CCR, quiattribueront également des notes, l’OEDexaminera de nouveau le système de notation desCAE pour y apporter toute modification supplé-mentaire qui pourrait s’avérer nécessaire. Si laBanque adopte un système d’évaluation de laperformance des CAS en introduisant des notationsdans les rapports d’achèvement des CAS — ce quireviendra à noter des projets particuliers — l’OED

Bulgarie (1989-1997) : les objectifs de la stratégie de la Banque, qui consistait à appuyer la stabilisation macroéconomique et la croissance, ledéveloppement du secteur privé et la réduction de la pauvreté, n’ont pas été atteints mais la Banque a axé son action, comme elle le devait, surla stabilisation et la réduction de la dette. Lorsque les réformes se sont enlisées, la Banque a suspendu un important prêt d’ajustement jusqu’àla mise en place d’un cadre mieux adapté à la poursuite de réformes ; durant cette période, elle a appuyé des transformations institutionnelleset a contribué à la satisfaction des besoins de secteurs spécifiques par le biais de prêts d’investissement.

Haïti (1986-2000) : l’aide de la Banque n’a pas eu un impact satisfaisant sur les graves problèmes auxquels se trouve confrontée Haïti (piètregouvernance, insuffisance des capacités du secteur public, manque de coordination des bailleurs de fonds, mauvaise qualité del’enseignement, accès restreint aux services d’éducation et forte dégradation des infrastructures). Jusqu’en 1997, les aides fournies par laBanque et d’autres donateurs ont largement débordé la capacité d’absorption des administrations publiques. Les bailleurs de fonds avaientrelancé des programmes d’aide traditionnels sans toutefois surmonter les problèmes institutionnels et de gouvernance considérables quifaisaient obstacle à la reprise économique et à l’exécution du programme. L’efficacité de ce dernier en Haïti a également été compromise pardes problèmes de personnel à la Banque. La performance de la Banque s’est améliorée depuis 1997. Les irrégularités observées dans le cadredu projet routier ont été éliminées. La Banque, qui ne pouvait pas accorder de financement à Haïti et dont le programme continuait d’être enbutte à des problèmes liés à la performance de l’emprunteur, a annulé les montants non décaissés. Elle continue, comme il se doit, d’assurerune surveillance en continu et a entrepris des examens des principaux secteurs.

Paraguay (1989- 1999) : l’aide de la Banque n’a pas atteint ses objectifs, à savoir le développement du secteur privé, la gestion du développementagricole/des ressources naturelles, et la réduction de la pauvreté/valorisation des ressources humaines. La Banque a préparé des étudeséconomiques et sectorielles bien ciblées. Ses efforts de diffusion ont alimenté le débat public, notamment en ce qui concerne le besoin deréformes. La CAS de 1997 mettait l’accent sur les objectifs à court terme qui pouvaient être atteints par le Paraguay malgré les contraintesexistant au niveau des institutions et de l’action publique. Cette stratégie tenait compte du fait que les risques identifiés en 1993 continuaientpour l’essentiel d’exister et que, étant donné la dégradation de la situation politique, il était peu probable que des réformes soient poursuivies.La CAS recommandait une stratégie de financement prudente, donnant lieu à l’approbation d’un ou deux projets au maximum par an sousréserve de l’amélioration de l’exécution du portefeuille existant.

Rwanda (1990- 1993) : les objectifs de la Stratégie d’aide au Rwanda, à savoir une croissance équitable, la mise en place d’un cadre favorableau développement du secteur privé, la protection de l’environnement et l’amélioration des capacités de gestion des ressources publiques n’ontpas été atteints. La performance de la Banque a été marquée par quelques défaillances (par exemple, le projet a été conçu sans qu’il soitsuffisamment tenu compte de l’insuffisance des ressources humaines et financières des pouvoirs publics) mais a été satisfaisante dansl’ensemble. La Banque a compris les problèmes économiques fondamentaux auxquels était confronté le Rwanda et s’est efforcée de persuaderle gouvernement, sans toutefois y parvenir, de modifier les politiques qu’il suivait de longue date pour accorder un rôle plus important au secteurprivé, réduire les subventions publiques aux entreprises défaillantes et améliorer la qualité des services publics.

Source : CAE établies pour la Bulgarie, Haïti, le Paraguay et le Rwanda.

L ’ o b t e n t i o n d e r é s u l t a t s « i n s a t i s f a i s a n t s »n e s i g n i f i e p a s n é c e s s a i r e m e n t q u e l a p e r f o r m a n c ed e l a B a n q u e a é t é m é d i o c r e

E n c a d r é 3 . 1

pourrait éliminer les notations des CAE pour enfaire dans une plus large mesure des examens desenseignements qui ont pu être tirés del’expérience.

Situations contrefactuellesLes membres du CODE et les services de laBanque ont des opinions différentes de l’utilitédes situations contrefactuelles. Moins d’untiers des administrateurs interrogés ont indiquéque, à leur sens, la présentation d’une situationcontrefactuelle avait donné lieu à des discussionsutiles dans le cadre du Sous-Comité du CODE. Plusde la moitié des membres du CODE qui ont étéinterrogés estiment que les situations contrefactuellesbrossent fréquemment un tableau trop optimisteou utopique du rôle de la Banque dans les pays ; ilsse plaignent de ce que les CAE ont tendance àexagérer la contribution de la Banque en suggérantque, sans l’intervention de la Banque, le pays seserait trouvé dans une situation bien pire.Contrairement aux membres du CODE, dans lecadre des discussions, des entrevues et des mémosconsacrés aux CAE, les services de la Banqueont critiqué ces dernières qui, estiment-ils, neprésentent pas de situation contrefactuellemontrant effectivement quelle autre stratégie laBanque aurait pu suivre ou ce qui se serait passé enl’absence de son intervention, ou bien ne prennentpas en compte le rôle souvent marginal que joue laBanque dans le développement du pays. Il ressorttoutefois d’un examen des mémorandums desservices de la Banque que de telles opinions ne sontexprimées que lorsque la CAE critique l’aide de laBanque. La question de la situation contrefactuellen’est pas posée lorsque la CAE note que laperformance de la Banque a été satisfaisante.

L’OED reconnaît l’intérêt d’utiliser dessituations contrefactuelles lorsqu’il importede montrer ce que la Banque aurait pu fairedifféremment dans des situations particulières.Si l’OED reconnaît la nécessité des situationscontrefactuelles, il faut toutefois noter quel’élaboration de telles situations est une tâchedifficile, en partie parce qu’il est fondamentalementdifficile de prouver l’existence d’une relation decause à effet dans les situations réelles. C’estpourquoi seulement 10 des 25 CAE examinées (40 %)tentent d’analyser la situation contrefactuelle et, ce


2 1

faisant, mettent dans l’ensemble davantage l’accentsur ce que la Banque aurait pu faire différemmentplutôt que sur ce qui se serait passé en l’absence deson intervention. La CAE pour la Russie, parexemple, note qu’il est difficile de construire dessituations contrefactuelles plausibles pour desprogrammes aussi complexes, dans le cadredesquels les actionsmenées par la Banquerépondent, pour laplupart, à des attentesexplicites des actionnaires.La CAE en question décritdonc la manière dont laBanque s’est attaquée àdes problèmes difficiles et,avec le recul, identifie lescas dans lesquels il auraitmieux valu adopter une solution différente.

Le recours à une situation contrefactuelledans le cadre d’une CAE doit servir à comparerles résultats obtenus, d’une part, et l’analyseex-ante présentée dans la stratégie d’aide-paysde la Banque, d’autre part. Les CAE évaluent lesCAS au regard des objectifs que ces dernièresdevaient permettre d’atteindre. Il existe donc déjàune situation contrefactuelle par rapport à laquelleune CAE peut juger des accomplissements. Parailleurs, les CAS présentent généralement plusieursscénarios associés au recours à diverses sériesd’instruments de la Banque. Dans ce cas encore,l’OED peut se référer à ces situations contrefactuelles,et n’a donc pas besoin de chercher à établir ce qui seserait passé en l’absence du programme d’aide. End’autres termes, la CAS fournit souvent elle-même lasituation contrefactuelle. La qualité des situationscontrefactuelles intégrées dans les stratégies devraits’améliorer sensiblement maintenant que la Banquea mis en place des directives uniformes pour lapréparation de CAS basées sur les résultats. Il estutile, pour cerner le concept de situationcontrefactuelle, de comparer ce que les stratégiesnationales prévoyaient ex ante, d’une part, et lesrésultats effectivement obtenus, d’autre part, et dedéterminer si les différences observées sontraisonnables. Lorsqu’une CAS ne produit pas desituation contrefactuelle bien définie, d’autresoptions, moins attrayantes, peuvent être utilisées ;par exemple il est possible de comparer : i) les

Plus de la moitié desmembres du CODE qui ontété interrogés estiment queles situations contrefactuellesbrossent fréquemment untableau trop optimiste ouutopique du rôle de laBanque dans les pays .

progrès accomplis au plandu développement par lepays client durantl’exécution de la CAS à ceuxd’autres pays ; ii) les progrèsaccomplis au plan dudéveloppement dans desdomaines d’activités ou desrégions géographiquesparticulières, qui, selontoute vraisemblance,auraient dû notablement

bénéficier des interventions du programme ; et iii)des réalisations intermédiaires qui, selon toutevraisemblance, sont dues aux interventions duprogramme.

CalendrierLe calendrier d’une CAE détermine sonefficacité, mais les services de la Banque et lesmembres du Conseil ont des opinions quelquepeu divergentes sur le moment auquel une CAEpeut être le plus utile. Les utilisateurs des CAEs’accordent largement à reconnaître que lemoment choisi pour effectuer une CAE déterminede manière cruciale son utilité. Une CAE achevéetrop longtemps avant la préparation d’unenouvelle CAS, ou trop longtemps aprèsl’achèvement de la précédente, est réputée n’avoirqu’un impact limité. Cette opinion est corroboréepar l’analyse consacrée par l’OED à l’utilisation desCAE dans le cadre des examens desadministrateurs. En effet, l’impact d’une CAEdiminue sensiblement si celle-ci est réalisée troplongtemps avant ou après le processus d’examende la CAS. Par exemple, s’il s’écoule un an ou plusentre la distribution de la CAE et l’examen de laCAS par les administrateurs, la CAE semble n’avoirqu’une influence minime sur les délibérations. Àl’inverse, la majorité des membres du CODEinterrogés ont mentionné des situations danslesquelles la CAE avait été distribuée trop peu detemps avant la date de l’examen de la CAS par lesadministrateurs pour avoir un impact réel sur cetexamen. Les membres des services opérationnelsestiment que le moment auquel les CAE peuventêtre présentées n’est pas suffisamment prévisiblepour que ces évaluations puissent être considéréescomme un instrument utile à la formulation d’une

2 2


stratégie. Même les services de la Banque qui ontreçu des CAE en temps opportun ont exprimé uncertain scepticisme quant à l’utilité future desévaluations parce qu’ils savent que celles-cipeuvent être présentées trop tard pour pouvoiravoir un impact sur la CAS. Les membres du CODEont indiqué qu’ils préféraient recevoir la CAE un àtrois mois avant l’examen d’une CAS tandis que lesservices de la Banque estiment que, pour être utileà la préparation de la CAS, une CAE, ou du moinsun avant-projet de celle-ci, doit être disponible aumoment de l’examen en amont qui, dans uncertain nombre de cas, peut précéder de plus desix mois l’examen de la CAS par lesadministrateurs.

La grande majorité des CAE récemmentpréparées semble l’avoir été au bon momentpour faciliter la préparation de la CAS et sonexamen. Le principal facteur considéré par l’OEDavant d’entreprendre une CAE pour un paysparticulier est le cycle de la CAS. L’OED tient compted’autres facteurs — le maintien d’un équilibre entreles régions, la collaboration avec d’autres IFI, et lalongue période de gestation nécessaire pourpréparer des CAE pour les principaux emprunteursde la Banque — mais le cycle de la CAS reste leprincipal facteur déterminant. L’examen par l’OEDdu moment choisi pour les 25 CAE achevées durantles exercices 01 à 03 montre que, dans l’ensemble,les CAE ont été réalisées en temps opportun maisque des progrès pourraient encore être faits. Huitdes 25 CAE ont été achevées dans un délai de troismois avant l’examen des CAS, quatre autres ont étéachevées entre quatre et six mois avant cet examenet quatre autres encore ont été achevées durantl’année précédant la date de l’examen de la CAS. À cejour, trois des CAE n’ont pas encore débouché sur lapréparation d’une CAS et seulement six CAE ont étéachevées plus d’un an avant l’examen de la CAS,délai qui s’explique par le fait que le calendrier desCAS a été modifié. Par ailleurs, même si les servicesde la Banque pensent que les CAE n’ont pas étéeffectuées en temps opportun pour la préparationde la CAS, toutes les CAE examinées par le CODEavant l’examen des CAS par les administrateurs sontmentionnés dans les CAS en question. De plus,16 des 22 CAE qui ont été suivies d’une CAS faisaientexplicitement référence aux conclusions etrecommandations desdites évaluations, trois CAS

Le calendrier d’une CAEdétermine son efficacité,mais les services de laBanque et les membres duConseil ont des opinionsquelque peu divergentessur le moment auquel uneCAE peut être le plus utile.

comportaient un encadré faisant référence à la CAEet trois autres mentionnaient l’existence decelle-ci.

L’OED s’efforcera de préparer les CAE aumoment requis pour appuyer la préparationet l’examen des CAS. L’OED continuera, commeil le fait depuis longtemps, de soumettre les CAEaux administrateurs et aux services de la Banque,dans toute la mesure du possible, entre trois et neufmois avant la date prévue pour l’examen de la CAS.Les utilisateurs des CAE pourraient jouer un rôletrès utile à cet égard en accroissant la prévisibilitédu calendrier des examens des CAS par lesadministrateurs, certains des problèmes decalendrier cités plus haut ayant tenu aux longsretards provoqués par la remise à une dateultérieure des examens en question. Le CODEpourrait faciliter ce processus en s’assurant que la« feuille verte » de l’examen de la CAE est prête etsoumise aux administrateurs avant l’examen de laCAS correspondante. Dans tous les cas, que la CASsoit soumise en temps opportun ou non, l’OEDestime qu’il serait bon pour le CODE d’inscrirel’examen des CAE au calendrier sans attendre laCAS. L’OED s’efforcera également d’accroître sescontacts avec les équipes-pays durant le processusde préparation de la CAE de façon à ce que lesconclusions préliminaires de cette dernièrepuissent être examinées avec les équipes-pays autout début de la préparation de la CAS (de plusamples détails sont donnés à la section suivante).L’OED pourrait ainsi satisfaire les servicesopérationnels et les administrateurs en ce quiconcerne le calendrier de présentation des CAE.

Contacts avec les équipes-paysLes membres des services de la Banque ontclairement déclaré souhaiter avoir des contactsplus fréquents avec le personnel de l’OEDdurant la préparation des CAE. Les membresdes services de la Banque, et plus particulièrementles directeurs-pays, qui ont une opinion favorabledes CAE, ont insisté sur la valeur et l’importance duprocessus suivi pour générer une CAE. Lesparticipants favorables aux CAE ont décrit plussouvent que les autres ces dernières — et l’intérêtqu’elles présentent pour leurs travaux — commeun processus d’apprentissage permanent et ontmentionné à maintes reprises l’existence de


2 3

communications ouvertes etrégulières entre l’équipe-payset l’équipe chargée de lamission de CAE. En revanche,les membres des services de laBanque qui jugent les CAE demanière négative ont noté lemanque de communication entre l’équipe-pays etl’équipe chargée de la mission d’évaluation. Lesmembres du CODE interrogés ont également faitvaloir que la CAE devrait être considérée nonseulement comme un document indépendant maisaussi comme un moyen de faciliter les relationsentre les membres du personnel de la Banque etl’OED pour accroître l’adhésion de la direction de laBanque aux conclusions et recommandationsformulées dans les CAE.

Des contacts plus fréquents avec leséquipes-pays permettraient de faire mieuxaccepter les conclusions des CAE. L’examenpar l’OED du processus des CAE a montré quetrop de CAE étaient préparées sans pratiquementaucune consultation des équipes-pays. Il est arrivéque le directeur-pays reçoive la note conceptuellepour commentaire, parle à l’équipe chargée de laCAE puis, des mois plus tard, reçoive un projet deCAE. Bien que certains membres des équipes-paysaient été interrogés dans le cadre de toutes lesCAE, l’OED n’a que très rarement des contactssystématiques avec l’équipe-pays et le directeur-pays durant le processus d’évaluation. L’OEDpropose de faire participer les équipes-pays auxexamens à mi-parcours des futures CAE demanière à recevoir rapidement des informationsen retour sur les conclusions et recommandationsqu’il commence à formuler. Cette manière deprocéder montrerait aux équipes-pays que leuropinion est importante et qu’elles sont écoutées ;elle répondrait à la nécessité, pour l’équipe-pays,de comprendre et de gérer l’impact potentield’une évaluation négative sur les opérations encours, et rendrait les équipes-pays plus réceptivesaux conclusions de l’évaluation.

Contacts avec les bénéficiairesDe l’avis général, les CAE s’appuient dans unetrop large mesure sur des entrevues avec lesmembres des services de la Banque et desreprésentants du gouvernement ainsi que sur

Des contacts plus fréquentsavec les équipes-payspermettraient de fairemieux accepter lesconclusions des CAE.


fait que les rapports d’évaluation de la performanced’un projet sont un élément constitutif essentiel desCAE et qu’ils sont préparés après d’intensesconsultations avec les bénéficiaires du projet ; il estdonc moins nécessaire que les équipes des CAEconsultent ces derniers. Il est aussi clairementmanifeste que les CAE ne s’appuient pas uniquementsur des sources secondaires et des examens surdossier. Elles incluent les opinions de représentants,passés et présents, du gouvernement du pays etn’omettent pas les opinions des principauxresponsables qui, à l’époque, ont participé à desdécisions importantes.

L’OED veillera à ce que les CAE exprimentmieux les opinions de la société civile sur lesprogrammes de la Banque pour leur pays.L’OED s’efforcera de faire participer les bénéficiairesnationaux dans une plus large mesure au processusd’évaluation. Une méthode, suivie avec de bonsrésultats au Brésil, consiste à inclure des spécialisteset des universitaires du pays dans l’équipe chargée dela CAE. Il pourrait aussi recourir davantage à desméthodes qualitatives, par exemple en organisant depetites réunions de groupe et des ateliers informelsauxquels participeraient des représentants dugouvernement et d’autres parties prenantes.Toutefois, ces méthodes sont souvent onéreuses et,partant, l’OED ne pourra les employer que dans leslimites de son budget.

Amélioration de la présentation des CAELes membres du CODE interrogés sont d’avisqu’une modification de la structure des CAEcontribuerait à en faciliter la lecture. Plus de lamoitié des membres du CODE interrogés ont indiquéqu’ils jugeaient la lecture des CAE malaisée et qu’ilsavaient du mal à y trouver les informationspertinentes. Ce problème tient, pour l’essentiel,davantage à l’organisation du document qu’àl’exhaustivité et à la longueur de l’évaluation. Il a étésuggéré de manière générale de renforcer et de placerau début du rapport la section des « Conclusionset recommandations » qui est, selon toutevraisemblance celle que doivent lire en priorité ladirection et les administrateurs.

L’analyse des examens des administrateursmontre que ceux-ci se réfèrent beaucoup plus àcertaines parties de la CAE qu’à d’autres.L’examen par l’OED des références à des questions

l’examen de dossiers, et n’accordent pas uneplace suffisante aux opinions des bénéficiairesdu pays. Un grand nombre des membres du CODEinterrogés se sont déclarés préoccupés par le recoursexcessif à des travaux de recherche effectués à partirde sources secondaires et menés exclusivement dansles bureaux de Washington au détriment de contactsdirects avec des représentants du gouvernement etd’autres bénéficiaires du pays. Si la plupart desmembres du CODE ont reconnu qu’il est difficile defaire participer des représentants du gouvernementet d’autres bénéficiaires nationaux au processusd’évaluation — ressources et budget limités de l’OED,insuffisance des capacités institutionnelles au niveaudu pays, et risque de compromettre ou de perturberles relations établies avec la Banque — la majoritéd’entre eux ont néanmoins insisté sur le fait quel’OED devrait continuer de chercher à accroître laparticipation des pays à la préparation des CAE. Lesservices de la Banque sont également d’avis que leséquipes chargées des CAE s’appuient de manièreexcessive sur des sources secondaires, ne consultentpas suffisamment les bénéficiaires du pays, passenttrop peu de temps dans le pays et réalisent la majeurepartie de leur évaluation sur dossier. Ils estiment queles personnes qui occupaient des postes clés lorsqueles actions à mener ont été définies ne sont passuffisamment consultées.

L’examen de l’OED indique effectivementque les évaluations s’appuient sur les opinionsdes membres des services de la Banque et desreprésentants du gouvernement, mais fait aussiclairement ressortir le fait que la majorité desCAE sortent largement du cadre d’examens surdossier. L’examen de la liste des personnesinterrogées dans le cadre de la préparation des CAE,lorsque cette liste est disponible, montre que lamajorité des personnes avec lesquelles se sontentretenus les membres des équipes des CAE étaientactuellement — ou avaient été — des membres dugouvernement, du Groupe de la Banque mondiale oud’autres bailleurs de fonds (voir l’annexe D). Les

consultations tenues avecle secteur privé, des ONG,des universitaires etd’autres parties prenantesdu pays client sont moinsnombreuses. Celas’explique en partie par le

2 4

L’OED veillera à ce que lesCAE expriment mieux lesopinions de la société civilesur les programmes de laBanque pour leur pays.


pour en améliorer la lisibilité. Il serait possibled’envisager d’accorder une place plus importante auxconclusions et recommandations dans la structure etla conception globale du document. La plupart desmembres du Conseil lisant principalement lessections récapitulatives, l’introduction de renvoisaiderait le lecteur à trouver l’information recherchée(qu’il pourrait sinon supposer à tort ne pas figurerdans le document) et à encourager le lecteur àexaminer et prendre connaissance de sections dudocument qu’il pourrait ne pas lire dans le moindredétail.

abordées dans les CAE par les administrateurs laissepenser que ceux-ci lisent les CAE de manière trèssélective (voir l’annexe D). Un tiers des référencesrenvoient à la section des « Recommandations » de laCAE et la moitié au « Mémorandum auxAdministrateurs et au Président » ou aux questionssoulevées lors des réunions du CODE et de son Sous-Comité. Le corps du texte n’est cité que rarement.Cela témoigne clairement de l’importance querevêtent les sections récapitulatives de la CAE et de lanécessité de communiquer à tous les membres duConseil la teneur de l’examen de la CAE par le CODEet son Sous-Comité, en vue de l’examen de la CAS.

L’OED propose d’essayer différentesmanières de structurer le rapport d’évaluation

2 5

2 7

ANNEXES

Cette annexe décrit les principaux éléments dela méthodologie suivie par l’OED pour procéderà ses évaluations de l’aide-pays (CAE)20.

Une CAE évalue les résultats du programmed’aide de la Banque mais pas les avancéesglobales du pays client au plan dudéveloppement. L’évaluation d’un programmed’aide doit porter sur la mesure dans laquelle leprogramme en question a atteint ses objectifsspécifiques, qui sont généralement un sous-ensemble des objectifs de développement duclient. Si un programme d’aide est important parrapport à l’effort de développement global du paysclient, les résultats du programme correspondrontà la progression du développement général dupays. Toutefois, le programme d’aide de la Banquene fournit dans la plupart des CAS qu’une fractiondes ressources totales consacrées au développementdu pays client par les bailleurs de fonds, les partiesprenantes et les administrations publiques elles-mêmes. Dans le cadre de ses CAE, l’OED évalueuniquement les résultats du programme de laBanque et non pas les avancées globales du paysclient au plan de son développement, bien que cesdernières soient manifestement pertinentes pourl’évaluation des accomplissements du programme.

L’expérience acquise dans le cadre des CAEconfirme que les résultats d’un programmesont parfois très différents des progrès accomplisdans l’ensemble par les clients en matièrede développement. Les CAE ont identifié desprogrammes d’aide qui ont eu :

• des résultats satisfaisants couplés à undéveloppement satisfaisant du pays client

• des résultats non satisfaisants couplés à de bonsrésultats d’ensemble obtenus par le client auplan du développement, malgré les carences duprogramme de la Banque

2 9

• des résultats satisfaisants couplés à l’absence derésultats globaux satisfaisants durant la périoded’exécution du programme.

L’évaluation des résultats du programme d’aideest différente de l’évaluation de la performancede la Banque. Lorsque les résultats d’un programmed’aide ne sont pas satisfaisants, cela ne signifie pasnécessairement que la performance de la Banquen’a pas non plus été satisfaisante, et inversement.En effet, il est important de se rappeler que lacontribution de la Banque n’est qu’un des élémentsen jeu. Les résultats du programme d’aide sontdéterminés par les effets conjoints de quatrevecteurs : a) le client ; b) la Banque ; c) les partenaireset autres parties prenantes ; et d) des forces exogènes(c’est-à-dire un événement naturel, des perturbationséconomiques internationales, etc.). Dans certainescirconstances, une contribution négative de l’unquelconque de ces vecteurs peut réduire à néantles contributions positives des trois autres etdéboucher sur des résultats non satisfaisants.

L’OED mesure la performance de la Banqueessentiellement sur la base des contributions qu’ellecontrôle directement. Les jugements qu’il porte àcet égard se fondent généralement sur la pertinenceet l’exécution des stratégies ; la conception et lasupervision des opérations de financement de laBanque ; la portée, la qualité et le suivi des étudesdiagnostiques et autres activités d’analyse et deconseil ; la compatibilité des financements de laBanque avec ses travaux hors prêt et ses principesde sauvegarde, et l’action de la Banque au niveaudes partenariats.

Évaluation des résultats du programme d’aideLorsqu’il évalue les résultats (l’impact escompté auplan du développement) d’un programme d’aide,l’OED détermine le degré de pertinence desgrands objectifs stratégiques et la mesure dans

ANNEXE A : LA MÉTHODOLOGIE DE LA CAE

laquelle ils ont été atteints, sans défaillance. Lesprogrammes expriment généralement les résultatsqu’ils ciblent par rapport à des objectifs globaux,comme la réduction de la pauvreté. La stratégied’aide-pays (CAS) peut également définir desobjectifs intermédiaires, telle que l’amélioration duciblage des services sociaux ou la promotion d’undéveloppement rural intégré, et préciser la manièredont ils sont censés contribuer à la réalisation del’objectif global. La tâche de l’OED consiste donc àdéterminer si les efforts axés sur les objectifsintermédiaires ont procuré des avantages netssatisfaisants et si l’enchaînement des résultats indiquédans la CAS était valide. Lorsque les relations decause à effet ne sont pas détaillées dans une CAS,il incombe à l’évaluateur de reconstruire cetenchaînement à partir des informations disponibleset d’évaluer la pertinence, l’efficacité et lesrésultats par rapport aux objectifs intermédiaires etaux objectifs globaux.

Les évaluateurs déterminent également la mesuredans laquelle les clients adhèrent aux prioritésinternationales au plan du développement, commeles objectifs de développement pour le Millénaire,aux priorités définies par la mission de la Banque,et aux principes de sauvegarde. Dans l’idéal, toutedivergence à ces égards devrait être identifiée etrésolue dans le cadre de la CAS, ce qui permettraità l’évaluateur de concentrer son attention sur lebien-fondé des arbitrages effectués. Toutefois, ilpeut arriver que la stratégie fasse l’impasse surcertains conflits ou évite de s’attaquer à d’importantsobstacles au développement du pays client. Il peuts’ensuivre une diminution de la pertinence duprogramme, une diminution de l’adhésion du paysclient ou l’apparition d’effets secondairesmalvenus tels que la violation des principes desauvegarde, autant de facteurs qui peuvent êtrepris en compte dans l’évaluation des résultats d’unprogramme.

Pour réduire la subjectivité des évaluations,l’OED examine un certain nombre d’éléments quicontribuent aux résultats du programme d’aide. Lacohérence de ces éléments est ensuite renforcéepar l’examen du programme d’aide au pays soustrois angles différents :

• l’angle des produits et services, à savoir l’examen« de bas en haut » des principaux intrants du

3 0


Très satisfaisant

Le programme d’aide a permis d’accomplir des progrès au

moins acceptables en direction de tous les grands objectifs

pertinents et son impact au plan du développement relève des

meilleures pratiques dans le cas d’au moins un de ces

objectifs. Aucune défaillance majeure n’a été identifiée.

Satisfaisant

Le programme d’aide a permis de réaliser des progrès

acceptables en direction de tous les grands objectifs

pertinents. Aucune réalisation relevant des meilleures

pratiques et aucune défaillance majeure n’ont été

identifiées.

Modérément satisfaisant

Le programme d’aide a permis de réaliser des progrès

acceptables en direction de la plupart des grands objectifs

pertinents. Aucune défaillance majeure n’a été identifiée.

Modérément insatisfaisant

Le programme d’aide n’a pas permis de réaliser des progrès


pertinents ou bien, s’il a permis de réaliser des progrès

acceptables en direction de tous ces objectifs : a) il n’a pas

suffisamment pris en compte un obstacle majeur au

développement, ou b) il a affiché une grave défaillance, telle

qu’une violation des principes de sauvegarde.

Insatisfaisant



pertinents et : a) il n’a pas suffisamment pris en compte un

obstacle majeur au développement, ou b) il a affiché une

grave défaillance, telle qu’une violation des principes de

sauvegarde.

Très insatisfaisant


acceptables en direction de l’un quelconque des grands

objectifs pertinents et n’a pas pris suffisamment en compte

un obstacle majeur au développement tout en affichant au

moins une grave défaillance, telle que la violation d’un

principe de sauvegarde.

programme — financements, activités d’analyseet de conseil, et partenariats

• l’angle de l’impact au plan du développement,

à savoir l’analyse « de haut en bas » de lapertinence, de l’efficacité, des résultats, de la

A N N E X E A : L A M É T H O D O L O G I E D E L A C A E

3 1

• le degré de responsabilisation financière• l’ampleur des activités de renforcement des

capacités des ONG• l’envergure des ressources associatives et du

capital environnemental.

PérennitéLa pérennité peut être notée très probable,

probable, improbable, très improbable ou, lorsqueles informations disponibles ne sont pas suffisantes,indéterminable. La pérennité mesure la robustessedes avantages procurés au plan du développementpar un programme d’aide à un pays eu égard auxrisques qui peuvent exister sur une période donnée ;huit facteurs sont pris en compte :

• la solidité technique• la solidité financière (y compris les politiques de

recouvrement des coûts)• la robustesse économique• l’appui social (y compris les conditions sur

lesquelles portent les mesures de sauvegarde)• la capacité de régénération de l’environnement• l’adhésion des gouvernements et autres grandes

parties prenantes• l’appui institutionnel (y compris un cadre

juridique/réglementaire adapté et des systèmesd’organisation et de gestion efficaces)

• la capacité de résistance à des effets exogènes,telles que des chocs économiques internationauxou des modifications des cadres politique etsécuritaire.

pérennité et de l’impact au plan dudéveloppement des principaux objectifs duprogramme

• l’angle de l’attribution, à savoir l’imputation parl’évaluateur de la responsabilité des résultats duprogramme aux quatre catégories d’intervenants.

Échelle de notationL’OED utilise six catégories de notations desrésultats, qui vont de satisfaisant à très

insatisfaisant.

Impact sur le développement institutionnelL’impact sur le développement institutionnel(IDI) d’un programme d’aide-pays peut être noté :élevé, substantiel, modeste ou négligeable. L’IDIindique la mesure dans laquelle le programme apermis d’accroître l’aptitude du pays client à utiliserplus efficacement, équitablement et durablement sesressources humaines, financières et naturelles. Lesdomaines considérés aux fins de l’évaluation del’impact du programme sur le développementinstitutionnel sont, par exemple :

• la qualité de la gestion économique• la structure du secteur public et, en particulier,

de la fonction publique• la solidité institutionnelle du secteur financier• la viabilité des systèmes juridique, réglementaire

et judiciaire• l’envergure des systèmes de suivi et d’évaluation• l’efficacité de la coordination de l’aide

3 3

ANNEXE B : ÉVALUATIONS DE L'AIDE-PAYS QUI ONT ÉTÉ ACHEVÉESEXERCICES 1995–2004

Ex. 95 Ex. 96 Ex. 97 Ex. 98 Ex. 99a Ex. 00 Ex. 01 Ex. 02 Ex. 03 Ex. 04(1) (2) (2) (10) (12) (10) (8) (9) (8) (8)

Ghana Argentine Maroc Albanie Azerbaïdjan Argentine Paraguay Cisjordanie Pérou Tunisie

et Gaza

Zambie Pologne Bangladesh Cambodge Burkina Faso Kazakhstan Lesotho Zambie Bhoutan

Bolivie Croatie Cameroun Maroc Chili Érythrée Chine

Côte d'Ivoire Équateur Costa Rica Inde Viet Nam Zimbabwe Bosnie-

Herzégovine

Kenya Éthiopie Égypte Kenya Haïti Lituanie Arménie

Malawi Indonésie Ghana République Bulgarie Brésil Moldova

kirghize

Mozambique Jamaïque Papouasie Mexique Mongolie République Croatie

Nouvelle-Guinée dominicaine

Philippines Maldives Tanzanie El Salvador Russie Jordanie Rwanda

Thaïlande Népal Ouganda Guatemala

Togo Sri Lanka Uruguay

Ukraine

Yémena) Une Note sur l’aide au Honduras a été préparée durant l’exercice 99 mais a été transformée en « Reach » à la suite du passage du cyclone Mitch.

La zone grisée indique les 25 CAE examinées en vue de la préparation de la présente rétrospective.

Rappel des faits et objectifsCette annexe est basée sur une étude indépendanteréalisée pour évaluer la qualité et l’efficacité desévaluations de l’aide-pays (CAE) telle que lesperçoivent les participants aux discussions du CODEet du Sous-Comité du CODE. L’étude en questionvisait principalement à :

• Déterminer qui sont, pour les participants, lesdestinataires les plus appropriés des CAE, quelssont les objectifs de ces évaluations et quelle estleur valeur institutionnelle, et notamment dansquelle mesure ces évaluations sont jugéesatteindre les objectifs qui sont leur raison d’être

• Identifier les facteurs qui peuvent compromettrela qualité générale des CAE et leur impact surleurs principaux destinataires

• Évaluer le rôle des CAE au regard des leursobjectifs principaux (par exemple tirer desleçons pour l’avenir, avoir un impact sur laformulation des stratégies d’aide-pays et tenir ladirection comptable de son action)

• Déterminer l’usage que font les administrateurs,leurs adjoints et leurs conseillers des CAE, etplus particulièrement les sections que lesparticipants jugent les plus intéressantes, leurévaluation de ces dernières et d’élémentsspécifiques du document (mémorandum decouverture, système de notation, situationscontrefactuelles, recommandations, etc.).

• Évaluer les CAE sur la base de critères particuliers(rationalité de la méthodologie, précision,envergure, facilité d’utilisation, équité, objectivité)

• Recommander des mesures précises pouraméliorer la qualité et l’efficacité des évaluations(par exemple, en ce qui concerne le calendrierde distribution, la méthodologie, le style et lastructure des documents, les apports des parties

3 5

prenantes du pays et la diffusion du document àces mêmes parties prenantes, etc.).

MéthodologiePour atteindre ces objectifs, le consultant a eu desentretiens non directifs avec 30 administrateursantérieurement ou actuellement membres duCODE, assistants et conseillers. Seize des entrevuesorganisées pour la présente étude ont été menées enpersonne à Washington vers la fin du mois de juin etau début de juillet 2003, tandis que les 14 autres ontété effectuées par téléphone entre juin et août 2003.Chaque entrevue a duré environ 45 minutes. Tous lesparticipants ont été assurés de son caractèreconfidentiel et ont reçu des directives par courrielpréalablement à l’entrevue.

Les participants ont été sélectionnés sur uneliste de membres passés et présents du Sous-Comité du CODE fournie par l’OED. Les critèresinitiaux de sélection prévoyaient le recrutementd’administrateurs actuellement en poste ou ayantpréalablement exercé ces fonctions et de certainsde leurs assistants et conseillers ayant déjà assisté àau moins deux réunions du Sous-Comité duCODE. Étant donné le peu de temps que pouvaientconsacrer à l’enquête les administrateurs et lesmembres de leur bureau durant la période de cetteétude, les critères de sélection ont par la suite étéassouplis pour inclure un petit nombre depersonnes n’ayant participé qu’à une seuleréunion du Sous-Comité du CODE. Cela a été unedécision avisée car il s’est avéré, durant lesentrevues, que l’examen des CAE et la préparationdes exposés et des discussions en sous-comitérelèvent dans la plupart des cas d’un processuscollaboratif. Les administrateurs et autrespersonnes chargées de participer aux discussionsdu CODE ou d’y présenter un exposé s’appuient

ANNEXE C : RÉSUMÉ DES ENTREVUES AVEC LES ADMINISTRATEURS/MEMBRESDU CODE

souvent dans une large mesure sur les notesrésumées et les listes des points à aborderpréparées par les assistants et les conseillers qui neprennent pas part aux réunions. Il s’ensuit quecertains participants qui n’assistent que rarementaux réunions du Sous-Comité connaissent parfoismieux la teneur et la structure des documentssource que les administrateurs et autres agents quiparticipent plus fréquemment aux réunions.L’échantillon représente donc de manière adéquateles responsables des bureaux des administrateursqui utilisent les CAE pour préparer les réunions duSous-Comité du CODE et y participer. L’échantillonfinal comprenait 17 membres ayant assisté à aumoins trois réunions (le nombre le plus élevé deréunions étant de 12) ; sept participants ayantchacun assisté à deux réunions et six participantsayant assisté à une réunion.

ConclusionsÉvaluation globaleLes CAE sont, dans l’ensemble, jugées demanière favorable. La majorité des personnesinterrogées (24 sur 30) ont fait valoir que les CAEjouent un rôle essentiel car elles fournissent auxadministrateurs et à la direction de la Banque desévaluations détaillées indépendantes qu’il n’estpossible d’obtenir nulle part ailleurs. La plupart desparticipants estiment que les CAE, qui présententdes évaluations détaillées sur les politiques et lesactivités de la Banque, sont une sourced’information indispensable et de relativementhaute qualité. Les critiques formulées à l’égard desCAE ont souvent été tempérées par des remarquescompréhensives sur la difficulté que pose laconception d’un instrument d’évaluationindépendante pour la Banque et par destémoignages de confiance dans la déterminationde l’OED à fournir des évaluations objectivesindépendantes de la performance de la Banque.

Utilisation des CAELes participants ont indiqué que, pour lesadministrateurs, le plus important est de savoir quel’institution doit rendre compte de ses actions et queles programmes de la Banque sont bien exécutés etque, pour eux, il est crucial de pouvoir compter surdes évaluations indépendantes crédibles telles que lesCAE. Les enseignements considérables qui peuvent

3 6


être tirés de ces dernières ont également été notés.Les participants sont conscients des tiraillementsentre le devoir de rendre compte et la fonctiond’apprentissage, et plusieurs des personnesinterrogées ont insisté sur l’importance de trouver unjuste équilibre entre les deux.

Il est ressorti des entrevues que les CAE étaientcouramment utilisées pour :

• Préparer les participants aux réunions du Sous-Comité du CODE

• Préparer les participants aux réunions desadministrateurs, sur la base essentiellement dela section des conclusions et recommandationsdes évaluations

• À titre de référence, pour comprendre etévaluer les stratégies d’aide-pays venant d’êtreformulées

• À des fins d’information sur un secteur, desthèmes ou des problèmes régionaux particuliers,pour déterminer de quelle manière certainesquestions sont abordées dans des contextesnationaux particuliers.

Les CAE sont utilisées de manière sélective.Pour la majorité des participants, une CAE n’est pasun rapport qu’il importe de lire du début à la finmais un document de référence qui peut êtreconsulté pour obtenir des informations sur despoints particuliers. Selon les participants,l’utilisation des CAE pour examiner et identifierdes points particuliers importants donnegénéralement lieu à : i) la lecture du mémorandumde couverture/ du résumé analytique ; ii) l’examendes recommandations ; iii) la lecture de la réponsela direction ; et iv) une consultation rapide du restedu document pour identifier les domainesd’intérêts particuliers.

De nombreux participants ont indiquéque les CAE avaient un impact limité sur laformulation des stratégies pour un pays. Si uncertain nombre de participants (8 sur 30) ontexpliqué l’impact positif qu’avaient eu sur eux uneCAE lors du processus de préparation de la CAS, lamajorité des personnes interrogées (17 sur 30) ontindiqué qu’ils doutaient que les CAE influencentréellement les décisions de la direction ou laformulation de l’action à mener. Les participantsont souligné que les CAE n’avaient souvent pas

l’aval officiel de la haute direction de la Banque, desorte que leur impact au niveau des directeurs etau niveau des pays s’en trouvait réduit et, partant,que les membres des services opérationnelsétaient plus enclins à faire abstraction de leursconclusions et recommandations. La réaction de ladirection a été imputée à la fois à l’importanceexcessive accordée à la nécessité de rendre comptede manière formelle des actions menées ainsi qu’àdes préoccupations d’ordre méthodologique.Toutes les personnes interrogées ont exprimé lesouhait de trouver un mécanisme qui permettraitd’accroître l’impact des CAE.

La manière dont ces évaluations peuventet devraient être utilisées n’est pasclairement établie. La majorité des participants(16 sur 30) n’ont pas été en mesure d’expliquerclairement comment ils pourraient utiliser la CAEdans le cadre de leurs interactions avec la directionet d’autres parties prenantes éventuelles (parexemple, les bénéficiaires gouvernementaux, leséquipes-pays). Ils pensent que l’OED devraitfournir certaines directives en la matière et ont faitvaloir qu’il pourrait être nécessaire d’établir unmécanisme formel pour intégrer lesrecommandations des CAE dans les CAS.

Les CAE sont jugées ne présenter qu’unintérêt limité pour les bénéficiaires dans lepays. Les facteurs jugés limiter l’intérêt des CAEpour les hauts responsables du gouvernement etautres grands bénéficiaires sont, notamment :

• Le manque de temps et l’insuffisance des capacitésinstitutionnelles

• La résistance opposée, en particulier par lesfonctionnaires, à toute évaluation effectuée endehors de la sphère gouvernementale

• L’importance excessive accordée aux prioritésde la Banque et l’emploi exagéré du jargon del’institution dans le contexte des CAE

• Le manque de coordination/harmonisationdes conclusions (et en particulier des donnéesstatistiques) avec les informations émanantd’autres institutions bilatérales

• les problèmes de méthodologie, et notammentl’absence de participation des bénéficiaires àl’évaluation et le manque d’informations à jourdécrivant correctement la situation dans lepays.

A N N E X E C : R É S U M É D E S E N T R E V U E S A V E C L E S A D M I N I S T R A T E U R S / M E M B R E S D U C O D E

3 7

Les CAE peuvent offrir un moyen de faciliterles contacts entre les services de la banque etles bénéficiaires. Certains participants sontd’avis que la CAE est moins une ressourceindépendante qu’un moyen de faciliter les contactsentre le personnel de la banque et les bénéficiaireset d’obtenir des informations en retour. Leprocessus de diffusion, d’interprétation et aussi derecherche et de formulation de réponses auxquestions et préoccupations soulevées par uneCAE offre une excellente occasion d’entretenir desrapports avec les principaux intervenants dans lepays — et d’identifier, en vue de les satisfaire, lesbesoins particuliers au pays (par exemple,capacités institutionnelles, coordination desbailleurs de fonds, etc.). Certains participants ontdonné des exemples positifs de l’utilisation qu’ilsfont actuellement des CAE avec les bénéficiaires dupays.

Aspects positifs des CAEAnalyses de haute qualité. La majorité desparticipants (23 sur 30) se sont félicités de laqualité systématiquement élevée des évaluations,que se soit sur le fond — ils les ont qualifiées de« riches analyses de fond » — ou sur la forme pourleur « excellente rédaction et présentationgénérale ». Les lacunes les plus fréquemment citéessont le manque de cohérence éventuel desconclusions ou un exposé trop positif et favorableà la Banque. La plupart des participants ontmentionné que la qualité des évaluations dépenddes consultants et des membres du personnel quiles préparent et varie quelque peu d’une CAE àl’autre.

Objectivité des conclusions et desévaluations. La plupart des participants (21 sur30) sont d’avis que les CAE sont objectives,fournissent une évaluation neutre et indépendantede la performance de la Banque et s’efforcent deprésenter des évaluations et des recommandationsjustes. Certains ont toutefois noté que, à leur avis,le texte de certaines CAE pouvait avoir été travailléde manière à présenter les conclusions d’unemanière moins critique de la direction.

Rigueur et exhaustivité. Les CAE sontgénéralement rigoureuses et exhaustives. Un petitnombre de participants (5 sur 30) sont toutefoisd’avis que des domaines (économie politique,

développement du secteur privé, aspects culturels)ne sont parfois pas pris en considération.

Domaines dans lesquels des améliorationss’imposentUne structure et une présentation inadéquates.Un certain nombre de membres du CODE (16 sur30) ont indiqué qu’ils trouvaient la lecture des CAEmalaisée et avaient du mal à y trouver desinformations pertinentes. Pour l’essentiel, ilsestiment que le problème tient plus à la structurequ’à la longueur des évaluations ; cette dernière esten effet jugée favorablement dans la mesure où elletient à la rigueur et à l’exhaustivité de l’analyse. Il aété suggéré de renforcer le chapitre des« Conclusions et recommandations » qui est celuique consulte probablement la direction, et de leplacer au début du rapport.

Une optique trop analytique. La majoritédes participants (17 sur 30) sont d’avis que les CAEne devraient pas être des documents de rechercheformels axés sur une analyse quantitative, etassortis d’indicateurs mesurables de laperformance passée de la Banque, de situationscontrefactuelles etc. Ils estiment au contraire queles évaluations devraient viser à brosser un tableaude vaste portée intégrant de nombreux aspects durôle joué par la Banque dans le développementd’un pays au cours des années, et qu’ellesdevraient mettre plus particulièrement l’accent surles leçons tirées de l’expérience et lesrecommandations de manière à renforcer lesstratégies futures de la Banque.

Une attention excessive est portée auxprocédures opérationnelles au détriment desprogrès réalisés sur le terrain. De nombreuxmembres du CODE craignent que les documentsne soient parfois trop axés sur la manière dont laBanque a suivi certaines procédures et a atteintcertains objectifs au détriment de l’impact de saparticipation sur le pays lui-même. Ils ont indiquéque recentrer les CAE sur « la situation sur le terrain »et suivre les progrès effectivement accomplisauraient pour effet de renforcer ces évaluations.

Des apports directs insuffisants. De nombreuxparticipants craignent que les auteurs des CAE nes’appuient trop sur des travaux de recherchesecondaire menés exclusivement dans les bureaux deWashington au lieu de travailler directement avec les

3 8


équipes-pays, les représentants du gouvernement etd’autres bénéficiaires dans le pays. La plupart desparticipants ont déclaré reconnaître les difficultésinhérentes à l’inclusion des représentants dugouvernement et d’autres bénéficiaires nationauxdans le processus d’évaluation. Au nombre desprincipaux problèmes cités à cet égard figurent : lebudget et les ressources limitées de l’OED,l’insuffisance des capacités institutionnelles au niveaudes pays, le risque de troubler ou de perturber lesrelations établies avec la Banque, et celui de réduirel’indépendance et l’objectivité de l’OED. Malgré cela,la majorité des participants ont insisté pour que l’OEDcontinue de chercher à faire davantage participer lespays aux CAE. Le recentrage de l’action de la Banquesur des stratégies de portée nationale (et les prioritésconnexes telles que la coordination de l’aide desbailleurs de fond, le renforcement des capacités et unrecours accru aux spécialistes du pays) pose desproblèmes méthodologiques qui ne pourront êtrerésolus qu’avec la participation accrue desbénéficiaires nationaux.

Un horizon lointain. La longueur de lapériode couverte par les évaluations (au moins 10ans) a suscité certaines questions, en particulier ence qui concerne les responsabilités incombant à laBanque et au gouvernement. Comment est-ilpossible de poursuivre ce type d’évaluationlorsque les personnes responsables changent aussibien au niveau de la direction qu’à celui dugouvernement, lorsque le pays bénéficiaire subitdes transformations politiques et économiquesimprévues et lorsque les priorités et les objectifsstratégiques de la Banque changent ?

Un calendrier qui n’est pas toujours adapté.La majorité des participants (17) ont indiqué qu’ilsrecevaient parfois les CAE à un stade trop tardif duprocessus de développement de la stratégie pourque ces CAE ait un impact réel. Les participants sontconscients des problèmes logistiques qui ontfréquemment un impact sur la disponibilité desévaluations, mais ils aimeraient recevoir les CAE aumoins deux à quatre semaines avant les réunions duSous-Comité du CODE et au moins trois mois avantl’examen d’une CAS.

Manque de cohérence et inexactitude desnotations. La majorité des participants considèrentque les notations complètent généralement demanière fiable les informations fournies dans la

partie texte du rapport des CAE. Certains estimentque la section de la CAE consacrée aux notationsest celle qui offre le plus de possibilités de tenir ladirection comptable de ses actions et de s’assurerqu’elle prend en compte les conclusions del’évaluation. D’autres pensent au contraire qu’ilvaudrait mieux accorder moins d’attention aux

A N N E X E C : R É S U M É D E S E N T R E V U E S A V E C L E S A D M I N I S T R A T E U R S / M E M B R E S D U C O D E

3 9

notations. Les participants craignent en outre quele manque de cohérence et les inexactitudes dusystème de notation n’en affaiblissent l’impact. Laplupart des participants ont indiqué que l’échellede notation doit être précisée ou les valeursrelatives mieux définies pour que les notationspuissent être utiles.

Rappel des faits et objectifsCette étude a été conçue aux fins de la rétrospectivedes CAE et couvre de manière spécifique l’utilisationque font les administrateurs de ces évaluations. Elle adonné lieu à l’analyse des comptes rendus desexamens du Conseil ainsi que des CAS et des CASPRpertinentes dans le but d’évaluer l’impact quepeuvent avoir les CAE sur les examens desadministrateurs. Les déclarations écrites desadministrateurs diffusées avant ces examens ontégalement été analysées. L’échantillon retenucomprend 13 examens de CAS établies pour les 12pays pour lesquels des CAE récentes étaientdisponibles en avril 2003 (un pays a fait l’objet dedeux examens). Les pays considérés sont : la Bulgarie,le Chili, El Salvador, la Fédération de Russie,le Guatemala, l’Inde, le Kazakhstan, le Maroc,le Mexique, le Pérou, la République kirghize et leViet Nam.

MéthodologieL’analyse a commencé par la recherche desréférences à la CAE dans les documents soumis parle représentant du Groupe de pays concerné dansle cadre de l’examen de la CAS. La mention dequestions de fonds abordées dans la CAE est lameilleure indication que cette dernière a été lue etutilisée pour préparer les observations finales.Toutefois, même lorsqu’il n’est pas fait expressémentmention de la CAE, il est possible que celle-ci aitété lue et ait motivé le choix des questions devantfaire l’objet de l’examen de la CAS. Le degré decorrespondance entre les questions soulevéesdans la CAE et celles qui sont abordées dans lecadre de l’examen de la CAS par les administrateursest aussi une information importante carl’existence de fortes divergences à ce niveau peutindiquer les problèmes fondamentaux au niveau

4 1

de l’analyse et de la détermination des priorités. Iln’a donc pas été possible de seulement compter etclasser les mentions des CAE ; il a fallu passer enrevue les questions abordées durant l’examen desadministrateurs, pour les comparer aux questionssoulevées dans la CAE correspondante. Tous lespoints évoqués par le représentant du Groupe depays considéré ont été catalogués en fonction deleur fréquence et de leur nature et leur importancerelative sur cette base a été comparée à celle quileur avait été accordée dans la CAE.

On risque dans une certaine mesure d’accordertrop d’importance à la fréquence des références àune question particulière durant l’examen desadministrateurs, car les membres du Conseilsemblent adapter et raccourcir leurs exposés au furet à mesure du déroulement des débats pour évitertrop de répétitions. Dans de nombreux procès-verbaux, les exposés des derniers orateurs sont,dans l’ensemble, beaucoup plus courts que lesprécédents ou, du moins, ne couvrent pas autantde points différents. Cet état de fait pourrait avoirun impact sur le nombre de fois où il est faitexpressément mention de l’OED et de la CAE. Lescommentaires se rapportent néanmoins à certainsdomaines particuliers, et témoignent de l’intérêtparticulier que ceux-ci peuvent présenter pour lesreprésentants de groupes de pays dans le contexted’un pays ou même de manière générale.

Aux fins du processus d’examen, une feuillede travail a été mise au point pour chaqueprocès-verbal ; celle-ci permet d’indiquer lesrecommandations de la CAE pertinente et lesautres questions abordées dans le cadre de cetteévaluation. Tous les points soulevés par unreprésentant particulier sont indiqués dans cetteliste puis classés dans différentes catégories, selonle domaine auquel se rapporte le commentaire et

ANNEXE D : EXAMEN DE LA CAS ET DES DOCUMENTS CONNEXES PAR LES ADMINISTRATEURS

selon que la CAE a été expressément mentionnéeou non. Les questions soulevées par lereprésentant d’un groupe de pays qui n’avaient pasété abordées en détail dans la CAE ont été placéesdans une catégorie distincte et leur teneurqualifiée de superficielle ou d’importante. Lescommentaires d’ordre général formulés sur uneCAE sans rapport précis avec une questionparticulière ont été enregistrés dans encore uneautre catégorie. Enfin, toute mention expresse dela CAE a été enregistrée ainsi que son contexte,classée en fonction de sa teneur et évaluée pour entirer des enseignements utiles pour l’équipe de la CAS.

ConclusionsÉvaluation globaleCet examen laisse penser que les CAE ont unimpact sur les examens par les administrateursdes CAS/CASPR, mais que cet impact varieconsidérablement d’un pays à un autre. Lerecours par les administrateurs aux CAE semblelimité, dans l’ensemble, bien qu’il existe desdifférences très nettes entre les groupes de paysreprésentés et entre les CAE examinées. Certainesévaluations reçoivent plus d’attention que d’autres, etcertains représentants de groupes de pays semblentse référer aux CAE plus fréquemment que d’autres.Dans l’ensemble, les points examinés dans le cadredes CAE correspondent bien aux questions soulevéeslors des examens des CAS/CASPR qui leur font suite,bien qu’il n’ait souvent pas été possible d’établir unlien explicite entre ces derniers documents et la CAE.

4 2


Utilisation des CAEEnviron un tiers des déclarations, écrites ouorales, des représentants des groupes depays mentionnent expressément la CAEcorrespondante au moins une fois. Au total,les CAE ont été mentionnées 85 fois durant les 13examens considérés. Environ un quart de cesréférences (21) étaient d’ordre très général tandisque les 75 % restants (64) portaient sur des pointsparticuliers. Ceux-ci constituent une fractionrelativement minime (6 %) de tous les pointsévoqués durant les examens des CAS par lesadministrateurs. Cette conclusion est valablequ’une CAE ait été mentionnée expressément ounon ; il n’existe donc pas de lien manifeste entre lacorrespondance des questions abordées etl’utilisation des CAE par les administrateurs.

La correspondance entre les questionsabordées par les CAE et les points soulevéspar les représentants des groupes de paysdurant les examens des administrateurs estrelativement étroite. Par exemple, une CAS a étéexaminée par les administrateurs presque un anaprès la diffusion de la CAE pertinente, etpratiquement personne n’a mentionné l’évaluationdurant les débats. Toutefois, les questionsabordées dans la CAE et lors de l’examen de la CASétaient dans l’ensemble similaires, et lesrecommandations de la CAE ont été reprises dansplusieurs des commentaires des groupes de paysconsidérés. C’est également ce qui s’est produitlors d’un autre examen qui a fait ressortir lacorrespondance particulièrement étroite entre lesquestions abordées dans la CAE et les pointsexaminés par les administrateurs alors que la CAEn’a jamais été mentionnée. Il se peut que cetalignement ait tenu aux contacts et à lacollaboration entre l’équipe chargée de la CAE etl’équipe responsable de la CAS durant lapréparation de cette dernière.

Les mentions les plus fréquentes concernentles sections récapitulatives. L’examen des renvoisaux CAE sur des points déterminés laisse penser queces évaluations ne sont pas lues de bout en bout. Untiers des mentions se rapportent à la section des« recommandations » tandis que 50 % se rapportentaux sections récapitulatives des CAE ou aux questionssoulevées dans le cadre d’une réunion du CODE oude son Sous-Comité. Seulement 17 % de cesréférences se rapportent au texte principal (figure 1).

O r i g i n e d e sr é f é r e n c e s

F i g u r e 1

Texte principal de la CAE

17 %

Mémorandum/CODE50 %

Recommandations33 %

Cela montre bien l’importance que revêtent lessections récapitulatives des CAE et les effortsdéployés pour que l’examen de la CAE avec le CODEou son Sous-Comité soit productif.

Certaines CAE provoquent des débats plusintenses que d’autres. Il est davantage portéattention à une CAE lorsqu’il doit être procédé àl’examen d’une CAS complète plutôt que d’unCASPR. En revanche, une CAE attire moinsd’attention lorsque le temps écoulé entre sadiffusion et l’examen de la CAS par lesadministrateurs s’approche des 12 mois. Les CAEqui attribuent des notes non satisfaisantes attirentaussi, dans une certaine mesure, davantagel’attention.

Certains groupes de pays font plussouvent référence aux CAE que d’autres. Dixdes 24 groupes de pays représentés au Conseil seréfèrent aux CAE relativement régulièrement. Lavaste majorité de ces derniers sont ou bien un paysde la Première Partie ou un groupe de paysreprésentés par un ressortissant d’un pays de laPremière Partie. D’autres groupes de pays ne fontque rarement, sinon jamais, référence aux CAE.

A N N E X E D : E X A M E N D E L A C A S E T D E S D O C U M E N T S C O N N E X E S P A R L E S A D M I N I S T R A T E U R S

4 3

Certaines questions sont soulevées plussouvent que d’autres, que la CAE examinéeleur ait ou non accordé de l’importance. Laplus importante de ces questions est celle de lacoordination de l’aide. Les débats ne sont en aucuncas dominés par les aspects bilatéraux de lacoordination des bailleurs de fonds ; ils portent enfait le plus souvent sur des questions de fond quiont trait à la coordination du programme de laBanque avec celui d’autres donateurs, lasélectivité, la collaboration dans le domaine desétudes économiques et sectorielles, l’harmonisationdes procédures et autres questions de ce type.Cette remarque ne laisse pas d’être importantepour les futures CAE, car plusieurs des dernièresévaluations ont limité leur examen de lacoordination de l’aide à la seule description desactivités des autres bailleurs de fond. Parmi lesautres sujets qui reviennent régulièrement figurentla gestion du secteur public, la pauvreté rurale, ledéveloppement du secteur privé, la conditionnalité etles seuils de déclenchement des activités de prêt.

Rappel des faits et objectifsLa présente annexe repose sur les résultatsd’une étude indépendante réalisée dans le butde déterminer la qualité et l’efficacité desévaluations de l’aide-pays (CAE) telles que lesperçoivent les membres des services de laBanque qui interviennent dans ce processus.L’étude s’est concentrée sur les expériences, lesimpressions et les attentes déclarées despersonnes interrogées et ne vise aucunement àfournir une évaluation objective de la qualité, dela présentation et de la diffusion des CAE. Elle apour objet d’identifier les principaux aspectsdéterminants de la mesure dans laquelle lespersonnes interrogées sont disposées — ou non —à accepter les conclusions et recommandationsprésentées dans les évaluations de l’aide-pays.

L’étude visait essentiellement à permettrede :

• Comprendre quels sont, de l’avis des participants,les auditoires les plus appropriés, les objectifs etla valeur institutionnelle des CAE, et notamment lamesure dans laquelle ils estiment que cesrapports atteignent les objectifs qui sont leurraison d’être

• Identifier les obstacles qui pourraient compro-mettre la qualité et l’efficacité globales des CAEpour les principales parties prenantes

• Évaluer le rôle des CAE eu égard aux grandsobjectifs (leçons pour l’avenir, impact sur la for-mulation des stratégies d’aide-pays, et attribu-tion des responsabilités)

• Identifier les manières dont sont utilisées lesCAE par différentes parties prenantes dans lecadre de leurs travaux

4 5

• Évaluer les CAE sur la base de critèresdéterminés (validité de la méthodologie,exhaustivité, précision, facilité d’utilisation,justesse, objectivité etc.)

• Recommander des moyens précis d’accroître laqualité et l’efficacité des rapports (par exemple,calendrier de diffusion, méthodologie, style etorganisation des documents, contribution desparties prenantes nationales et diffusion desrapports à ces dernières, etc.).

MéthodologieAfin d’atteindre ces objectifs, l’OED a demandé à unconsultant indépendant de procéder à des entrevuesnon directives avec des directeurs-pays et des vice-présidents de Région, ainsi qu’à des discussionsde groupe avec les membres des équipes-pays (économistes, directeurs, coordinateurs). Cesentrevues ont eu lieu entre la mi-octobre et la mi-décembre 2003. Les participants ont été sélectionnésà partir des listes de personnes qui étaient ou avaientété des membres des services de la Banque que leuravait communiqué l’OED. L’échantillon constituéaux fins de l’étude comprenait quatre personnesoccupant ou ayant occupé un poste de vice-présidentde Région, et un vice-président adjoint ; cinq autresmembres du personnel des bureaux des vice-présidents ; cinq personnes occupant ou ayantoccupé un poste de directeur-pays ; et 18 autresmembres des équipes-pays, dont cinq ont égalementparticipé à des entrevues non directives.

Tous les participants ont été assurés du caractèreconfidentiel des informations communiquées et ontreçu par courriel, avant les entrevues, les directivesétablies pour les entrevues. Ces dernières ont duréenviron 45 minutes.

ANNEXE E : RÉCAPITULATION DES ENTREVUES AVEC LES SERVICES DE LA BANQUE

Principales conclusionsÉvaluation généraleÀ quelques exceptions près, la direction de laBanque a une opinion largement défavorabledes CAE. Seulement sept des vingt directeurs-pays interrogés ont émis un avis favorable sur lesCAE et sur l’utilité de leurs conclusions etrecommandations. Deux directeurs-pays quiavaient eu l’occasion d’examiner en détailplusieurs CAE ont évalué certaines d’entre elles demanière positive et d’autres de manière négative.Sept directeurs-pays ont émis des opinionsnégatives tandis que les quatre autres ont offertune évaluation plus modérée. Les vice-présidentsde Région interrogés ont émis des opinions encoremoins favorables que les directeurs-pays. Il estprincipalement ressorti de ces entrevues et desdiscussions de groupe que les CAE sont, dansl’ensemble, jugées de manière positive lorsque lesparties prenantes estiment qu’elles ont eu unimpact direct sur la préparation d’une CAS oud’autres activités en cours, et inversement.

Les perceptions des directeurs-pays nesont pas strictement fonction des notesattribuées aux résultats des pays dont ilss’occupent. Si, dans quelques cas, il existe unecorrélation directe entre les notes attribuées auxrésultats et l’opinion émise sur la CAE,globalement la situation est différente. Les septdirecteurs-pays qui ont émis une évaluationfavorable ont effectué cette évaluation sur la basede trois CAE attribuant de bonnes notes auxrésultats et de quatre CAE attribuant des notesnégatives. La situation est similaire dans le cas desdirecteurs-pays qui jugent les CAE de manièredéfavorable. En revanche, les vice-présidents deRégion ont essentiellement formulé leur avis sur labase des CAE qui avaient attribué des notesdéfavorables. Il s’est avéré difficile d’établir unerelation entre les notes attribuées et l’opinion desmembres des équipes-pays dans le cadre desdiscussions de groupe bien qu’un grand nombredes critiques et des suggestions aient été motivéespar des CAE attribuant des notes négatives.

Utilisation des CAECertaines CAE ont été jugées avoir un impactdirect sur la CAS ou sur la démarche suiviepar la Banque dans le pays. Différents

4 6


participants ont indiqué que la CAE établie pour lepays sur lequel il travaillait avait eu un impact directsur la stratégie et les activités de financement etavait aussi influencé sensiblement la manière dontils concevaient et poursuivaient leur travail. Unparticipant a fait valoir que « en fait, après cela,nous n’avons pas accordé de financement à Xpendant longtemps ». En règle générale, lesparticipants qui ont déclaré être les principauxbénéficiaires des CAE avaient eu des contactsdirects avec l’équipe chargée de l’évaluation ; ilsmettent aussi l’accent sur l’impact positif desévaluations (que ce soit pour la CAS ou au-delà), ilspréconisent une plus large diffusion desconclusions aux bénéficiaires et notent avoirconsulté des CAE pour d’autres pays dans le cadrede leur travail.

Toutefois, un grand nombre de CAE ont étéjugées n’avoir qu’une faible, sinon aucune,valeur. De nombreuses personnes interrogéesont témoigné d’un intérêt limité pour les CAEétablies pour leur pays, et ne consultent guère cesrapports. Une fois le processus formel achevé et laréunion du CODE passée, les CAE en question sontgénéralement condamnées à l’oubli. Pour ceux quiles critiquent, les CAE sont des documentssuperficiels qui n’ont aucun intérêt réel pour lestravaux des membres des services de la Banque ;elles ne fournissent aucun enseignement ouélément qui pourrait amener la Banque à modifierla manière dont elle procède ; elles ne permettentpas de saisir la richesse et la complexité de lasituation du pays ; et elles ne formulent aucunesuggestion à laquelle l’équipe-pays n’a pas déjàpensé.

Aspects positifs des CAEIntérêt d’une CAE en tant qu’outild’apprentissage. Les participants qui ont évaluéfavorablement les CAE ont insisté sur l’impact de leursconclusions sur les stratégies et les opérationsultérieures, même lorsque les évaluationsconsidérées critiquaient la stratégie de la Banque oùl’équipe-pays. Pour eux, l’apprentissage se faitdavantage dans le cadre du processus de longuedurée et informel suivi pour collecter, communiqueret diffuser les conclusions des CAE que par la lecturede la CAE en tant que document autonome faisantautorité.

Domaines dans lesquels des améliorationss’imposentLa compétence et l’expérience des chefs deprojet. La grande majorité des directeurs-pays (16sur 20) et tous les vice-présidents de Région ontfait valoir que la compétence et l’expérience duchef de projet est un facteur absolumentdéterminant de la confiance qu’ils ont dans les CAEet de la mesure dans laquelle ils acceptent cesdernières. Les qualités d’un bon chef de projet quisont les plus couramment citées sont : uneexpérience préalable des opérations ; une bonnecompréhension des pressions et des complexitésqui caractérisent la prise de décision et l’exécutiondes stratégies sur le terrain ; une bonne connaissancede la région et des secteurs pertinents ; et l’absencede parti pris.

Ampleur des contacts avec l’équipe-pays.Six des huit directeurs-pays qui avaient émis uneopinion favorable dans le cas d’au moins une CAEont insisté sur la valeur et l’importance duprocessus suivi pour produire ce type de rapport.Les participants qui ont une bonne opinion desCAE ont décrit le plus souvent celles-ci — etl’intérêt qu’elles présentent pour leur travaux —comme un processus d’apprentissage permanentet ils ont systématiquement mentionné lescommunications ouvertes et les contacts réguliersentre l’équipe-pays et l’équipe chargée de préparerla CAE, qui ont permis de procéder à des échangesde vue fructueux sur les principaux points àexaminer et les personnes et sourcesd’informations à consulter durant l’évaluation. Àl’inverse, les participants ayant une opinionnégative des CAE ont fait état de contacts trèslimités entre l’équipe-pays et l’équipe chargée depréparer la CAE.

Prise en compte insuffisante des processusdécisionnels et opérationnels. Les participantsde tous les groupes (y compris 12 des directeurs-pays, 4 vice-présidents de Région et les deuxgroupes de discussion) ont indiqué que les CAE neprêtent souvent pas suffisamment attention auraisonnement suivi pour formuler la stratégieconsidérée pas plus qu’elles ne reconnaissent demanière adéquate l’engagement et leprofessionnalisme de la direction et du personnelopérationnel. L’utilité des CAE, y compris celles quiont été jugées de la manière la plus favorable, est


4 7

parfois compromise par le fait qu’elles ne replacentles décisions prises dans leur contexte ous’efforcent de comprendre l’état d’esprit desresponsables de la formulation et de l’exécution dela CAS. « Je ne peux pas croire que notreopposition aux conclusions et aux situationscontrefactuelles tiennent tout simplement au faitque nous sommes tous aussi intolérants et tousaussi réfractaires les uns que les autres à toutecritique et à tout changement » a fait remarquerl’une des personnes interrogées. « Le fait est que leprofessionnalisme des individus en cause n’est passuffisamment reconnu durant le processus. »

Calendrier aléatoire des CAE. Quelle quesoit la manière dont ils jugent les CAE, lesparticipants de tous les groupes se sont accordés àdire que le calendrier des évaluations estactuellement trop aléatoire et imprévisible pourque cet instrument puisse être utile à laformulation d’une stratégie partout à la Banque.Même les participants qui ont déclaré avoirbénéficié d’un calendrier idéal pour la CAE ontnoté qu’ils avaient connaissance de cas danslesquels la CAE avait été communiquée trop tardpour pouvoir servir à la formulation de la CAS — desorte qu’ils doutaient quelque peu de l’utilité desCAE pour leurs travaux futurs. La plupart desparticipants ont fait savoir que, pour être utile à laformulation d’une CAS, la CAE doit être disponibledans les phases initiales du processus deformulation de la stratégie. Les commentaires desparticipants sur le calendrier des CAE sont souventétroitement liés à la fréquence des contacts qu’ilsont eu avec l’équipe chargée de la préparation desCAE et à la distinction faite entre la CAE en tant queprocessus et la CAE en tant que document.

Importance excessive accordée àl’attribution des responsabilités par oppositionà l’apprentissage. Les participants ayant émis uneopinion positive des CAE ont rarement employé leterme « attribution des responsabilités ». Ceux qui ontémis une opinion négative se sont plaints à maintesreprises de l’importance excessive accordée par lesCAE à l’attribution des responsabilités. Le problème leplus fréquemment mentionné à cet égard (quirécapitule la plupart des autres sujets depréoccupation) est que l’importance accordée àl’attribution des responsabilités a pour effet deréduire l’intérêt et l’utilité que présentent pour la

formulation de la stratégie et pour l’équipe-pays lesleçons et recommandations que les CAE sont censéesfournir. Des participants de tous les groupes ontdéclaré craindre que la place actuellement accordée àl’attribution des responsabilités dicte par trop lateneur, la méthodologie et l’organisation des CAE(dont les principales recommandations etconclusions sont souvent reléguées à la fin dudocument) et réduit la mesure dans laquelle ladirection et les équipes-pays sont disposées àaccepter les recommandations formulées.

Dans ce cas des participants chargés de paysimportants et complexes dans lesquels la Banquepoursuit d’importantes opérations d’investissement,ainsi que des vice-présidents des Régionsconcernées, la crédibilité des CAE en tantqu’instrument d’attribution des responsabilités estégalement compromise par le fait que les CAE neconsidèrent ni le rôle des administrateurs ni lespressions exercées par les pays du G7 surl’orientation des stratégies de la Banque. Ce point —et son impact sur la crédibilité des CAE auprès de ladirection et des équipes-pays — a été clairementmentionné par huit des directeurs-pays et trois desvice-présidents de Région, et a été débattu par lesdirecteurs-pays et les membres des deux groupesde discussion.

Absence de prise en compte de ladégradation des relations avec les pays queles CAE peuvent causer. Plus de la moitié desparticipants (y compris huit directeurs-pays, troisvice-présidents de Région et plusieurs membresdes groupes de discussion) ont indiqué qu’il avaitfallu prendre des mesures pour limiter lesretombées négatives de la diffusion dans le publicd’une CAE défavorable. La plupart des participantsestiment que l’atteinte à la réputation de l’équipe-pays et l’altération des rapports qu’elle entretient(avec le gouvernement et d’autres bénéficiaires,d’autres bailleurs de fond et le public en général)est la principale conséquence d’une évaluationdéfavorable, conséquence qu’ils jugent beaucoupplus grave que l’impact que peut avoir la CAE sur lacarrière ou le perfectionnement professionnel desindividus concernés. Les participants se sontdéclarés beaucoup plus enclins à accepter desconclusions négatives lorsque l’équipe chargée dela CAE avait prouvé qu’elle réalisait la nécessité decomprendre et de gérer l’impact possible d’une

4 8


évaluation négative sur les opérations en cours.Dans les meilleurs des cas, les participants ont eusuffisamment de temps pour assimiler lesconclusions d’une CAE négative et de se préparer(dans le cadre de conversations informelles avecles principaux bénéficiaires) à la communicationde ces évaluations négatives aux parties prenantesextérieures à la Banque.

Déficiences du système de notation. Lesparticipants ont également tous critiqué le systèmede notation utilisé dans les CAE. Pour certains, ilfaudrait faire totalement abstraction de cesnotations ou en réduire l’importance, tandis quepour d’autres, il importerait d’adopter unedémarche plus rigoureuse. Parmi les principauxproblèmes cités figurent :

• Le manque de concordance entre les notationset la partie du texte de la CAE censée les justifier

• L’absence de définitions claires et précises desdifférentes notes

• Le manque de coordination avec les évaluationsquantitatives d’autres organismes bailleurs defonds

• Les difficultés inhérentes à l’utilisation decritères uniformes pour tous les pays

• L’existence d’une opposition généralisée auconcept de notation de la performance auniveau des pays

• L’incapacité à évaluer l’évolution de la situationentre des phases de développement distinctes(et le mécontentement suscité par la pratiquede l’OED qui consiste à combiner et à faire lamoyenne des notes établies pour des périodesdistinctes)

• La difficulté que revêt l’attribution de laresponsabilité des résultats à la performance dela Banque

• Le sentiment qu’ont les membres des servicesde la Banque d’avoir à se justifier indûment.

Carences de la méthodologie et de ladémarche suivies. La plupart des participantsont indiqué qu’il n’existait pas de méthodologieclaire, standard, cohérente et rationnelle pour laformulation des CAE, qui pourrait être utiliséeefficacement dans d’autres contextes. Les objectifsdes CAE ont été qualifiés de trop globaux pour êtreutiles. Un grand nombre des personnes interrogées

(huit directeurs-pays et deux vice-présidents deRégion) ont suggéré de cibler les évaluations surun nombre limité de secteurs particuliers pourqu’elles aient un impact maximum au lieu dechercher à produire les évaluations actuelles quisont censées être exhaustives et plurisectorielles.Les graves carences des situations contrefactuellesont également été mentionnées ; celles-ci sontjugées être trop abstraites, accorder tropd’importance au rôle de la Banque dans ledéveloppement du pays, être trop utopiques etreposer dans une trop large mesure sur desinformations obtenues a posteriori pour faciliter laprise de décision à une date future.

Carences des capacités de recherche. Lesparticipants ont noté le recours excessif à des


4 9

sources secondaires et l’insuffisance desconsultations avec les bénéficiaires du pays et lesmembres de l’équipe-pays dans le cadre de lapréparation des CAE. L’OED a été jugée adopter laméthode du « parachute » ; en d’autres termes, sesexperts ne se rendent sur le terrain que pour unepériode aussi courte que possible, et effectuentl’essentiel de leurs travaux à Washington. Leprocessus fait abstraction de trop d’intervenants àtous les niveaux (bénéficiaires, autres bailleurs defonds, équipe-pays, décideurs de la Banque), etsurtout des personnes qui avaient des fonctionscruciales lors de la formulation de l’action à mener.

Un examen sur dossier portant sur toutes lesméthodes d’évaluation des programmes par paysmises dans le domaine public par les grandsorganismes bailleurs de fonds bilatéraux etmultilatéraux a été effectué. Les informationsrassemblées, accompagnées d’un bref questionnaire,ont été envoyées au Département de l’évaluation dechacun des organismes bailleurs de fonds pourconfirmer les conclusions de l’examen sur dossier etsolliciter la communication des données manquantes.Tous les services d’évaluation ont fourni des réponsesdétaillées au questionnaire. Il a été décidé den’inclure dans l’analyse ni la Banque européennepour la reconstruction et le développement (BERD),ni le Fonds monétaire international (FMI) ni l’Agencedes États-Unis pour le développement international(USAID) parce que ces organisations n’ont pas encoreprogressé de manière importante dans le domaine

5 1

des évaluations par pays. Cette récapitulation estbasée sur les informations disponibles en septembre2004.

L’examen réalisé montre qu’environ la moitié desorganisations appliquent des directives formelles auxfins de la réalisation des évaluations par pays etutilisent des cadres d’analyse similaires à celui del’OED. Leurs évaluations, par exemple, comportentdifférents chapitres portant, respectivement, sur lasituation générale du pays, la stratégie et l’aidefournie au pays, suivis d’autres chapitres consacrésaux leçons et conclusions et, enfin, auxrecommandations. À l’instar des CAE, ellescomportent une section qui a trait aux contributionsdes autres bailleurs de fond et aux facteurs exogènes.Elles appliquent également les critères d’efficacité,d’efficience et de durabilité du CAD. Les évaluationsde certains organismes adhèrent en outre aux critères

ANNEXE F : RÉCAPITULATION DES MÉTHODES D’ÉVALUATION DES PROGRAMMES PAR PAYS UTILISÉES PAR D’AUTRES INSTITUTIONS

U t i l i s a t i o n d e s p r i n c i p a u x o u t i l sm é t h o d o l o g i q u e sT a b l e a u F . 1

situation Organisation notations contrefactuelle attribution pays évalués

Département de l’évaluation des opérations (OED) 70

Organisations multilatérales

Banque africaine de développement (BAfD) 6

Banque asiatique de développement (BAsD) a 7

Banque islamique de développement (BIsD) 16

Programme des Nations Unies pour le développement (PNUD) 10

Fonds des Nations unies pour l’enfance (UNICEF) 7

Organismes bilatéraux

Agence danoise de développement international (DANIDA) 7

(UK) Department for International Development (DFID) 3

Union européenne/Communauté européenne (UE/CE) 23

Société suisse de développement 9

Agence suédoise de coopération pour le développement 4a. A entrepris de mettre au point un système de notation.

de cohérence, d’impact et de développementinstitutionnel.

Les pratiques des bailleurs de fonds diffèrent decelles de l’OED en ce qui concerne les notations,l’attribution des responsabilités et l’utilisation desituations contrefactuelles. Contrairement à l’OED,les bailleurs de fonds considérés ne notentgénéralement pas de manière explicite les résultatsde leurs programmes d’aide (tableau F.1). Étantdonné les difficultés méthodologiques que posel’attribution des responsabilités, seulement troisdes organisations considérées s’efforcent demanière formelle d’imputer les résultats de leursprogrammes-pays (il s’agit de l’AfDB, de la BIsD, etdu DFID qui commence seulement à procéder àdes évaluations par pays). La plupart des autresorganisations cherchent, quant à elles, à établir desliens crédibles entre les intrants et les résultats etimpacts observés. Seulement deux des organisationsconsidérées (l’AfDB et la BIsD) ont recours à dessituations contrefactuelles dans le cadre de leursévaluations. Les bailleurs de fond estiment qu’il est

5 2


difficile de conceptualiser l’attribution desresponsabilités et les situations contrefactuellesaux fins des évaluations de l’aide-pays.

Les bailleurs de fond se soucient davantage del’absence d’objectifs précis et clairement définis etdes carences ou de l’absence d’indicateurs de suividans les stratégies par pays que de l’attribution desresponsabilités et de l’élaboration d’analysescontrefactuelles. Le Fonds des Nations Unies pourl’enfance (UNICEF) s’efforce de résoudre ceproblème par le biais de l’adoption d’un Planintégré de suivi et d’évaluation (IMEP) incorporédans les programmes par pays au stade de lapréparation. Ce plan oriente les programmes del’UNICEF sur l’obtention de résultats, l’utilisationd’un modèle logique pour établir un lien entre lesintrants et les résultats, et l’application d’unsystème de suivi et d’évaluation des performances.L’Union européenne a également entrepris deconstruire un diagramme logique pour sesstratégies d’aide-pays.

Le 28 février 2005, le Sous-Comité informel duCODE s’est réuni pour examiner le rapportintitulé « Rétrospective des évaluations de l’aideaux pays : l’auto-évaluation de l’OED ».

Commentaires de l’OED. Les représentantsde l’OED ont noté que ce rapport, qui est une auto-évaluation, repose sur un examen de CAE récemmentachevées, de nombreuses entrevues avec lesmembres du CODE et du Sous-Comité du CODE,leurs conseillers, des membres des services desrégions de la Banque, ainsi que des évaluationsd’experts externes. Cette rétrospective couvredeux domaines principaux : les leçons tirées del’expérience et les moyens d’améliorer l’instrumentque constituent les CAE. Elle a permis d’établirqu’une évaluation de portée nationale brosse untableau plus complet qu’une simple compilationdes résultats de projets. Lorsqu’elle prépare uneCAS, la Banque doit s’efforcer de mieux comprendrele contexte du pays et ne poursuivre d’opérations àl’appui de politique de développement quelorsqu’elle est sûre de l’adhésion réelle dugouvernement. L’OED a également abouti à laconclusion que le cadre méthodologique pourraitêtre renforcé par un accroissement de l’importanceaccordée à l’impact sur le développement et auxrésultats obtenus par opposition aux instrumentsde la Banque et au respect des critères.

L’évaluation de l’OED aboutit à la conclusionque les futures CAE doivent être davantage baséessur les résultats, et établir les liens entre lesinstruments utilisés et les résultats obtenus,d’une part, et les objectifs de la Banque, d’autrepart. Les représentants de l’OED ont indiqué que,en ce qui concerne les notations des CAE et lescontacts avec les équipes-pays et les bénéficiairesnationaux, il décomposera les notes attribuéesaux résultats par objectif dans le nouveau cadre etqu’il s’efforcera de tenir davantage de consultations

5 3

avec les bénéficiaires dans le pays. Ils ont égalementindiqué que, si l’OED et la direction conviennentd’un système de notation adapté aux rapportsd’achèvement des CAS, les notations des CAEdisparaîtront vraisemblablement peu à peu.

Principales conclusions et mesures àprendre. Les membres ont approuvé de manièregénérale les conclusions de la rétrospective desCAE et les modifications qu’il est suggéré d’apporterau cadre des évaluations. Ils ont insisté surl’importance du rôle que jouent les CAE dans laformulation du cycle des stratégies d’aide-pays quileur font suite et dans le cadre de l’examen des CASpar le Conseil. Ils ont toutefois également noté quedes progrès restent à faire et ont soulignél’importance que revêt l’adhésion du pays,l’engagement systématique du client et unemeilleure compréhension des conditions envigueur dans un pays particulier aux fins de laproduction de rapports d’évaluation de l’aide auxpays crédibles.

Plusieurs points particuliers ont été évoqués parles membres du Sous-Comité :

Leçons tirées de l’expérience. Les membresse sont accordés à reconnaître que les CAE brossentun tableau plus complet que les évaluations parprojets et ont souligné l’importance que revêtl’adhésion du pays et une bonne compréhensiondes aspects complexes de son économie politique àcet égard.

Certains membres se sont déclarés préoccupéspar le fait que, selon le rapport, les administrateursjugent l’instrument de la CAE plus utile que lesservices de la Banque. Les représentants de l’OEDont répondu que, pour autant que le départementsoit prêt à dialoguer, il est courant que les opinionsrelatives à un processus d’évaluation diffèrentselon les parties prenantes. Ils ont égalementajouté que, malgré ces divergences, la demande

PIÈCE JOINTE 1 : RÉCAPITULATION DES ENTRETIENS, SOUS-COMITÉ DU CODE

d’évaluations de l’OED de portée nationaleémanant des services opérationnels est en hausse.

Certains membres estiment que les CAE devraientégalement prendre en compte l’efficacité de l’aideau développement fournie par d’autres bailleursde fonds. Ils ont toutefois reconnu la difficulté quepose l’évaluation et l’attribution des contributionsdes différentes parties à des projets communs.Un des membres a demandé quelle démarche(attribution ou contribution) était la mieux adaptée àl’évaluation des impacts. Les représentants de l’OEDont reconnu qu’il est difficile de déterminer lacontribution personnelle de chaque partie maisont fait valoir qu’il convenait néanmoins des’efforcer de le faire pour établir la relation entreles résultats et les contributions des différentsbailleurs de fonds. Sinon, on pourrait douter de lajustification de l’intervention de chaque bailleur defonds. Dans le cas des efforts menés en complèteassociation, tels que les opérations de financementpar la mise en commun de l’aide, il n’est possibled’attribuer les résultats qu’à toutes les partiesconfondues.

Renforcement de l’instrument que constituela CAE. Les membres ont approuvé le cadre révisédes évaluations par pays et ont insisté surl’importance cruciale que revêt le calendrier de leursoumission qui devrait, dans l’idéal, précéder de sixà neuf mois la présentation de la CAS. Ils ont notéqu’il fallait s’assurer que les CAS tiennent biencompte des CAE qui les précédaient et que les deuxtypes de rapports devaient être basés sur les résultats.

Certains membres ont déclaré qu’ils souhaitaientvivement que les conclusions d’autres instrumentstels que les évaluations de la politique et desinstitutions nationales (CPIA) et les enquêtes sur leclimat des affaires soient incorporées dans les CAE.Les représentants de l’OED ont répondu que pouraussi utile que la CPIA puisse être, elle n’a pasnécessairement de rapport direct avec les notationsdes CAE.

Les membres ont insisté sur l’importanced’attribuer des ressources suffisantes à lapréparation des CAE, notamment en s’assurant laparticipation de membres des services de laBanque connaissant bien la situation particulièredu pays considéré. Un membre a noté que lemaintien de contacts avec le client pendant toute ladurée du processus des CAE contribuerait

5 4


largement à renforcer les capacités locales. Lesreprésentants de l’OED ont répondu que ledépartement a recours à des panels d’experts et àdes examens par les pairs pour renforcer la qualitéde ses travaux et étudie actuellement les moyensde faire davantage participer les équipes-pays et lesclients à divers stades de l’évaluation.

Risques. Un membre a souligné à quel point ilest important de procéder à une analyseapprofondie des risques (y compris un examendétaillé des antécédents par opposition auxdéclarations d’intention) avant d’entreprendre lapréparation d’une CAS. Procéder de la sortepourrait contribuer à accroître l’efficacité au plandes coûts des travaux et libérer des ressources àd’autres fins lorsque les conditions qui règnentdans le pays ne permettent pas de justifier lapréparation d’une CAS complète. Un autremembre a noté que certaines recommandationsdu rapport pourraient encourager les équipes-pays à adopter une attitude d’aversion au risquealors que dans certains cas, en particulier en« phase de redressement », la Banque devrait êtreprête à prendre des risques pour susciter desprogrès. Les représentants de l’OED ont réponduqu’il était important de prendre des mesuresd’atténuation des risques adéquates pour éviterl’accumulation de dettes improductives, dont lefardeau retomberait en fin de compte sur lesemprunteurs, et que, en phase de redressement,le financement de la Banque devrait êtresoigneusement calibré en fonction des progrèsaccomplis dans le cadre de l’exécution desréformes.

Coordination des bailleurs de fonds. Certainsmembres estiment que le rapport aurait dû couvrir laquestion de la coordination des bailleurs de fonds,de l’harmonisation des procédures et de l’avantagecomparatif que possède la Banque vis-à-vis d’autresbailleurs de fonds. Les représentants de l’OED ontrépondu que le rapport visait à déterminerl’efficacité avec laquelle la Banque aide les pays àprendre eux-mêmes la direction des opérationsplutôt qu’à examiner la coordination des activitésdes bailleurs de fonds en tant que telle, et que ledépartement n’évaluait pas l’aide fournie pard’autres bailleurs de fond. L’OED a abordé laquestion de la coordination des bailleurs de fondsdans ses évaluations du processus de la stratégie de

réduction de la pauvreté (SRP), du cadre dedéveloppement intégré (CDI) et d’un rapportd’évaluation consacré à ce sujet particulier.

Échantillon de pays. Certains membres ontnoté que l’échantillon de CAE retenu comptait peude pays de petite taille ou de pays à faible revenuen difficulté (LICUS) et ont demandé si l’objectivitédes conclusions ultimes du rapport pourrait enavoir souffert. Les représentants de l’OED ontrépondu que la sélection des pays faisant l’objet

PIÈCE JOINTE 1 : RÉCAPITULATION DES ENTRETIENS, SOUS-COMITÉ DU CODE

5 5

d’une CAE est souvent déterminée par lapréparation d’une CAS, de sorte que de nombreuxÉtats « fragiles » et LICUS, pour lesquels la Banquea recours à d’autres instruments, tels que lesstratégies d’appui transitoire (TSS) et les notes destratégie intérimaire (ISN), ne sont souvent paspris en considération. Ils ont indiqué que l’OEDcontinuait de prêter une attention suffisante auxpetits États et a entrepris de préparer uneévaluation des LICUS.

1. Se reporter à l’annexe A pour une brève

description de la méthodologie des CAE suivie

par l’OED. (Cette description est également

disponible sur le site web de l’OED à l’adresse

http://www.worldbank.org/oed/oed_cae_methodology.

html.)

2. La liste des évaluations de l’aide-pays qui sont

achevées figure à l’annexe B.

3. L’OED a, dans le passé, distillé les leçons tirées des

CAE. L’Examen annuel de l’efficacité du développement

(ARDE) tire les leçons des CAE les plus récentes qui

étaient achevées lors de la préparation de cet examen.

En 2002, les enseignements tirés de l’expérience dans

quatre pays africains ont été analysés dans le cadre d’un

atelier organisé par la Région Afrique. La même année,

l’OED a préparé à l’intention du Comité sur l’efficacité

du développement une note intitulée « Lessons for Low-

Income Countries Under Stress » sur les leçons dont

pourraient profiter les pays à faible revenu en difficulté

(LICUS) et les pays qui se trouvent dans une situation

similaire. En 2003, les leçons tirées des évaluations des

pays en transition ont été regroupées aux fins de l’étude

consacrée par l’OED à ces économies.

4. Dans un grand nombre de ces pays, la stabilisation

macroéconomique a été compromise par les

insuffisances de la collecte des revenus, qui tenaient

elles-mêmes aux carences de l’administration fiscale et

douanière. L’intermédiation financière a souffert de la

longue période de temps nécessaire pour mettre en

place un système de paiement efficace, et les banques

qui venaient d’être privatisées n’avaient pas les capacités

requises pour prendre des décisions en matière de

crédit commercial. Les banques centrales ne disposent

pas des capacités voulues pour réglementer les banques.

Le développement du secteur privé est entravé par le fait

que l’appareil judiciaire n’est souvent pas en mesure de

faire respecter les lois essentielles au développement du

secteur privé, et notamment les droits de propriété

privée, les droits des créanciers, la législation des

faillites, la législation antimonopole, etc.

5 7

5. La Banque a mis au point de nouveaux

instruments — le prêt programmatique d’ajustement, le

prêt à des programmes évolutifs (APL) et le prêt au

développement des connaissances et à l’innovation

(LIL) — pour appuyer les réformes faisant intervenir un

long processus d’apprentissage, qui semblent bien

adaptés à la situation dans certains pays.

6. On peut citer par exemple, le renforcement du

secrétariat d’État à l’éducation, la mise en place de

systèmes d’information et d’évaluation pour

l’enseignement primaire, et l’imposition de critères

opérationnels minima dans toutes les écoles

brésiliennes ; la formulation d’un cadre juridique et

réglementaire, des droits de prospection et de mise en

valeur, et des réglementations environnementales au

Pérou ; l’adoption d’un contrat de gestion privée basée

sur les résultats pour l’approvisionnement en eau en

Jordanie ; le renforcement de la direction générale des

routes au Guatemala ; le renforcement des capacités du

ministère des finances et de la banque centrale en

Mongolie ; la constitution des capacités administratives

pour ajuster les tarifs des services d’utilité publique,

assurer les encaissements et suivre les résultats en

Russie ; et le renforcement du ministère de l’Agriculture

en Zambie.

7. Les interventions de la Banque dans les secteurs

de la santé, de l’éducation et de l’infrastructure ont

donné des résultats relativement satisfaisants au Brésil

parce que le gouvernement avait clairement placé

l’enseignement primaire, la santé et l’infrastructure

parmi ses priorités de développement. En revanche, au

Maroc, le gouvernement n’a toujours pas défini de

priorités ou un programme d’exécution bien précis dans

le secteur de l’éducation. Deux projets d’éducation, clos

au cours des dernières années, se sont soldés par des

résultats insatisfaisants et ont eu un impact institutionnel

négligeable.

8. L’examen de l’IDA par l’OED et l’ARDE 2003 ont

permis d’établir que le lien entre la performance

institutionnelle et les politiques nationales, d’une part,

NOTES DE RENVOI

et les niveaux de financement, d’autre part, s’était

resserré. Selon une rétrospective des prêts d’ajustement,

au cours des dernières années, la plupart — mais non la

totalité — des prêts d’ajustement ont été accordés à des

pays dont les politiques publiques ont donné des

résultats supérieurs à la moyenne dans les secteurs pour

lesquels les données nécessaires étaient disponibles.

9. En Zambie, la suspension des décaissements

jusqu’à la satisfaction des conditions préalables aurait

probablement permis de donner plus rapidement la

priorité aux questions de gouvernance, de réforme

structurelle et d’annulation de la dette. Au Zimbabwe, la

Banque aurait pu faire comprendre clairement sa

position aux dirigeants du pays si elle avait exigé que les

réformes soient engagées entre 1997 et 2000 au lieu de

se contenter de simples manifestations de bonnes

intentions. En Russie, bien que le recentrage de l’action

de la Banque sur des prêts à l’appui de politique en

1996-1997 ait été motivé par le désir de s’attaquer aux

questions de réforme systémique, les autorités russes en

ont déduit que la communauté internationale continuerait

de leur accorder des financements pour des raisons

géopolitiques, quels que soient les dérapages et les

hésitations qui pourraient caractériser l’adoption du

programme de réformes.

10. Par exemple, la stratégie formulée en 1993 pour

le Paraguay par la Banque était basée sur une évaluation

trop optimiste des possibilités de réforme et des

capacités d’exécution de ce pays étant donné ses piètres

antécédents dans ce domaine. Au Zimbabwe, les stratégies

ont surestimé la réceptivité du gouvernement et la mesure

dans laquelle il était déterminé à entreprendre des

réformes des organismes paraétatiques et de la fonction

publique. En Haïti, la stratégie de 1996 n’a, à tort, pas

pris en compte les obstacles opposés à la réalisation des

objectifs par les problèmes qui continuaient de se poser

au niveau de l’action publique et de la gouvernance et

qui ont compromis les efforts déployés pour promouvoir le

développement économique. Au Lesotho, malgré les

leçons qu’elle aurait pu tirer de l’évolution de la

situation après les élections de 1993, la Banque a fait

preuve de trop d’optimisme en supposant qu’il serait

possible d’instaurer la stabilité et de lancer le processus

de stabilisation rapidement après les élections de mai

1998. La stratégie de la Banque ne prévoyait donc aucun

plan de rechange au cas où le processus de

démocratisation déraperait totalement, comme il l’a fait.

11. Au Kenya, par exemple, la constitution d’une

équipe pour gérer les changements en juillet 1999 et la

mise en œuvre des réformes de gouvernance et de

politique économique formulées de longue date ont été

récompensées par un prêt d’ajustement alors que les

conditions nécessaires à l’obtention d’un tel appui,

comme indiqué dans la stratégie établie pour le pays en

1998, n’étaient qu’en partie remplies. En Zambie,

l’optimisme exagéré dont il a été fait preuve a débouché

sur l’imposition de conditions au titre du prêt

d’ajustement qui étaient moins axées sur l’obtention de

résultats et étaient formulées de manière peu précise.

Au Maroc, la Banque a fourni un prêt à l’appui de la

réforme de l’action publique vers la fin des années 90

pour récompenser l’évolution du pays en direction d’un

système politique ouvert et sa détermination à

poursuivre des réformes. Le prêt était trop peu ciblé

pour avoir un important impact sur l’une quelconque

des réformes essentielles identifiées dans la stratégie du

pays. Un grand nombre des mesures prises par la

Banque avant la présentation au Conseil n’étaient que

des premières étapes, parfois même de simples études

ou plans, et de nombreuses autres mesures n’ont pas

produit de résultats concrets.

12. L’évaluation par l’OED de l’Initiative en faveur

des pays pauvres très endettés (PTTE) a déterminé que

des projections de croissance irréalistes débouchaient

sur des problèmes d’endettement.

13. Le document du Comité d’évaluation du CAD de

l’OCDE intitulé « Best Practice in Country Program

Evaluation » décrit les efforts initiaux déployés pour faire

converger les méthodologies des bailleurs d’aide.

14. Voir OED 2002, page 28.

15. Aucun document de stratégie n’a été préparé

pour le Lesotho, le Zimbabwe ou l’Érythrée.

16. Se reporter à l’annexe D pour une analyse

complète de cet examen.

17. L’annexe A décrit de manière détaillée la

méthodologie actuelle des CAE.

18. Voir l’annexe F.

19. L’annexe A décrit et définit de manière détaillée

les notations des CAE.

20. Le terme « programme d’aide » désigne les

produits et services générés à l’appui du développement

économique d’un pays client sur une période de temps

particulière, et le terme « client » désigne le pays qui tire

profit de ce programme.

5 8


OECD (Organisation for Economic Co-opera-tion and Development), DAC Committee onEvaluation. 2004. “Best Practice in CountryProgram Evaluation.” Paris.

OED. 2004a. 2003 Annual Review of Develop-

ment Effectiveness: The Effectiveness of

Bank Support for Policy Reform. Washing-ton : Banque mondiale.

———. 2004b. Economies in Transition: An

OED Evaluation of World Bank Assistance.

Washington : Banque mondiale.

5 9

———. 2003. Debt Relief for the Poorest: An

OED Review of the HIPC Initiative. Wash-ington : Banque mondiale.

———. 2002. 2002 Annual Report on Opera-

tions Evaluation. Washington : Banquemondiale.

———. 1999. 1999 Annual Review of Develop-

ment Effectiveness. Washington : Banquemondiale.

BIBLIOGRAPHIE

BANQUE MONDIALE DÉPARTEMENT DE L’ÉVALUATION DES...

Documents

Transcript of BANQUE MONDIALE DÉPARTEMENT DE L’ÉVALUATION DES...