IDEVidev.afdb.org/sites/default/files/documents/files/Quality... · 2019-09-17 · Membre de...

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Évaluation de la qualité de la supervision

et de la clôture des opérations du Groupe de la Banque africaine de développement (2012–2017)

Rapport de synthèse

Octobre 2018

Les différents produits qui servent à atteindre les trois objectifs de l’évaluation indépendante

Évaluation thématique Évaluation groupée de projets

Évaluation de stratégie d’intégration

régionale

Validation et évaluation de projets

individuels (

secteur p

ublic)Évaluation d’impact

Validation et évaluation de projets

individuels (secteur privé)

Éval

uatio

n de

stra

tégi

e pa

ys

Synthèse d’évaluation

Évaluation institutionnelle

Éval

uatio

n se

ctor

ielle

Évaluation institutionnelle

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Évaluation de la qualité de la supervision

et de la clôture des opérations du Groupe de la Banque africaine de développement (2012–2017)

Rapport de synthèse

Octobre 2018

REMERCIEMENTS

Chef de projet Akua Arthur-Kissi, Chargée d’évaluation senior

Membre de l’équipe Armand Eric Olaniran Yaï, Consultant junior

Consultant(s) Lattanzio Spi, ItalieCharlotte Vaillant, Chef d'équipe

Pair évaluateur interne Monica Lomena-Gelis, Chargée principale d'évaluation

Pair évaluateur externe Amnon Golan, Consultant indépendant

Groupe de référence interne de la Banque Themba Bhebhe, Malek Bouzgarrou, Mbarack Diop, Jalel El Faleh, Ousmane Fall, Kader Abdou Gueye, Helmi Hmaidi, Hussein Yusuf Iman, Penelope Jackson, Patience Kuruneri, Motselisi Lebesa, Samuel Ekue Mivedor, Simon Mizrahi, Jose J. Morte Molina, Armand Nzeyimana, Eva Joy Ruganzu, Richard Schiere, Mamadou Tangara, Thouraya Triki et Erwin Wiss

Chargés de la gestion des connaissances Jacqueline Nyagahima, Chargée principale de gestion des connaissances et Aminata Kouma, Consultante junior

Autres appuis fournis par Anasthasie Blandine Gomez Sokoba, Assistante d'équipeEmillia Iwuagwu Yeye Agwajinma, Assistante d'équipe

Remerciements spéciaux à IDEV voudrait remercier tous les chefs de projet, bureaux pays, responsables gouvernementaux et autres parties prenantes qui ont été interrogés, ont répondu ou ont pris part aux entretiens.

Chef de division Madhusoodhanan Mampuzhasseril (Par intérim)

Évaluateur général Rakesh Nangia (retraité) et Karen Rot-Münstermann (Par intérim)

© 2018 Groupe de la Banque africaine de développement Tous droits réservés – Publié en Octobre 2018

Évaluation de la qualité de la supervision et de la clôture des opérations du Groupe de la Banque africaine de développement (2012–2017) – Rapport de synthèse Une évaluation institutionnelle IDEV, Octobre 2018

Exclusion de responsabilitéSauf indication contraire expresse, les constatations, interprétations et conclusions exprimées dans cette publication sont celles de ses divers auteurs et ne correspondent pas nécessairement aux vues de la direction de la Banque africaine de développement (la « Banque ») et du Fonds africain de développement (le « Fonds »), de leurs Conseils d’administration, Conseils des gouverneurs ou des pays qu’ils représentent.

Le lecteur consulte cette publication à ses seuls risques. Le contenu de cette publication est présenté sans aucune sorte de garantie, ni expresse ni implicite, notamment en ce qui concerne la qualité marchande de l’information, son utilité à telle ou telle fin et la non-violation de droits de tierce-parties. En particulier, la Banque n’offre aucune garantie et ne fait aucune déclaration quant à l’exactitude, l’exhaustivité, la fiabilité ou le caractère « actualisé » des éléments du contenu. La Banque ne peut, en aucun cas, notamment en cas de négligence, être tenue pour responsable d’un préjudice ou dommage, d’une obligation ou d’une dépense dont on ferait valoir qu’ils sont consécutifs à l’utilisation de cette publication ou au recours à son contenu.

Cette publication peut contenir des avis, opinions et déclarations provenant de diverses sources d’information et fournisseurs de contenu. La Banque n’affirme ni ne se porte garante de l’exactitude, l’exhaustivité, la fiabilité ou le caractère « à jour » d’aucun d’entre eux ni d’aucun autre élément d’information provenant d’une source d’information quelconque ou d’un fournisseur de contenu, ni d’une autre personne ou entité quelle qu’elle soit. Le lecteur s’en sert à ses propres risques.

À propos de la BADLe Groupe de la Banque africaine de développement a pour objectif premier de faire reculer la pauvreté dans ses pays membres régionaux en contribuant à leur développement économique durable et à leur progrès social. À cet effet, il mobilise des ressources pour promouvoir l’investissement dans ces pays et leur fournit une assistance technique ainsi que des conseils sur les politiques à mettre en œuvre.

À propos de l'Évaluation Indépendante du Développement (IDEV)L’évaluation indépendante du développement a pour mission de renforcer l’efficacité des initiatives de développement de la Banque dans ses pays membres régionaux par l’exécution d’évaluations indépendantes et influentes et par des partenariats pour l’échange de connaissances.

Évaluation indépendante du développement (IDEV)Groupe de la Banque africaine de développementAvenue Joseph Anoma 01 BP 1387, Abidjan 01 Côte d’IvoireTél : +225 20 26 20 41Courriel : [email protected]

Conception graphique : CRÉON – www.creondesign.net

iii

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Table des matièresSigles et abréviations vRésumé analytique 1Réponse de la Direction 7

Introduction et principaux concepts 25Introduction 25Les concepts de supervision et d’achèvement de projet 29

Évolution du cadre de supervision de la Banque 33Dans quelle mesure la Banque a-t-elle donné suite aux recommandations issues des revues antérieures ? 33

Pertinence du cadre de supervision de la Banque : faisons-nous ce qu’il faut ? 35Pertinence des politiques et directives en matière de supervision 35Dispositions institutionnelles 38

Conformité et efficacité de la supervision 41Faisons-nous les choses correctement et selon de bonnes normes de qualité ? 41Respect de la politique et des procédures en matière de supervision des projets 41Efficience 47

La performance : comment la supervision de la Banque est-elle mise en œuvre dans ce contexte ? 51Évaluation de la performance 51Qualité à l’achèvement 56La qualité de la supervision des projets contribue-t-elle à la qualité de la mise en œuvre ? 59Comment assurer et maintenir un système de supervision approprié à la Banque ? 61

Conclusions et recommandations 65Conclusions 65Recommandations 68

Annexes 71

Table des matières

Liste des figuresFigure 1 Cadre d’analyse de l’évaluation 26Figure 2 Évolution des efforts de la Banque pour l’amélioration de la qualité de supervision

des projets 33Figure 3 Le BTOR, l’aide-mémoire, le rapport de supervision apportent une valeur ajoutée

aux rapports sur l’état d’avancement et les principaux enjeux 37Figure 4 Opinion sur l’utilisation de la RMP pour le suivi des actions correctives

et recommandations 45Figure 5 Validation des REE/IPR par an (%) 45Figure 6 Catégorie de performance de la mise en œuvre ayant obtenu une note faible (%) 51Figure 7 Évaluation de la qualité du suivi des résultats des projets pour les opérations

du secteur public 52Figure 8 Qualité du suivi des projets et des rapports pour les opérations du secteur privé 53Figure 9 Notation de la performance dans le cadre de l’évaluation de la proactivité 54Figure 10 Évaluation de la qualité des rapports sur les opérations du secteur public 55Figure 11 Qualité des enseignements pour les échantillons de 2014 et 2015 59Figure 12 « J’ai reçu une formation suffisante en interne pour jouer un rôle efficace pendant

la supervision du projet » 63Figure 13 « J’ai reçu une formation suffisante en interne pour jouer un rôle efficace pendant

l’achèvement du projet » 63

Liste des tableauxTableau 1 Importance de l’accent mis sur le risque dans la supervision de l’échantillon (83) pour

les opérations du secteur public 43Tableau 2 budget et coût de la gestion du portefeuille sur la période 2015-2017 (UC) 48Tableau 3 Rendement comparatif : gains de temps pour les opérations privées et publiques 48Tableau 4 Performance comparative : gain de temps pour les opérations du secteur privé 49Tableau 5 Facteurs défavorables et favorables influant sur la performance de la supervision

de la Banque 60Tableau 6 Répartition de la charge de travail par chef de projet (à l’échelle de la Banque) 62

Liste des encadrésEncadré 1 Aperçu du mécanisme de supervision de la Banque 30Encadré 2 Supervision des aspects liés aux sauvegardes environnementales et sociales (ESS) 36

vSigles et abréviations

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Sigles et abréviations

AT Assistance technique

BAD Groupe de la Banque Africaine de Développement

BERD Banque Européenne pour la Reconstruction et le Développement

BID Banque Interaméricaine de Développement

BMD Banque multilatérale de développement

CEP Cellule d’exécution de projet

CMR Cadre de Mesure des Résultats

DBDM Modèle de Développement et de Prestation de Services

DSP Document de Stratégie Pays

EGRD Évaluation globale des résultats en matière de développement

ESPP Évaluation de la stratégie et programme pays

FAD Fonds africain de développement

FIDA Fonds International de Développement Agricole

FMI Fonds monétaire international

GFP Gestion des finances publiques

IDEV Évaluation Indépendante du Développement

KPI Indicateur de performance clé

LdC Ligne de crédit

MCC Millennium Challenge Corporation

PEES Procédures d’évaluation environnementale et sociale

PRI Pays à revenu intermédiaire

PPP Partenariat public-privé

RAP Rapport d’Achèvement de Projet

REE Rapport sur l’état d’avancement de l’exécution

REP Rapport d’Evaluation de Projet

RPPP Rapport de performance de portefeuille pays

S-E Suivi et évaluation

SFI Société financière internationale

SNOQ Département du Secrétariat du Comité des opérations et Contrôle de la qualité

SNSC Département de la sauvegarde et de la conformité

SOU Unité des opérations spéciales

UC Unité de compte

XSR Rapport de supervision élargi

Phot

o: ©

BAD

1Résumé analytique

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Résumé analytique

Historique et contexte

Le présent rapport expose un résumé des principales conclusions et recommandations de l’évaluation indépendante de la qualité des processus de supervision et de clôture (sortie) des opérations du Groupe de la Banque Africaine de Développement (BAD ou « la Banque ») de 2012 à 2017. Le rapport met en évidence les domaines prioritaires à examiner par la Direction de la Banque et le Conseil, en vue d’améliorer la qualité de la supervision et de la clôture des projets. L’évaluation a pour objet de remplir le mandat de redevabilité de la Banque et de contribuer aux échanges de vues sur la performance opérationnelle, en déterminant les domaines d’apprentissage et les domaines à améliorer. L’évaluation vise à fournir des données probantes sur la qualité de la supervision des projets, pour enrichir la discussion globale sur le contrôle qualité des opérations de la Banque, à l’occasion de la revue à mi-parcours du FAD-14 prévue en octobre 2018.

Conception et méthodologie de l’évaluation

L’évaluation se fonde sur un modèle conceptuel théorique. Cette théorie du changement remodelée pour la supervision et la clôture des projets de la Banque tire parti de l’actuel Manuel des opérations.

L’équipe d’évaluation a utilisé les méthodes d’analyse qualitative des données pour procéder à un examen exhaustif des documents de projet. Elle a effectué un examen qualitatif des processus de 83 projets du secteur public et 38 projets du secteur privé. Des experts externes ont ensuite procédé à un examen qualitatif sur dossier et à la validation d’un sous-échantillon de 45 projets du secteur public et 22 projets du secteur privé. Ceci a été recoupé par

les réponses reçues lors de nombreux entretiens, une enquête en ligne auprès du personnel et cinq visites dans les pays. L’équipe a en outre utilisé des données d’une analyse de cas pays, ainsi qu’une analyse spécifique des risques environnementaux et sociaux pour un sous-échantillon de projets à plus fort impact (catégories 1, 2 et 4), réalisée dans le cadre des évaluations d’IDEV en cours.

L’analyse de la qualité à la sortie était limitée dans sa portée, car elle est couverte en détail par une évaluation en cours d’IDEV des systèmes d’auto-évaluation de la Banque, et en raison des contraintes de temps et de ressources. L’analyse a donc porté sur les aspects procéduraux de la qualité à la sortie et évalué deux domaines de performance essentiels signalés par les évaluations antérieures comme insatisfaisants pour la performance des Rapports d’achèvement de projet (RAP). L’équipe d’évaluation s’est attachée à déterminer dans quelle mesure les risques pour la viabilité ont été abordés dans les RAP, et la qualité des enseignements tirés. Elle a examiné un échantillon de 14 RAP disponibles dans l’échantillon de l’évaluation de 83 opérations du secteur public et 12 Rapports de supervision élargis (XSR) de l’échantillon des opérations du secteur privé.

Évolution du cadre de supervision de la Banque

À l’image d’autres BMD, la supervision à la Banque a fait l’objet de plusieurs réformes. En 2012, la Banque a approuvé de nouvelles initiatives visant à améliorer le cadre de contrôle qualité et orienter le suivi de l’exécution. Les outils et les directives d’établissement de rapports pour le suivi du portefeuille du secteur privé, la supervision des projets du secteur public et l’achèvement ont été révisés conformément aux pratiques d’autres BMD. Le contrôle qualité a été

2 Évaluation de la qualité de la supervision et de la clôture des opérations du Groupe de la Banque africaine de développement (2012–2017) – Rapport de synthèse

renforcé davantage par la mise en place d’une cellule distincte pour surveiller la performance (2015), ainsi que d’un système de tableau de bord amélioré pour surveiller la performance du portefeuille et en rendre compte. D’autres initiatives consistent notamment à introduire dans les rapports institutionnels des indicateurs de performance clés, qui permettent de suivre l’état d’avancement de la supervision de projets et du portefeuille de la Banque, ainsi qu’un suivi plus étroit de la part de la haute direction par le biais de réunions mensuelles sur la situation des opérations. Pour les opérations du secteur privé, la Banque a mis en place un système d’établissement de rapports axé sur les résultats, ciblant la capacité des opérations d’investissement et des opérations financières à produire des résultats en matière de développement et à en rendre compte de façon appropriée, une lacune essentielle qui avait été mise en évidence par les évaluations précédentes. Toutefois, des difficultés persistent concernant le respect des normes et la responsabilité en matière de qualité.

Le suivi du portefeuille a depuis lors évolué, suite à la restructuration du suivi par le tableau de bord et son recentrage pour garantir l’efficacité du processus et attirer l’attention de la direction sur les problèmes posés par les projets. L’exécution des projets par la Banque a depuis lors enregistré quelques résultats en matière de performance, à la faveur des efforts déployés récemment pour maintenir des niveaux raisonnables de projets vieillissants et de projets à risque. Par exemple, les projets à risque sont passés de 19 % en 2013 à 11,8 % à la fin de 2017, avec des économies de temps de traitement comparables à celles des institutions sœurs. Cependant, la supervision des projets a encore beaucoup de chemin à faire pour obtenir des résultats optimums à la Banque.

La Banque est perçue comme s’efforçant de le faire et d’être sur un pied d’égalité avec les institutions de référence, mais elle devra adapter son approche en matière de supervision aux nouvelles réalités et exigences afin de maintenir la qualité et les résultats.

La transformation en cours, dans le cadre du nouveau DBDM depuis 2016, devrait améliorer la supervision

des projets relevant des opérations souveraines comme non souveraines. Les mesures porteuses de transformation comprennent la décentralisation accélérée pour rapprocher la Banque de ses clients et la restructuration des opérations du secteur privé.

Constatations

Les politiques et directives de supervision de la Banque, telles qu’elles ont été formulées de 2012 à 2017, ont été jugées en grande partie pertinentes et précises. Le niveau d’alignement sur les bonnes pratiques et les institutions de référence s’est amélioré grâce aux réformes récentes, notamment les mises à jour des outils d’établissement de rapports et les progrès sensibles mettant l’accent sur la gestion des sauvegardes environnementales et sociales. Toutefois, ces progrès sont marqués par une absence manifeste des détails nécessaires et des directives spéciales concernant les différents types d’opération de la Banque pour promouvoir l’efficacité opérationnelle, plus particulièrement pour la supervision des opérations multinationales et multidonateurs et des opérations dans les situations de fragilité. Les directives des institutions de référence (MCC, BID) comprennent des détails pertinents par type de projet et secteur, ce qui est absent dans les directives opérationnelles de la Banque. Cette question a été soulevée par plus de la moitié des 92 membres du personnel des opérations interrogés.

Les outils sont jugés pertinents, mais leur complémentarité doit être renforcée. En effet, certains outils font l’objet de double emploi et apportent une valeur ajoutée limitée, d’après les résultats des examens de dossier et des réponses des chefs de projet. Dans le cas des opérations du secteur privé, l’équipe d’évaluation a remarqué que les comptes rendus de retour de mission, les rapports sur l’état d’avancement de l’exécution de projet et les rapports de supervision annuels avaient presque le même contenu, mais à des niveaux de détail différents. Ceci va à l’encontre de l’objectif de ces outils de fournir des informations complémentaires.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Cette situation confirme la nécessité d’une plateforme intégrée pour l’information sur les projets.

La Banque a du mal à promouvoir des dispositions institutionnelles appropriées pour mettre en œuvre une culture des résultats et de la qualité. Il s’agit, entre autres, des incitations à mettre en place pour susciter ce changement de culture. En 2016, la Direction s’est engagée à travailler sur la structure d’incitations en réponse aux recommandations de CEDR d’IDEV. L’évaluation a cependant constaté que la structure mérite encore de l’attention. L’approche en matière de décentralisation, qui a été améliorée récemment, nécessitera de nouvelles orientations pour garantir une compréhension commune des nouveaux rôles et responsabilités, en particulier pour les chefs de bureau pays, les chefs de division sectoriels et les chargés de programme pays, en vue d’institutionnaliser leur performance dans le cadre des supervisions continues1.

Les chefs de projet sont responsables de sa supervision avec l’appui des autres membres de l’équipe, dans le cadre des dispositions existantes de supervision. Il est nécessaire de renforcer l’articulation entre les besoins de l’équipe pour faire en sorte que les autres membres des missions de supervision de projet demeurent responsables après l’approbation. Près de la moitié des personnes interrogées (personnel des opérations) ont déclaré avoir reçu un appui limité d’autres membres pour la supervision de projets.

En ce qui concerne les opérations du secteur privé, les alertes précoces utilisées, avec la participation de l’équipe de suivi du risque de crédit, sont jugées pertinentes. De même, le redoublement d’efforts pour inclure des mesures correctives pour les opérations en difficulté, par l’introduction de l’Unité des opérations spéciales (SOU), est également jugé important pour la performance des projets et du portefeuille. La gestion des risques représente une partie importante de la gestion des résultats et est alignée sur la détermination de la Banque à renforcer la supervision.

La Banque cherche à intégrer la gestion des risques dans ses outils d’établissement de rapports sur le suivi de projets et du portefeuille. Certes, ces changements sont alignés sur les bonnes pratiques, mais l’équipe d’évaluation a trouvé que les instruments actuels et la capacité de suivre les risques des projets, d’en rendre compte et d’y faire convenablement face ne sont pas optimums, au regard des problèmes persistants concernant le respect des normes et la qualité relevés dans les examens des processus et des documents de projet.

L’absence d’un système de données intégré pour gérer les opérations a été relevée par 57 % des personnes interrogées. Ce constat est en rapport avec les résultats similaires des examens récents2. Certaines institutions de référence, comme la BID et la BERD3, ont fait des progrès sur cette question en adoptant récemment des réformes pour améliorer le suivi axé sur les risques et la capacité d’établissement de rapports pour les résultats.

Des améliorations sont nécessaires dans plusieurs domaines pour se conformer aux critères de qualité et aux normes pour les supervisions du secteur public comme du secteur privé en vue de garantir la réalisation des objectifs de la supervision. Plusieurs lacunes ont été relevées dans l’alignement sur les domaines stratégiques auxquels la Banque accorde la priorité, notamment le genre et la fragilité. Par exemple, en dépit des efforts consistant à mettre l’accent sur les questions environnementales et de sauvegarde, l’établissement des rapports sur ces questions, par le biais de la supervision régulière au niveau du projet, est encore faible du point de vue de l’information communiquée, conformément aux directives.

L’évaluation a jugé louables les changements récents visant à améliorer l’établissement de rapports par les clients sur les opérations du secteur privé. Cependant, il y a lieu d’améliorer le niveau de conformité du point de vue de la couverture et du contenu des principaux domaines de performance. Depuis 2015, la Banque a renforcé l’exigence d’inclure dans tous les accords de prêt des


indicateurs de résultat en matière de développement et la condition que les clients recueillent les données. Les réalisations partielles du point de vue de l’établissement de rapports sur les résultats en matière de développement sont constatées dans certaines opérations non financières, dans le cadre des examens de validation sur dossier des projets de l’échantillon. Toutefois, les détails pour justifier les notes doivent être améliorés davantage. Le suivi du secteur privé indique que les risques de crédit et la performance financière retiennent davantage l’attention et sont source de préoccupation, alors que l’établissement de rapports sur les résultats en matière de développement demeure faible.

Une approche d’équipe pour traiter les projets problématiques du secteur privé a été adoptée avec la gestion du risque de crédit. Toutefois, des problèmes de coordination et la communication insuffisante entre les équipes ont été relevés dans les réponses recueillies lors des entretiens. Les consultations avec l’équipe ont aussi confirmé des lacunes dans la transmission des informations importantes entre les chargés du portefeuille, la comptabilité financière et l’équipe de risque de crédit, ce qui ne permet pas de prendre des décisions en temps opportun.

Le niveau d’utilisation d’autres instruments de supervision, au-delà des missions de supervision périodiques, est faible. En particulier, l’utilisation des revues à mi-parcours (RMP) pour évaluer les projets potentiellement à risque et l’état d’avancement pour l’obtention des résultats a été sous-optimale. Seulement 37 % (19 sur 52) des projets qui devaient faire l’objet d’une RMP ont été effectivement examinés. Ceci s’observe même pour les projets qui sont, dès le départ, identifiés comme à risque.

L’analyse des rapports de supervision du secteur public a relevé des lacunes concernant le suivi des recommendations et la résolution des problèmes identifiés dans les délais prévus. Certes, l’examen sur dossier a indiqué un taux de satisfaction de 60 % pour la performance globale en matière

d’identification des problèmes et des mesures correctives pertinentes lors de la supervision, mais il a aussi déterminé que la Banque avait une performance insuffisante concernant le règlement de ces problèmes de manière régulière, le taux de satisfaction n’étant que de 40 % pour ce sous-critère.

Le système d’information de gestion pour les projets à la Banque (système d’information de projets de SAP) n’appuie pas suffisamment les objectifs de suivi axé sur les résultats de l’institution et la production du savoir. Le système ne fournit pas actuellement une plateforme intégrée pour suivre les aspects essentiels des projets tout au long de leur cycle. L’information figurant dans le SAP n’est pas suffisamment fiable pour permettre de suivre en « temps réel » la performance de tous les projets de la Banque (publics et privés) à chaque niveau de la hiérarchie de l’institution. De même, il ne permet pas de suivre et de gérer, durant le cycle de projet, les enseignements tirés des activités de mise en œuvre et à la clôture. Ceci, entre autres, crée des problèmes pour l’accès aux données et la compilation des informations actualisées aux fins d’utilisation par la haute direction, les départements des opérations et les évaluations indépendantes.

La capacité à suivre l’obtention des résultats en matière de développement nécessite la collecte de données appropriées et crédibles lors de la supervision. Pour les opérations du secteur privé, bien que la Banque ait intégré les exigences d’établissement de rapports dans les documents juridiques, un examen des 22 projets a montré que 38 % seulement étaient satisfaisants du point de vue de l’établissement de rapports sur l’objectif de développement. La communication de l’information par les clients sur les résultats en matière de développement a tendance à se fonder uniquement sur les données accessibles et facilement disponibles, comme le nombre d’employés sans lien direct avec les projets financés par la Banque. L’évaluation a trouvé que les projets financiers communiquaient moins bien l’information que les projets non financiers.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Plus particulièrement, les clients financiers se conformaient moins bien que les autres aux exigences d’établissement de rapports sur les objectifs de développement et les questions environnementales et sociales. Sur les 15 projets notés insatisfaisants pour l’établissement des rapports sur les objectifs de développement, huit (53 %) étaient des lignes de crédit.

Les résultats de l’analyse des pays ont montré que les questions contextuelles des pays et la capacité de la cellule d’exécution des projets ont influencé l’avancement de la mise en œuvre. Ceci confirme encore le fait que si la supervision peut améliorer le résultat d’un projet, les réalisations effectives sur le terrain sont en grande partie fonction de la performance des emprunteurs, comme il a été relevé par la moitié des personnes interrogées dans les PMR, dans les services de la Banque et les institutions sœurs.

D’autres analyses d’un examen de la Banque mondiale ont montré que si la supervision contribue à la bonne exécution d’un projet, elle ne concourt pas forcément à l’atteinte des résultats du projet. Cette conclusion a été mise à l’épreuve avec l’échantillon de validation sur dossier, qui a permis d’obtenir un résultat similaire.

L’incapacité de recueillir des informations fiables sur les résultats en matière de développement lors de la supervision affecte également la qualité des rapports de supervision élargis (XSR). Ces rapports se caractérisent par le non-respect des pratiques standard pour déterminer les périodes de maturité, et la différence par rapport aux informations recueillies dans les rapports de supervision précédents.

L’établissement des RAP a des problèmes de ponctualité par rapport à la performance des années passées. La Banque a fait des progrès pour rattraper le retard en 2017, mais il en subsiste dans la validation des RAP par IDEV. L’examen d’un échantillon de RAP validés par IDEV pour 2014 (échantillon de 35 projets) et pour 2015 (55 projets) a indiqué une note satisfaisante

pour la qualité globale des RAP (63 % pour les RAP de 2014 et 73 % pour ceux de 2015). La performance a aussi affiché un taux de différence entre les notations de IDEV et celles des RAP décroissant de 22,5 % en 2014 et 14 % en 2015 même sil convient de souligner que ce constat n’est pas géneralisable.

Les RAP représentent un des principaux outils de communication de l’information et d’apprentissage de la Banque. Cependant, ils ne permettent pas une approche systématique en matière d’enregistrement des leçons, selon plus de la moitié des personnes interrogées. Cette conclusion a été confirmée par un examen des RAP validés récemment, qui a indiqué un taux accru de leçons tirées rejetées et non validées par IDEV, qui est passé de 46 % pour 2014 et 53 % pour 2015.

Dans l’ensemble, la Banque fait des efforts dans les domaines concernés pour améliorer les pratiques de supervision. Une dynamique est engagée en vue de réaliser toutes les conditions nécessaires à la qualité de la mise en œuvre, compte tenu de plusieurs initiatives en cours, y compris l’attention particulière que la haute direction accorde à l’appui et à la performance des projets. Toutefois, cette dynamique devrait s’accompagner des dispositions institutionnelles appropriées et des changements de culture en matière d’attachement collectif aux résultats et à la qualité. Plus particulièrement, les données institutionnelles actuelles indiquent la capacité limitée des effectifs, avec un ratio accru de projet au personnel qui passe de 2,7 projets par chef de projet en 2013 à 3,4 en 2017. Cette situation est aggravée par des sessions de formation insuffisantes pour appuyer et orienter le personnel dans les activités de gestion de projet, comme il a été noté dans les réponses des personnes interrogées qui, à 54 %, ont admis que la formation est effectivement insuffisante.

Suite aux conclusions ci-dessus, qui font écho aux difficultés reconnues et aux réformes subséquentes, l’évaluation propose pour examen les domaines d’amélioration ci-après.


Recommandations

Recommandation 1 – Gestion proactive de projets : Améliorer la gestion des risques et la performance des projets, par des mesures consistant à :

❙ Faire en sorte que la supervision au niveau des projets soit alignée sur le suivi du portefeuille, pour appuyer convenablement les projets problématiques et relever les défis liés à l’exécution des projets et à l’obtention des résultats.

❙ Promouvoir, pour les opérations du secteur public, une approche proactive en matière de supervision de projets en fonction du type de projet et de l’exposition au risque établis au stade d’avant-exécution.

❙ Renforcer, plus précisément en ce qui concerne les opérations du secteur privé, la supervision des projets avec des missions spéciales pour suivre l’établissement de rapports sur les résultats sur la durée de vie des projets.

Recommandation 2 – Respect des règles de la Banque : Veiller au respect des normes de qualité pour la supervision et l’achèvement, par des mesures consistant à :

❙ Renforcer les mécanismes de contrôle de la qualité pour l’établissement des rapports sur la supervision de projets et le suivi post-supervision.

❙ Établir des directives et des critères de performance précis pour la supervision de projets, y compris la différenciation par type d’opération et les profils de pays et de risque.

❙ Effectuer des missions de post-achèvement sur le terrain pour renforcer la valeur ajoutée des Notes de validation d’IDEV et la crédibilité des résultats.

❙ Établir des directives et des critères de performance précis pour les pratiques de suivi et

de supervision dans les bureaux régionaux de la Banque et dans les différents bureaux pays.

❙ Adopter la planification anticipée de l’achèvement de projets par le biais de la dernière mission de supervision, pour garantir des niveaux de ressources appropriés et ameliorer la performance.

❙ Rationnaliser les outils d’établissement de rapports pour réduire les doubles emplois du contenu, le nombre de rapports requis et assurer la différenciation par type d’opération en vue d’optimiser l’utilité.

❙ Mettre en place des mesures visant à relier les indicateurs pour l’assurance qualite de supervision et l’évaluation de la performance des chefs de projet et des chefs de division.

Recommandation 3 – Améliorer la qualité des rapports : Accroître la base de données probantes et la crédébilité des rapports sur les résultats :

❙ Examiner les Rapports d’achèvement de projet par le biais de réunions formelles de validation, en vue de créer un espace pour la contestabilité et la présentation précise des enseignements tirés.

❙ Élaborer un système automatisé de gestion de l’information sur l’ensemble du cycle de projet pour promouvoir l’éthique de responsabilité et améliorer l’efficacité et l’efficience de l’établissement des rapports.

Recommandation 4 – Incitations : Renforcer les mesures d’incitation pour appuyer une culture des résultats et de la qualité, par des mesures consistant à :

❙ Renforcer la responsabilité et l’alignement des incitations par rapport à la supervision.

❙ Renforcer la capacité du personnel participant aux activités de gestion des projets par des programmes de formation et d’acquisition de connaissances.

7Réponse de la Direction

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Réponse de la Direction

La Direction salue les efforts déployés par IDEV pour son évaluation de la qualité à l’entrée (QaE), et de la qualité de la supervision et de la sortie (QoS) des opérations de la BAD, ainsi que pour les enseignements qu’elle en a tirés, qui peuvent améliorer la qualité opérationnelle et l’efficacité de la Banque pour le développement dans le but d’atteindre les objectifs de sa stratégie décennale et les objectifs stratégiques des Top 5. La présente note expose le point de vue de la Direction sur les évaluations et examine leurs conclusions dans le contexte de sa propre évaluation des systèmes de gestion de la qualité de la Banque, évaluation qui a conduit à identifier plusieurs domaines de réformes qui fournissent un cadre pour l’examen des recommandations d'IDEV.

Introduction

La Direction est d’accord avec IDEV sur l’importance de la qualité des opérations à l’entrée et de la qualité de la supervision, et elle souscrit à l’orientation des recommandations. La Direction reconnaît l’importance de rechercher une qualité optimale pour la conception et la supervision des projets, et a pris plusieurs mesures au cours des dernières années pour renforcer cette qualité, certaines en réponse à des évaluations antérieures. L’adoption et la consolidation permanente du nouveau

modèle de développement et de prestation de services (DBDM) ont créé une plateforme qui offre l’opportunité d’améliorer la réactivité de la Banque aux besoins des pays membres régionaux (PMR) et d’assurer que les interventions de la Banque conduisent à de meilleurs résultats pour les PMR.

Les évaluations de la QaE et de la QoS ont été menées dans le cadre du suivi de l’Évaluation globale des résultats de la Banque en matière de développement, réalisée par IDEV en 2016. Dans ce rapport, une synthèse des 14 évaluations de la

Encadré A : Synthèse

La Direction souscrit à l’orientation des recommandations d'IDEV sur la QaE et la QoS. Elle a défini 10 actions prioritaires, dans le cadre du DBDM, qui amélioreront considérablement la qualité et l’impact des opérations de la Banque. Ce sont :

1. Renforcer les compétences du personnel opérationnel.2. Construire une solide réserve de projets pour le développement des activités.3. Accroître les ressources pour la préparation des projets.4. Renforcer le processus d’évaluation pour assurer la qualité des opérations.5. Renforcer l’examen de l’état de préparation et l’évaluation par les pairs, et y affecter des ressources.6. Renforcer la planification et la budgétisation de la préparation et de la supervision des projets.7. Travailler à l’élaboration d’un portail intégré des opérations.8. Soutenir l’état de préparation des emprunteurs et le développement de leurs capacités.9. Passer de la supervision des projets à l’appui à leur mise en œuvre.

10. Intégrer une culture de la qualité.

La Direction élaborera un plan de mise en œuvre détaillé couvrant chacune de ces mesures, qui énoncera des résultats livrables classés par ordre de priorité, d’importance, et assortis d’échéances. La Direction communiquera ce plan au Conseil d’administration avant la fin de l’année.


stratégie et des programmes pays a déterminé que malgré que la qualité des projets au démarrage et la qualité de la supervision sont des critères nécessaires pour obtenir des résultats en matière de développement elles restent relativement faibles.

L’évaluation de la QaE a adopté le concept de « qualité à l’entrée » comme étant la qualité de conception et l’état de préparation à la mise en œuvre d’un projet lorsqu’il entre dans le portefeuille de la Banque. Il importe également de distinguer les différents aspects de la qualité : i) pertinence et approche stratégiques ; ii) qualité de la conception (comprenant les aspects techniques, financiers et économiques ainsi que les aspects fiduciaires et de sauvegarde) ; iii) dispositions institutionnelles et de mise en œuvre, de l’évaluation des risques et du cadre des résultats.

Comme dans les autres banques multilatérales de développement (BMD), pour ce qui est des projets financés par la BAD, l’emprunteur est responsable de la mise en œuvre du projet. D’après le Manuel des opérations de la Banque (2015), la Banque soutient l’emprunteur par le biais de « suivi de la mise en œuvre » : il s’agit « d’un ensemble continu d’activités menées pendant la durée de vie d’un projet, du lancement du projet à son achèvement en passant par les activités courantes de supervision ». Comme d’autres BMD, la BAD s’apprête à redéfinir ces activités de supervision en tant qu’« appui à la mise en œuvre », afin de renforcer la notion de responsabilité première de l’emprunteur dans la mise en œuvre, tandis que la BMD fournit un appui à cette mise en œuvre.

Ces deux évaluations reposent sur les engagements de la Banque ainsi que sur des autoévaluations, des examens institutionnels et des évaluations IDEV antérieures. Elles soutiennent également l’importance accrue accordée dans le nouveau Cadre de mesure des résultats à une approche proactive de la gestion de portefeuille et au rapprochement avec les PMR.

Vue d’ensemble

Les évaluations fournissent une estimation franche de la QaE et de la QoS des opérations de la Banque. Elles identifient les problèmes pour lesquels, le plus souvent, les solutions sont complexes et nécessitent une attention ciblée et soutenue ainsi que des ressources adéquates pour assurer leur mise en œuvre efficace. C’est pourquoi la Direction a lancé un large éventail de réformes visant à traiter ces questions à différents niveaux. Entre 2009 et 2014, au niveau opérationnel, la Direction a révisé ses approches, conformément aux bonnes pratiques des BMD et conformément aux normes internationales en matière de stratégies pays, de conception et de préparation des projets, ainsi que de suivi de la mise en œuvre. Une impulsion supplémentaire a été donnée à ces initiatives lorsque la Banque a lancé les Top 5 en 2015 et lorsqu’elle a adopté le Modèle de développement et de prestation de services (DBDM) en avril 2016, afin d’accroître l’impact de la Banque sur le développement et sa réactivité face aux PMR (le tableau A présente la chronologie des initiatives récentes de la Banque en matière d’assurance qualité).

L’effort d’IDEV visant à introduire une rigueur méthodologique dans l’évaluation de la qualité de l’évaluation via l’analyse quantitative est novateur. L’évaluation a adopté un outil de validation pour prédire les résultats des projets en matière de performance, bien que les constatations soient limitées par le fait que cet outil est fondé sur les données d’un échantillon de 20 projets seulement, ce qui n’est pas représentatif du portefeuille4. La Direction apprécie les efforts déployés par IDEV pour obtenir les réactions du personnel opérationnel dans le cadre de l’évaluation de la QaE, y compris au moyen d’études de cas. L’évaluation de la QaE a également donné lieu à un examen exploratoire des opérations non souveraines, à l’aide d’une approche distincte permettant de s’adapter à leurs objectifs et à leur contexte particuliers.

L’évaluation de la QoS, qui, comme la QaE, repose sur une approche méthodologique mixte, est formative


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

et cherche à mettre l’accent sur l’apprentissage plutôt que sur la responsabilité. L’évaluation a montré que les orientations de la Banque en matière de supervision des projets étaient pertinentes, claires et conformes aux bonnes pratiques. Elle met en évidence des lacunes dans les directives et politiques de supervision et de clôture de projets, particulièrement les opérations multinationales et les situations fragiles. Elle souligne aussi des faiblesses dans les incitations aux dispositions institutionnelles, dans la gestion de la supervision, ainsi que dans le suivi axé sur les résultats au niveau du projet. Tout en notant que l’utilisation de l’outil d’examen à mi-parcours n’est pas généralisée, l’évaluation reconnaît également que la présence élargie sur le terrain, ainsi que l’amélioration du suivi en temps réel au niveau du portefeuille permet une observation plus continue.

Alors que la Banque assure le suivi de la mise en œuvre de ses opérations au niveau des projets et du portefeuille, l’évaluation est centrée sur le niveau des projets et fournit peu d’informations sur la contribution du suivi du portefeuille au processus global d’assurance qualité. La qualité du suivi au niveau des projets est un élément essentiel du suivi du portefeuille, car ce sont les conclusions de la supervision des projets individuels, souvent tirées des rapports de supervision, qui servent de base aux décisions de gestion lors des examens du portefeuille.

Malgré l’intention de l’évaluation de la QoS de couvrir la supervision et la sortie, on trouve très peu de données sur la qualité à la sortie, à part le nombre de projets pour lesquels des rapports d’achèvement de projet ont été préparés. Le manque de spécificité dans la base d’éléments probants fait qu’il est très difficile pour la Direction d’identifier les changements appropriés visant à combler les lacunes en matière de supervision.

Bien que la Banque ait fait de nets progrès ces dernières années dans la réponse à certains de ses grands défis, la Direction convient qu’il faut faire beaucoup plus pour renforcer la QaE

et la QoS. L’expérience acquise à la BAD et dans d’autres BMD montre que la qualité à l’entrée est un facteur essentiel des résultats des projets, mais que la qualité de la conception institutionnelle, de l’évaluation et de la gestion des risques, ainsi que la qualité de la supervision et de la mise en œuvre par les emprunteurs influent aussi sur le degré de résultats obtenus. Pour cette raison, et profitant du fait que les rapports sur la QaE et la QoS ont été produits en parallèle, la Direction traite les deux évaluations dans une seule Réponse de la Direction. Les constatations générales sur la QaE concernant la qualité de la conception des projets et l’efficacité des processus d’examen offrent des informations précieuses qui sont généralement cohérentes avec l’évaluation opérée par la Direction elle-même et fournissent des arguments supplémentaires à l’appui des réformes visant à renforcer la qualité. L’accent mis sur les processus d’orientation et d’examen de la qualité à l’entrée doit donc être considéré dans le contexte d’une réforme plus large des systèmes et des incitations visant à améliorer la qualité du portefeuille.

Les conclusions de l’évaluation de la QaE sont formulées séparément en aspects conceptuels et procéduraux de l’évaluation des opérations souveraines et non souveraines. L’analyse du cadre conceptuel découle de la théorie de l’évaluation et repose sur quatre dimensions de la qualité : i) l’évaluabilité ; ii) l’analyse économique ; iii) l’état de préparation à la mise en œuvre ; et iv) la gestion des risques ; mais elle en souligne deux qui sont plus importants (voir encadré B).

Évaluation de la Direction

En complément des évaluations de d'IDEV, la Banque a entrepris sa propre évaluation de la qualité opérationnelle de ses activités dans le cadre des réformes en cours du DBDM. Bien que les réformes du DBDM contribuent à renforcer la BAD dans son rôle de partenaire de confiance, très proche de ses clients PMR et très bien adapté à leurs besoins, plusieurs mécanismes


et processus du système actuel de mise en œuvre ont été identifiés comme nécessitant un renforcement, dans le but d’augmenter l’efficacité des réformes :

Compétences opérationnelles. Les enseignements tirés par les autres BMD montrent que la qualité globale commence par la qualité technique, l’expérience et les compétences en gestion de projet du gestionnaire de projet, ainsi que par la diversité des compétences à l’intérieur de l’équipe de travail. De nombreux membres du personnel opérationnel sont nouveaux à la Banque et ont une connaissance et une expérience inégales de la préparation et de la supervision des projets. Il en résulte une charge excessive de travail pour les gestionnaires de projets, ce qui peut mettre en péril la qualité des projets. Cette situation est aggravée par le manque de continuité dans la gestion des opérations au sein des projets, due à une rotation rapide après la préparation du projet, ce qui affecte la qualité de la supervision. L’étude de la Banque mondiale de 2018 (Hussain, Kenyon et Friedman, ibid) a identifié la qualité et la continuité des gestionnaires de projets comme étant essentielles pour assurer la qualité de la supervision, et comme étant les deux plus importants facteurs de la qualité des projets.

Le diagnostic de la Direction indique également que la charge de travail des gestionnaires de projets est inégalement répartie entre les différents secteurs et régions, et en fonction des exigences du programme de travail dans les unités. L’évaluation par la Direction des lacunes dans les compétences et l’expérience opérationnelles souligne la nécessité d’investir davantage dans la formation du personnel aux compétences opérationnelles (pour une analyse plus détaillée, voir l’analyse ci-dessous sur les ressources humaines).

Une réserve de projet robuste. Les projets de la Banque entrent dans la réserve de projet par la préparation d’une note de projet qui décrit la demande du PMR et sa cohérence avec la stratégie pays, la disponibilité des ressources financières, ainsi que la conformité avec les politiques et priorités de la Banque et du PMR. L’énoncé de projet est supposé avoir été examiné par le gestionnaire responsable avant que le projet soit inclus dans le réserve de projet du portefeuille. Ce processus n’est pas toujours suivi systématiquement pour élaguer la réserve de projet jusqu’à un nombre raisonnable de projets. Dans ce contexte, les critères utilisés pour sélectionner les projets à inclure dans le PIO (portefeuille indicatif d’opérations) devront peut-être

Encadré B : Considérations sur l’évaluabilité et l’état de préparation

Le rapport sur la QaE souligne que l’évaluabilité et l’état de préparation sont deux dimensions qui sont des indicateurs importants du rendement d’un projet.

Évaluabilité – Une étude récente de la Banque interaméricaine de développement a conclu que parmi les trois dimensions d’évaluabilité couvertes par la matrice d’efficacité du développement de la BID – logique des projets, analyse économique, et suivi et évaluation – les deux premières ont un impact positif sur la performance des projets, mais un meilleur suivi ne se traduit pas par une plus grande efficacité des projets5. Un examen de la performance des projets de la Banque mondiale a révélé qu’un suivi de meilleure qualité a permis d’améliorer la performance des projets, mais son auteur se montre préoccupé par de potentiels défauts méthodologiques (par exemple l’endogénéité) lorsque la capacité des membres de l’équipe de projet est omise, puisque la capacité peut être liée tant à la qualité au démarrage qu’à une meilleure performance du projet. Par conséquent, le renforcement des systèmes de gestion de la qualité des projets doit se concentrer non seulement sur la logique de développement du projet, la qualité de l’analyse économique et financière et du suivi ainsi que de l’évaluation, mais aussi sur les compétences et les capacités des équipes de projet, ainsi que sur la manière dont elles intègrent le suivi dans la prise de décision pendant l’exécution du projet.

État de préparation – Le terme « état de préparation » est souvent associé à l’état de préparation à la mise en œuvre, et détermine dans quelle mesure un projet peut être prêt à démarrer ou à subir des retards de mise en œuvre. L’état de préparation d’un projet est donc pertinent pour le rythme de sa mise en œuvre, ce qui peut affecter la durée du projet mais ne signifie pas nécessairement que les résultats du projet ne seront pas atteints.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

être révisés. De plus, l’utilisation des fonds de préparation des projets n’est pas proportionnelle à la demande des PMR.

Ressources pour la préparation des projets. La Direction est d’accord avec la prémisse de l’évaluation selon laquelle une bonne préparation de projet est importante pour une mise en œuvre efficace et efficiente. Elle est également d’accord avec l’analyse qui met en évidence les limites de la disponibilité de financement adéquat pour la préparation des projets, par rapport aux autres BMD. La Banque dispose d’un certain nombre de petites facilités de financement fragmentées, dont la lourdeur des procédures conduit à un accès inégal au financement. Les montants disponibles de ces sources sont insuffisants pour la préparation de grands projets, ce qui, en conséquence, limite la robustesse de la réserve de projet.

Processus d’examen. La Direction est globalement d’accord avec la plupart des constatations énumérées concernant le cadre procédural – absence d’affectation de ressources fondée sur le risque, grand nombre d’examens séquentiels, absence d’une fonction d’examen indépendante pour les opérations souveraines et absence d’un mécanisme pour vérifier comment on a tenu compte des commentaires sur la QaE. Le processus actuel d’assurance qualité comprend une évaluation séquentielle par les pairs, un examen de l’état de préparation, un examen par l’équipe pays et, enfin, un examen par le vice-président responsable ou le Comité des opérations aux étapes du PNC (projet de note conceptuelle) et du REP (rapport d’évaluation de projet). Le diagnostic de la Direction indique également que les réunions d’examen du PNC et du REP sont tenues lorsque les documents sont presque terminés, ce qui réduit la portée des révisions de fonds. En outre, les évaluateurs pairs apportent une expertise technique inégale et leurs évaluations se concentrent principalement sur la conformité et l’amélioration des documents de projet, plutôt que sur la faisabilité technique. Comme l’indique également l’évaluation, bien que la matrice de réponse doive être soumise pour approbation

ultérieure, la mesure dans laquelle les commentaires sont effectivement intégrés varie.

Examen de l’état de préparation. Le diagnostic de la Direction appuie les constatations de l’évaluation concernant la faiblesse du processus d’examen de l’état de préparation et celle du contenu de l’instrument d’examen de l’état de préparation. L’examen de l’état de préparation a d’abord été envisagé et mis en œuvre comme une fonction relevant des services centraux, indépendamment du Complexe à l’origine du projet. En 2014, la gestion de l’examen de l’état de préparation a été confiée au Complexe qui présente le projet. Le système actuel ne garantit pas l’indépendance de l’examen, ni ne garantit que l’examen est effectué par du personnel possédant les compétences techniques adéquates. L’analyse de la Direction montre, par exemple, que l’évaluabilité d’un projet – la justification de développement des projets, la qualité et le réalisme des cadres logiques, etc. – est un domaine qui demande une attention accrue. En outre, l’examen de l’état de préparation, tel qu’il est actuellement pratiqué, ne tient pas suffisamment compte des facteurs déterminants pour la préparation à la mise en œuvre – comme les dispositions financières et les dispositions de passation de marchés. Il n’est en outre pas orienté vers le soutien aux équipes de projets et est dépourvu de conseils pour augmenter la qualité.

Planification et budgétisation. Contrairement à ceux de nombreux organismes analogues, les systèmes informatiques de la Banque pour la planification budgétaire et la planification des projets ne sont pas intégrés, et des coefficients standards n’ont pas encore été mis en place (différenciés par instrument de prêt, secteur ou risque pays) pour affecter le budget administratif aux différentes tâches (telles que l’identification, l’analyse, le soutien à la mise en œuvre et la clôture). Avec l’introduction du Système d’enregistrement du temps d’activité, la Banque est maintenant en position de déterminer et de suivre le coût total des opérations – coûts de personnel, de consultants et de déplacement – et d’établir son budget en conséquence.


Systèmes d’information sur la gestion des opérations. Les systèmes d’information de la Banque – visant à traiter, à programmer et à suivre les opérations de la réserve de projet jusqu’à la l’approbation par le Conseil (SRAS, PIO, BPPS et BRAG) – ne sont pas reliés, ce qui limite leur efficacité. En outre, contrairement à ceux des autres BMD, le système informatique de gestion de la Banque, ne comprend pas de portail unique des opérations qui intégrerait et faciliterait l’accès à l’information sur la mise en œuvre des projets en temps réel, ce qui simplifierait grandement la gestion et la supervision des projets et réduirait la charge de travail des équipes de projets et des gestionnaires ; cela accroîtrait également la transparence et, par conséquent, l’obligation de rendre compte, afin de s’assurer que les données sont à jour.

État de préparation des emprunteurs et capacité de mise en œuvre. L’analyse de la Direction confirme les constatations de l’évaluation selon lesquelles l’état de préparation de l’emprunteur (par exemple : l’équipe de mise en œuvre du projet est en place et l’approvisionnement est bien avancé) et sa capacité de mise en œuvre sont essentiels au succès du projet. La Banque n’a pu fournir qu’un soutien limité dans ce domaine, notamment par l’intermédiaire du Fonds MIC TA. La Direction reconnaît qu’en plus d’évaluer la capacité des contreparties dans le cadre de l’examen de l’état de préparation, la Banque devrait investir beaucoup plus pour soutenir le développement de la capacité de mise en œuvre des PMR.

Supervision. L’évaluation de la Direction concorde avec la constatation de lacunes dans le respect des directives actuelles en matière de supervision ainsi que celle de retards dans les rapports d’achèvement des projets. Pour accroître ses chances d’atteindre les objectifs de développement des projets, la Banque pourrait adopter une approche plus proactive pour soutenir la mise en œuvre des projets. En assurant une plus grande continuité dans la gestion des projets grâce à une augmentation du personnel sectoriel déployé dans les départements régionaux, la Banque peut tirer parti de l’occasion créée par le DBDM pour renforcer la supervision des projets.

Culture de la qualité et des résultats. L’évaluation souligne que la culture institutionnelle actuelle favorise l’approbation plutôt que la qualité et les résultats. Au cours des dernières années, la Banque a fait des progrès marqués en matière de mesure des résultats et de présentation des rapports, avec la Revue annuelle sur l’efficacité du développement. Toutefois, les incitations actuelles et les indicateurs de performance clé organisationnels continuent de mettre l’accent sur les objectifs en matière de prêts et de décaissements. Dans le cadre des opérations, les incitations du personnel restent orientées sur la valorisation des nouvelles approbations de prêts et sur le volume des prêts.

Ressources humaines. Le diagnostic de la Direction montre que le nombre de membres du personnel de première ligne dotés de responsabilités de gestionnaires de projets pour la création des projets et la gestion du portefeuille, est resté stable au cours des cinq dernières années. Au cours de la même période, la taille et la complexité des activités de prêt et du portefeuille actif de la Banque ont considérablement augmenté. En raison de ces tendances, la charge de travail des gestionnaires de projets a augmenté régulièrement, avec une moyenne de 3,4 opérations supervisées en plus des activités de préparation et d’analyse des projets. L’examen fait également ressortir d’importantes disparités entre les secteurs et les régions, y compris dans des domaines hautement prioritaires comme l’énergie et l’agro-industrie où l’expertise dans les pays francophones et anglophones demeure rare. La Direction entreprend une analyse plus approfondie des besoins régionaux en ressources pour les gestionnaires de projets et l’écosystème opérationnel afin d’identifier les possibilités de redéploiement et de renforcement.

Relever la barre pour l’assurance qualité

Les messages à retenir des évaluations d’IDEV, des propres évaluations de la Direction et des enseignements tirés par d’autres BMD font ressortir un certain nombre de domaines dans lesquels la Banque pourrait réformer son système de gestion


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

de la qualité. La Direction a l’intention d’élaborer des mesures détaillées pour chacun d’entre eux dans un plan de mise en œuvre qui sera élaboré après la discussion des évaluations par le Conseil.

1. Amélioration des compétences du personnel opérationnel. La Banque doit adopter une approche plus systématique pour améliorer les compétences de son personnel opérationnel. Reconnaissant que de nombreux gestionnaires de projets sont nouveaux à la Banque, la Direction est en train de mettre sur pied une académie des opérations pour former l’ensemble du personnel aux compétences opérationnelles. Une formation « Gateway » sera obligatoire pour tout le personnel d’exploitation. Un système d’accréditation pour tous les gestionnaires de projets et pour d’autres postes opérationnels clés viendra s’y ajouter (priorité à court et à moyen terme6).

2. Constitution d’une solide réserve de projets de développement des activités. Afin d’assurer un processus et des critères plus solides de développement des activités, la Direction réexaminera les critères du Manuel des opérations déterminant l’inclusion d’un projet dans le programme indicatif des prêts PIP, en mettant l’accent sur la formation des professionnels pendant la première année du PIP. L’inclusion dans le PIP déclenchera l’allocation du budget administratif pour l’élaboration de la note conceptuelle du projet. C’est également à ce stade qu’il convient d’évaluer le besoin de fonds pour soutenir la préparation des projets (priorité à court terme).

3. Augmenter les ressources pour la préparation des projets. La Direction propose d’améliorer le soutien aux équipes de travail en facilitant l’accès aux fonds de préparation des projets, et en accordant une plus grande supervision de la composition des équipes de projets et des services de savoir opérationnel améliorés aux équipes de projets en première ligne. Des ressources supplémentaires pour la

préparation des projets pourraient provenir de fonds fiduciaires et de mécanismes spécialisés pour la préparation des projets. La Banque étudie les moyens de consolider et d’élargir les possibilités existantes afin de mieux soutenir la préparation des projets. Les directeurs aideront les gestionnaires de projet à renforcer leurs équipes en faisant appel à du personnel provenant de différents secteurs de la Banque, en veillant tout particulièrement à ce que du personnel spécialisé soit disponible en temps voulu pour répondre aux exigences fiduciaires, de sauvegarde et aux autres exigences internes. Bien qu’il puisse être nécessaire d’augmenter le nombre de membres du personnel dans des fonctions clés, la Direction explore également les possibilités de redéploiement et de réaffectation de membres du personnel afin de s’assurer que toutes les équipes de projet disposent des ressources humaines nécessaires. La Direction a également l’intention d’investir davantage dans la production, la valorisation et la diffusion des savoirs afin de faciliter l’accès des équipes spéciales aux connaissances de pointe et aux savoirs opérationnels (priorité à court et à moyen terme).

4. Renforcer le processus d’examen pour assurer la qualité des opérations. Conformément à la nouvelle matrice de délégation de pouvoirs (DAM), la Direction prévoit de regrouper les processus d’examen séquentiels actuels en un seul examen simultané à l’étape du PNC et à celle du REP. La nouvelle DAM soutient également la consolidation des étapes, avec une seule réunion centrée sur la qualité à chacune des deux étapes principales, réunion au cours de laquelle les différentes contributions à l’examen de la qualité seront examinées ensemble. Les examens combineront les deux objectifs connexes mais distincts que sont l’« assurance qualité » et l’« amélioration de la qualité ». La Direction examinera le calendrier des réunions d’examen pour s’assurer que les équipes de projet peuvent bénéficier de l’orientation fournie. Les réunions à l’étape du


PNC émettront une décision Go/No go pour que la préparation puisse – ou non – continuer (priorité à court terme). La Direction intègre également la responsabilité et l’obligation de rendre compte de la qualité dans la DAM récemment publiée.

5. Améliorer l’examen de l’état de préparation et l’examen par les pairs, et y affecter des ressources. Conformément à la recommandation d’IDEV, la Direction prévoit de rapatrier la responsabilité des examens de l’état de préparation dans les services centraux pour garantir l’indépendance et la qualité. L’instrument d’examen de l’état de préparation sera également remanié pour mettre davantage l’accent sur l’évaluabilité et l’état de préparation à la mise en œuvre, avec l’appui des compétences techniques et opérationnelles appropriées et, surtout, des ressources pour aider les équipes spéciales à améliorer la qualité. On traitera explicitement l’évaluabilité comme une partie intégrante de la revue de l’état de préparation. Le soutien aux équipes de projets pour l’amélioration de la qualité aura pour but de renforcer la logique des opérations pour le développement, la conception du projet et l’analyse qui étaye la conception du projet, en renforçant la qualité et le réalisme des cadres logiques et en s’assurant que les indicateurs appropriés sont en place pour suivre les progrès et évaluer l’impact. L’état de préparation à la mise en œuvre à l’étape REP veillera à ce que toutes les dispositions institutionnelles, financières et de marchés soient en place pour la première année avant la présentation au Conseil afin d’éviter les retards dans l’efficacité et les décaissements dus à des mesures qui auraient pu être prises avant l’approbation du Conseil. En outre, on élaborera un cadre de référence et une orientation ciblés pour le rôle d’évaluation par les pairs, qui mettront explicitement l’accent sur la formulation de recommandations visant à améliorer la qualité technique et la conception des projets. Pour les deux outils de revue, l’attention se portera sur

les responsables de l’exercice, en veillant à ce qu’ils aient l’expertise et le temps nécessaires (priorité à court et à moyen terme).

6. Renforcement de la planification et de la budgétisation pour la préparation et la supervision des projets. La Banque s’emploie à améliorer et à connecter entre eux ses systèmes actuels de planification, de programmation, de budgétisation et de suivi, en liaison avec la mise à jour prévue de SAP. L’aspect budgétaire comprendra l’élaboration de coefficients de coût pour les diverses étapes du cycle du projet, en fonction des niveaux de risque, et les différentes modalités de prêt comme base pour l’allocation des ressources (priorité à court terme).

7. Travailler à l’élaboration d’un portail intégré des opérations. La Direction renforce considérablement son système de gestion de l’information en lien avec la mise à jour de SAP, en complétant les améliorations de la conception par des mesures visant à lier et à intégrer les systèmes connexes. La Direction travaille également à l’élaboration d’un portail des opérations qui intégrerait l’information sur les prestations, les budgets, la performance des projets, le suivi et les résultats pour renforcer la gestion des projets et du portefeuille. Cela faciliterait l’utilisation des données opérationnelles pour en tirer des enseignements et pour apporter des corrections d’orientation grâce à une gestion de projet plus efficace (des détails supplémentaires sur cette question seront fournis dans le prochain plan de mise en œuvre). Un tel système alimenterait également le tableau de bord de la mise en œuvre et le système de communication des résultats de la Banque (encadré C) (priorité à court et à long terme).

8. Soutenir l’état de préparation des emprunteurs et le développement de leurs capacités. La Direction entend porter davantage d’attention


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

à l’état de préparation des emprunteurs et à y consacrer des ressources. Il s’agit notamment d’examiner de près les fonds disponibles pour la préparation des projets et, éventuellement, en plus de compléter les fonds existants, d’en créer un nouveau qui permettrait une plus grande souplesse, notamment pour les subventions remboursables et le capital destiné aux premières étapes du développement des projets. Cela signifie également qu’il importe d’examiner de près l’état de préparation à la mise en œuvre dans le cadre du processus d’assurance qualité (priorité à court et à moyen terme).

9. Passer de la supervision des projets à l’appui à leur mise en œuvre. La Direction examine les moyens de redéfinir la supervision des projets en « soutien à la mise en œuvre ». L’activité sera ainsi réorientée vers l’appui proactif aux unités de mise en œuvre des projets et aux organismes d’exécution, afin de progresser dans la mise en œuvre, de les aider à éliminer les goulets d’étranglement ou les déficits de capacités et, finalement, d’avancer vers les résultats souhaités en matière de développement. Cette orientation est bien étayée par l’approche

continue de la supervision, dorénavant rendue possible par une présence accrue dans les pays – non seulement des responsables de projets, mais aussi des responsables de programmes pays et des responsables pays, qui apportent soutien et engagement tout au long de l’année. Néanmoins, le respect des orientations relatives à l’établissement de rapports périodiques sera également renforcé (priorité à court terme).

10. Intégrer une culture de la qualité. La Direction reconnaît que le travail visant à convertir la culture de l’approbation en une culture qui encourage et met l’accent sur les résultats et l’efficacité du développement dans les PMR est une tâche inachevée. Néanmoins, il est essentiel de s’assurer que tous les projets mettent l’accent sur la qualité des produits et des résultats plutôt que sur le volume des prêts. Pour renforcer ce message, la Direction élargira l’utilisation actuelle des indicateurs clés de performance et en adoptera de nouveaux qui mettront l’accent sur la qualité et les résultats, elle intégrera en outre la qualité dans les évaluations de la performance du personnel et de l’encadrement (priorité à court et à moyen terme).

Encadré C : Suivi des progrès réalisés dans la mise en œuvre des opérations

Le Système de rapports sur les résultats (RRS) traduit l’engagement de la Banque à faire de la technologie un outil d’amélioration de la qualité des opérations. Ce système, dont le lancement est prévu pour le 1er janvier 2019, fournira aux responsables des informations en temps réel sur les indicateurs essentiels de la qualité opérationnelle.

En automatisant les étapes clés de la préparation des documents d’assurance qualité – cadre logique axé sur les résultats, rapport d’avancement de la mise en œuvre et des résultats de rendement, et rapport d’achèvement de projet – le RRS simplifiera et rationalisera les exercices de rapport pour les gestionnaires de projets. Il permettra également à la Banque d’exploiter les nouvelles données disponibles pour améliorer la conception des opérations, l’examen des portefeuilles et les exercices de planification.

Le RRS comprend le lancement de deux tableaux de bord complémentaires pour : i) suivre la qualité des portefeuilles d’opérations de la Banque et ii) préparer des rapports sur les résultats globaux des opérations. Ce nouvel outil de production de rapports permet une plus grande cohérence et une plus grande discipline en matière de données, notamment en réduisant le temps consacré au rapprochement des feuilles de calcul personnalisées, temps qui sera mis à profit pour effectuer davantage d’analyses de données.

Avec le RRS, la Banque s’appuie sur les capacités et l’ubiquité de son système d’information SAP – dorsale informatique de la Banque – et permet aux gestionnaires de projets d’accéder à l’interface du système à travers son réseau panafricain. La Banque a l’intention de transférer le RRS vers SAP dans le cadre de sa mise à jour afin d’améliorer l’expérience des gestionnaires de projets et l’analyse interactive des données.


Prochaines étapes

L’ambitieux programme de réformes évoqué plus haut s’inscrit à maints égards dans le prolongement de la transformation engagée par le DBDM. Ces réformes renforceront l’environnement institutionnel dans lequel le nouveau modèle fonctionnera, afin d’améliorer la qualité et les résultats pour les PMR. La mise en œuvre de l’ordre du jour nécessitera une hiérarchisation et un échelonnement des priorités pour répondre aux besoins différents des prêts souverains et non souverains ainsi qu’aux spécificités des différentes modalités de prêt.

À la suite de la discussion du Conseil sur ces évaluations, la Direction élaborera un plan de mise en œuvre détaillé couvrant chacun de ces domaines. Le plan de mise en œuvre de

l’assurance qualité, y compris les mesures limitées dans le temps et leurs répercussions sur les ressources, sera communiqué au Conseil avant la fin de l’année.

Mesures adoptées par la Direction

Le présent rapport de mesures de la Direction expose les principales dispositions que la Banque s’engage à prendre en réponse à la recommandation de l’IDEV concernant la qualité à l’entrée et la qualité de la supervision. Il sera complété par un plan de mise en œuvre qui étoffera le diagnostic de la Direction sur l’assurance qualité et rendra opérationnelles les actions brièvement décrites dans le tableau ci-dessous. Le plan de mise en œuvre établira également un cadre clair des responsabilités assorti

Tableau A: Chronologie des initiatives d’assurance qualité depuis 2010

Reformes clés 2010 2011 2012 2013 2014 2015 2016 2017 2018InstitutionPD 03/2013 sur la revue et le processus d’approbation ●

PD 02/2015 sur la conception et l’annulation des opérations ●

Adoption du nouveau Modèle de développement et de prestation de services

●

Lancement du nouveau Tableau des opérations ●

Nouvelle Matrice de délégation des pouvoirs ●

Qualité a l’entréeAdoption des cadres logiques standards axés sur les résultats

●

Standards de QaE et RR pour les opérations de service public

●

Introduction de l’ADOA dans les opérations non souveraines ●

Standards de QaE et RR pour les stratégies pays ●

Transfert des revues de l’état de préparation aux départements régionaux

● ●

Lancement de la formation des unités de gestion de projets et des agences d’exécution

●

Qualité de la supervisionMise en place du rapport de supervision ●

Adoption du nouveau rapport d’achèvement ●

Formation et développement du personnelLancement des modules d’apprentissage en ligne sur l’assurance qualité

●


Une

éval

uatio

n in

stitu

tionn

elle

IDEV


Recommandations d'IDEV Réponse de la Direction

Qualité a l’entrée

1. Outils d’examen – Améliorer la pertinence et l’efficacité du processus d’examen de l’état de préparation et de l’évaluation par les pairs en :

a. Ajustant le contenu de l’examen de l’état de préparation pour tenir compte des facteurs qui influent sur l’exécution du projet, notamment l’« évaluabilité », l’analyse économique, l’état de préparation à la mise en œuvre et la gestion des risques.

b. Accroissant l’indépendance de l’examen de l’état de préparation et de l’évaluation par les pairs en mandatant une unité indépendante pour coordonner les deux processus.

c. Élaborant un mandat détaillé et des critères de sélection pour les évaluations techniques par les pairs.

La Direction est d’accord pour renforcer la pertinence – c’est-à-dire l’évaluabilité et l’état de préparation des opérations – et l’indépendance de l’examen de l’état de préparation. ❙ Améliorer l’« évaluabilité » et la portée des examens de l’état de préparation et des évaluations par les pairs. La Direction ajustera le contenu de l’examen de l’état de préparation et de l’évaluation par les pairs pour fournir une évaluation plus complète, y compris de l’état de préparation à la mise en œuvre.

❙ Augmenter l’indépendance des revues de l’état de préparation. La Direction dissociera la responsabilité de la revue de l’état de préparation et de l’évaluation par les pairs de l’unité de la Banque chargée de préparer le projet.

❙ Renforcer le filtre d’état de préparation. La Direction ajustera l’examen de l’état de préparation afin de veiller à ce que toutes les dispositions institutionnelles, financières et d’approvisionnement pour la première année soient en place avant la présentation au Conseil et de s’assurer qu’il n’y ait aucun retard dans l’efficacité et le décaissement en raison de mesures qui auraient pu être prises avant son approbation.

2. Processus d’examen de l’assurance qualité – Accroître l’efficacité et l’efficience du processus d’examen de la qualité en :

a. Identifiant les « pistes » d’approbation pour différencier les opérations en fonction du risque.

b. Réduisant le nombre d’étapes séquentielles, au profit d’une réunion unique au cours de laquelle toutes les contributions à l’AQ seront prises en compte.

c. Fournissant aux gestionnaires de tâches un soutien plus systématique pour l’amélioration de la qualité, en particulier sur les projets qui ne répondent pas aux normes de qualité.

d. Identifiant et allouant les ressources nécessaires tout au long de l’« écosystème » de préparation pour soutenir l’efficacité du processus d’examen.

La Direction est d’accord pour accroître l’efficacité et la qualité du processus d’examen. ❙ Mettre en œuvre un processus d’examen plus efficace. La Direction continuera à utiliser un processus plus léger pour les projets inférieurs à un certain seuil (volume d’approbation) et, dans le cas des opérations non souveraines, pour ceux dont le risque est jugé faible par le Comité du risque de crédit.

❙ Consolider le processus d’examen. La Direction regroupera les discussions sur l’examen de l’état de préparation, l’évaluation par les pairs et les commentaires des autres départements en une seule réunion par étape d’examen – c’est-à-dire le PNC et le REP – conformément aux plans établis dans la nouvelle DAM.

❙ Accroitre l’amélioration de la qualité. La Direction affectera des ressources, y compris en personnel, à l’amélioration de la qualité et à son intégration dans le processus de revue de la qualité.

d’échéances précises à court et à moyen terme. Le plan de mise en œuvre sera communiqué au Conseil pour information d’ici décembre 20187. Les

dates limites pour tous les points figurant dans le présent rapport des mesures adoptées seront précisées dans le plan de mise en œuvre.





3. Etat de préparation des contreparties – Améliorer l’état de préparation et la capacité des PMR en matière de gestion des investissements publics en :

a. Détectant les déficits de capacité des PMR lors de l’identification des projets et en proposant des mécanismes pour fournir un soutien supplémentaire, si nécessaire, tout au long de la préparation et de l’évaluation.

b. Identifiant les pays où l’état de préparation des contreparties est un obstacle sérieux à la conception et à la mise en œuvre des projets, et en leur offrant des programmes d’appui pour remédier à ces contraintes et compléter l’élaboration du PIP.

La Direction est d’accord pour accroître l’efficacité et la qualité du processus d’examen. ❙ Effectuer une évaluation de l’état de préparation des contreparties au niveau du projet. La Direction inclura une analyse expliciteW de la capacité et de l’état de préparation des contreparties dans les processus d’examen de la qualité des projets et, sur cette base, intégrera les mesures de renforcement des capacités – ou d’atténuation – requises pour la conception du projet.

❙ Améliorer les outils et l’engagement au niveau pays. Dans le cadre de la nouvelle approche du diagnostic et du cadre stratégique par pays, la Direction inclura une évaluation de la manière dont les capacités nationales peuvent influencer le programme d’investissement prévu et des activités de renforcement des capacités/des activités extérieures aux prêts et autres qui seront nécessaires pour y remédier. Il s’agira notamment d’offrir toute une gamme de services d’appui aux capacités, y compris des cliniques fiduciaires, une assistance technique et un dialogue connexe, selon les besoins des pays. Les progrès seront suivis de près grâce aux revues de la performance des portefeuille-pays.

4. Planification et budgétisation – Renforcer le PIP de la Banque et l’allocation des ressources pour la préparation des projets en :

a. Renforçant le descriptif de projet et en améliorant son contenu, grâce, entre autres, à des critères clairs pour l’inclusion des projets dans la réserve de projet de préparation, et à une allocation de ressources (temps et budget) pour la préparation.

b. Identifiant une plateforme intégrée pour la gestion du réserve de projets, y compris l’identification, la préparation et l’évaluation.

La Direction est d’accord pour renforcer davantage le PIP et l’allocation des ressources. ❙ Encourager le développement des activités. La Direction a adopté un indicateur clé de performance interne exigeant que 25 % des prêts pour chaque secteur opérationnel disposent de PNC approuvés au cours de l’année précédant leur approbation prévue.

❙ Réviser les listes de contrôle standard pour l’inclusion dans le PIP. La Direction va reprendre des listes de contrôle standard visant à guider les gestionnaires de projets dans la préparation des résumés de projets (y compris pour les ONS), de façon à assurer un filtre approprié pour l’inclusion dans le PIP.

❙ Renforcer la responsabilisation des supérieurs hiérarchiques à l’égard de la qualité du PIP. La qualité des projets validés par les supérieurs hiérarchiques dans le cadre du PIP sera évaluée lors de l’évaluation régulière de leur performance.

❙ Améliorer la programmation des projets. La Direction rationalisera et reliera entre eux les divers systèmes utilisés aujourd’hui pour la planification et la réalisation des projets (SRAS, PIP, BPPS et BRAG).

❙ Rationaliser l’allocation des ressources. La Direction utilisera des coefficients budgétaires standards fondés sur les résultats de l’année précédente et sur les changements prévus pour la nouvelle année, afin de mieux aligner le processus budgétaire sur les orientations stratégiques.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV




5. Développement des activités – Accroître l’utilisation des facilités de préparation des projets afin de promouvoir leur qualité à l’entrée, en :

a. S’assurant que le personnel est sensibilisé et encouragé à utiliser ces fonds pour soutenir l’identification et la mise en œuvre du PIP, y compris l’EES (études sectorielles et économiquesW).

b. Augmentant le total des fonds et l’allocation maximale pour le FPP, le MIC-TAF et d’autres sources de fonds.

c. Diversifiant l’utilisation approuvée des facilités de préparation afin de réduire les coûts de transaction et de remédier aux contraintes systémiques de la préparation des projets.

La Direction est d’accord pour accroître l’utilisation des installations de préparation de projets. ❙ Sensibiliser le personnel aux bonnes pratiques en matière de préparation de projets – y compris en utilisant des composantes de projets existants pour la préparation de nouveaux projets ou de projets de suivi dans le secteur concerné.

❙ Accroitre le recours aux facilités existantes de préparation des projets, grâce à une série d’initiatives, notamment l’amélioration des connaissances du personnel sur les fonds fiduciaires et les fonds spéciaux.

❙ Augmenter l’allocation aux facilités de préparation des projets. La Direction étudiera la faisabilité d’une augmentation de l’allocation au FPP du FAD et d’un instrument approprié pour les pays BAD (comme le MIC-TAF), sous réserve de l’approbation du Conseil.

❙ Envisager de nouveaux mécanismes de financement pour la préparation des projets. La Direction examinera la souplesse dont elle dispose pour accroître l’utilisation des fonds existants – et éventuellement des fonds supplémentaires – afin d’inclure d’autres instruments de financement que les subventions, comme les subventions remboursables pour le développement de projets et les capitaux pour le développement de projets en phase de démarrage.

6. Personnel et formation – Améliorer la capacité du personnel à gérer efficacement les projets en :

d. Mettant en place un programme de formation complet et obligatoire pour tous les gestionnaires de projets.

e. Déterminant des références pour le nombre de projets par gestionnaire de projets et en affectant les ressources en conséquence. Ces références devraient refléter les différentes charges de travail associées à la préparation et à la supervision des opérations.

La Direction est d’accord pour améliorer la capacité du personnel. ❙ Créer une académie des opérations. La Direction mettra en place l’Académie des opérations en vue d’offrir une formation spécialisée aux gestionnaires de projets et aux spécialistes de programmes pays.

❙ Introduire l’obligation d’accréditation. Dans le cadre de l’Académie des opérations, la Direction introduira une formation obligatoire pour tous les professionnels des opérations et un programme d’accréditation supplémentaire pour les gestionnaires de projets.

❙ Redimensionner le nombre de gestionnaires de projets. La Direction finalisera son analyse continue de la charge de travail par gestionnaire de projets et établira des références pour guider l’affectation des gestionnaires de projets par région et par Complexe.

7. Incitations et ressources – Renforcer les incitations en faveur de la qualité du portefeuille en supplément des approbations en :

a. Déterminant des indicateurs significatifs de qualité à l’entrée ayant une relation démontrée avec l’avancement de la mise en œuvre du projet, et en suivant ces indicateurs dans le temps.

b. Incluant des indicateurs de qualité à l’entrée ainsi que de développement de la réserve de projet parmi les indicateurs clés de performance internes de la Banque.

La Direction accepte de renforcer les incitations à promouvoir l’assurance qualité et d’assurer une supervision régulière et proactive des projets. ❙ Accroitre l’attention accordée aux indicateurs clés de performance internes en matière de qualité et de supervision. La Direction révisera ses indicateurs clés de performance internes existants en vue de mettre davantage l’accent sur la qualité du portefeuille et sur la supervision proactive, en vue de parvenir à un meilleur équilibre entre l’approbation et la qualité et les résultats.





❙ Renforcer la responsabilisation de l’encadrement hiérarchique en matière de qualité et de supervision. La Direction inclura des indicateurs sur la qualité et la supervision, à l’intention de l’encadrement hiérarchique, et examinera les performances dans le cadre des évaluations régulières de la performance.

❙ Suivre régulièrement la performance de du mécanisme. La Direction utilisera son tableau de bord des prestations pour faire un suivi régulier de la qualité des opérations et de la supervision par Complexe, région et département.

8. Qualité à l’entrée des ONS – Identifier un cadre pour renforcer l’évaluabilité des opérations non souveraines en8:

a. Mesurant l’évaluabilité des ONS, outre leurs résultats potentiels en matière de développement, y compris l’identification d’une logique interventionnelle claire et fondée, et de mesures de performance crédibles.

b. Identifiant un mécanisme d’amélioration de la qualité pour renforcer la justification de développement et la logique d’intervention des ONS, en particulier pour les projets présentant une faible évaluabilité.

La Direction convient d’élaborer, de piloter et d’introduire un système intégré de planification et de suivi des résultats pour les opérations non souveraines. ❙ Clarifier la logique d’intervention des opérations de secteur privé. Un cadre logique sera testé puis mis en œuvre pour recenser les résultats des projets du secteur privé. Il sera rationalisé pour permettre aux équipes de projet de l’utiliser de façon plus intuitive, en examinant un ensemble choisi d’extrants et de résultats9.

❙ Informer la préparation des projets avec des données ex ante. Les équipes de projet utiliseront les indicateurs utilisés dans le rapport ADOA du projet pour suivre l’avancement du projet.

❙ Suivre les résultats au cours de la mise en œuvre. La Banque examinera de plus près les résultats obtenus au cours de la mise en œuvre. Les rapports annuels de supervision seront remaniés afin de mieux suivre les résultats en matière de développement.

❙ Fournir des informations claires sur les résultats lors de la clôture du projet. Les rapports d’opérations de secteur privé et d’achèvement de projets fourniront les descriptions détaillées obtenues tout au long de la durée du projet.

9. Risque de crédit des ONS – Renforcer les mécanismes de vérification de l’atténuation des risques de crédit pour les opérations non souveraines en :

a. Mettant en place un filtre d’état de préparation pour le financement des projets et les prêts aux entreprises, afin de fournir des lignes directrices en matière de bonnes pratiques aux agents d’investissement et d’éclairer le processus d’évaluation.

b. Renforçant le rôle des responsables du risque de crédit en veillant à ce que les principaux risques soient correctement pris en compte et considérés dans les accords de prêt.

La Direction convient de renforcer encore les mécanismes d’atténuation des risques pour les ONS. À cet égard, la nouvelle DAM a déjà inclus des mesures supplémentaires – par exemple, l’approbation du directeur de secteur avec des entrées de l’équipe d’évaluation du projet (PAT) - pour s’assurer de l’état de préparation des ONS. Ces réformes seront encore renforcées par les actions suivantes :

❙ Mettre en place d’un filtre d’état de préparation au crédit. La Direction mettra en place un filtre sur l’état de préparation au crédit pour le financement des projets et des prêts aux entreprises en vue de mieux orienter les spécialistes de l’investissement et d’éclairer le processus de revue.

❙ Renforcer le rôle des spécialistes du crédit. La Direction introduira une note de clôture pour renforcer le rôle des responsables du risque de crédit afin de s’assurer que les principaux risques sont adéquatement pris en compte et considérés dans les accords de prêt.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV




10. Risque des ONS pour la gouvernance interne – Mettre davantage l’accent sur les risques des opérations non souveraines pour la gouvernance institutionnelle en :

a. Renouant le dialogue avec le groupe de travail des IFD (institutions de financement du développement) sur la gouvernance des institutions et offrir une formation aux responsables des investissements sur les questions de gouvernance.

b. Identifiant les fonds d’assistance technique consacrés aux questions de gouvernance internes pour les ONS, en particulier pour les opérations impliquant des banques de niveau inférieur.

c. Exploitant plus systématiquement l’assistance technique pour atténuer les risques sur la gouvernance institutionnelle avant le décaissement d’un prêt et surveiller les performances en fonction de l’évolution des comportements.

La Direction est d’accord pour accorder plus d’attention aux risques des ONS sur la gouvernance en prenant les mesures suivantes : ❙ Améliorer de la qualité de l’Intégrité et de la diligence raisonnable (IDD). La Direction améliorera la portée et la qualité de l’IDD, de la due diligence fiscale et de l’évaluation de la gouvernance dès l’origine des projets, afin de mieux identifier les risques opérationnels et financiers.

❙ Mieux suivre la gouvernance de l’organisme. La Direction suivra mieux la gouvernance interne des ONS tout au long du cycle de vie du projet. A cette fin, la Direction introduira des indicateurs pour l’évaluation et le suivi de la gouvernance des clients des ONS et entreprendra des IDD régulières pendant la mise en œuvre des opérations à haut risque.

❙ Améliorer de la coordination en matière de gouvernance institutionnelle. La Direction renforcera l’engagement de la Banque à l’égard des questions de gouvernance des ONS. La Direction s’engagera plus régulièrement avec le groupe de travail concerné des IFD et de l’ALSF pour organiser des formations régulières.

Qualité de la supervision

11. Gestion proactive du projet – Améliorer la gestion des risques et la performance du projet, en :

d. Assurant l’alignement entre la supervision au niveau des projets et le suivi du portefeuille, afin de fournir un soutien approprié aux projets problématiques et de relever les défis concernant la mise en œuvre et les résultats des opérations.

e. Promouvant, dans le cas des opérations du secteur public, une approche proactive de la supervision des projets en fonction du type de projet et de l’exposition aux risques tels qu’établis à l’étape précédant la mise en œuvre.

f. Renforçant, en particulier pour les opérations du secteur privé, la supervision des projets avec des missions spéciales pour suivre les rapports sur les résultats tout au long du cycle de vie du projet.

La Direction convient de continuer à promouvoir la supervision proactive des opérations et à renforcer la conformité aux normes existantes : ❙ Renforcer le respect des normes existantes de deux supervisions par an pour toutes les opérations éligibles10.

❙ Renforcer la surveillance proactive fondée sur le risque. Toutes les opérations n’exigent pas la même profondeur de supervision. La profondeur de la supervision dépendra du niveau de risque : les opérations à faible risque peuvent être traitées par une supervision depuis les bureaux alors que les opérations à risque élevé nécessiteraient normalement une mission sur le terrain.

❙ Renforcer le contrôle de la qualité de la supervision. Le Système de contrôle des résultats (voir l’encadré C) fournira aux supérieurs hiérarchiques un tableau de bord qui les avertira des opérations nécessitant une supervision plus étroite.

Parmi les autres mesures pertinentes en matière de supervision qui seront prises en réponse à d’autres recommandations, on peut mentionner les suivantes : ❙ Renforcer les indicateurs clés de performance internes de haut niveau sur la supervision et renforcement de la responsabilité de la supervision proactive, en suivant les performances au niveau de l’entreprise (Recommandation 7).

❙ Améliorer la supervision des ONS (Recommandation 8). ❙ Mieux répartir les ressources pour la supervision (Recommandation 4).

❙ S’assurer que les gestionnaires de projets ont une charge de travail gérable et sont correctement formés (Recommandation 6)





12. Conformité aux règles de la banque – Assurer le respect des normes de qualité en matière de supervision et d’exécution en :

a. Renforçant les mécanismes de contrôle qualité pour les rapports de supervision de projet et le suivi post-supervision.

b. Établissant des directives claires et des critères de performance pour la supervision des projets, y compris une différenciation par type d’opération et par pays et profil de risque.

c. Entreprenant des missions de terrain sélectives après la clôture du projet pour renforcer la valeur ajoutée des notes de validation d’IDEV et la crédibilité des résultats.

d. Établissant des directives claires et des critères de performance pour les pratiques de suivi et de supervision au sein des bureaux régionaux de la Banque et dans les bureaux pays respectifs.

e. Réalisant une planification précoce de l’achèvement du projet lors de la dernière mission de supervision afin d’assurer un financement adéquat et une meilleure performance.

f. Rationalisant les outils d’établissement de rapports de supervision afin de réduire la duplication des contenus, le nombre de rapports requis, et d’assurer une différenciation par type d’opération pour maximiser l’utilité.

g. Établissant des mesures pour relier les indicateurs de performance de l’Assurance Qualité à l’évaluation de la performance des gestionnaires de projets et de l’encadrement hiérarchique.

Voir l’ensemble des mesures énoncées en réponse à la recommandation 11 (Surveillance proactive).

13. Améliorer la qualité des rapports – Accroître la base d’éléments probants et la crédibilité des rapports sur les résultats en :

a. Examinant les rapports d’achèvement de projet dans le cadre de réunions officielles de validation afin de créer un espace de discussion et d’articulation appropriée des enseignements tirés.

b. Élaborant un système intégré et automatisé de gestion de l’information tout au long du cycle du projet afin de favoriser la responsabilisation et d’améliorer l’efficacité et l’efficience des rapports.

La Direction est d’accord pour redoubler d’efforts pour assurer la qualité des rapports. ❙ Responsabiliser la Direction à l’égard des résultats et du rendement. La Direction fera rapport à CODE tous les deux ans sur les résultats et le rendement de ses opérations à l’aide des résultats des rapports d’achèvement de projets (RAP).

❙ Augmenter l’attention à l’égard de la couverture et de la rapidité d’exécution des RAP. La Direction accorde de plus en plus d’attention à la qualité et à la rapidité des RAP et prévoit d’atteindre son objectif de 90 % en 2018 (voir aussi les mesures énoncées dans la Recommandation 7 sur les incitations).

❙ Renforcer l’obligation de rendre compte sur la qualité des RAP en insistant sur la finalisation des RAP uniquement après examen par le responsable du soutien à la mise en œuvre et par le responsable du secteur concerné.

❙ Mettre en œuvre un système de rapport sur les résultats. La Direction mettra en place le système de rapports sur les résultats en 2019 dans le but de suivre régulièrement les progrès accomplis dans la préparation, la supervision et la clôture des opérations.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV




14. Incitations – Renforcer des mesures incitatives visant à soutenir une culture des résultats et de la qualité en :

a. Renforçant la responsabilisation et alignant les incitations sur la supervision.

b. Renforçant les capacités du personnel en matière de gestion d’activités de projet par le biais d’ateliers d’apprentissage standard et de gammes de formations.

Voir les mesures énoncées en réponse aux Recommandations 7 (Mesures incitatives) et 6 (Formation).

Phot

o: ©

BAD

25

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Introduction et principaux concepts

Introduction et principaux concepts

Introduction

Le présent rapport récapitule les constatations, conclusions, enseignements et recommandations de l’évaluation indépendante de la qualité de la supervision des projets et des processus de sortie de projet du Groupe de la Banque africaine de développement (BAD ou « la Banque ») de 2012 à 2017. Le rapport identifie les domaines prioritaires aux fins d’examen par la Direction de la Banque et le Conseil, en vue d’améliorer la qualité de la supervision et la qualité à la sortie des projets. La présente évaluation tire parti des engagements et des précédentes auto-évaluations de la Banque, des revues institutionnelles et des évaluations d’IDEV. Elle prend aussi en compte les dispositions du nouveau Cadre de mesure des résultats présenté lors de la quatorzième reconstitution du Fonds africain de développement (FAD-14), qui mettait l’accent sur une approche de gestion proactive du portefeuille et le rapprochement des PMR.

L’évaluation est alignée sur les engagements précédents au titre du FAD-12 et du FAD-13 et vise à présenter les progrès dans les principaux domaines, notamment : i) l’amélioration de la qualité de la supervision des projets et de la performance des projets, y compris la gestion des risques sociaux et environnementaux ; et ii) la promotion de l’acquisition des connaissances à la Banque11. L’évaluation vient à point nommé, car elle vise à fournir des données factuelles pour enrichir les échanges de vues à l’occasion de la prochaine revue à mi-parcours du FAD-14. Elle fournit des données factuelles sur les changements réussis et les domaines nécessitant d’autres réformes ou une


conformité améliorée. Elle s’inscrit dans le contexte des réformes institutionnelles en cours, en particulier pour éclairer l’orientation de la mise en œuvre du nouveau Modèle de développement et de prestation de services (DBDM) de la Banque.

Le présent rapport de synthèse s’articule autour des sections suivantes : informations d’introduction (section 1), constatations (sections 2–5) et conclusions, leçons et recommandations (section 6).

But et objectifs de l’évaluation

L’évaluation a un double but. D’une part, elle remplit le mandat de responsabilité de la Banque, en rendant compte de la gestion et de la performance de son engagement à améliorer la qualité de la mise en œuvre. D’autre part, elle contribue aux échanges de vues sur la performance opérationnelle, en identifiant les domaines pour l’acquisition des

connaissances et l’amélioration. L’évaluation adopte une approche axée sur la formation pour déterminer les progrès accomplis jusqu’à présent et les facteurs qui permettent ou entravent la bonne performance. Elle tire des leçons pour la Banque et formule des recommandations pour optimiser le Cadre de contrôle qualité existant pour la supervision et à la sortie, en vue d’améliorer la qualité de l’exécution des opérations de la Banque. Plus précisément, les objectifs de l’évaluation consistent à fournir des données probantes sur :

i. La mesure dans laquelle le système de supervision des projets de la Banque est pertinent, adéquat et aligné sur les meilleures pratiques, y compris les exigences de sauvegarde environnementale et sociale ;

ii. La performance du cadre de contrôle qualité de la Banque durant l’exécution et à l’achèvement, plus particulièrement en rapport avec la mesure

Figure 1 : Cadre d’analyse de l’évaluation

Supervision axée sur le risque

(Planifier par les besoins)

Tirer des enseignements et résultats au plan du développement

Environnement favorable

Capacité

Contexte du pays

Anticiper les questions

Aborder les questions

Prendre des mesures

Rendre compte des résultats conformément au plan

État d’avancement de l’exécution

27Introduction et principaux concepts

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

dans laquelle il est fondé sur les risques, fournit des rétroactions et assure un suivi actif et favorise le suivi axé sur les résultats et l’établissement de rapports ;

iii. Les facteurs qui ont permis et/ou entravé l’exécution efficace de la supervision ; et

iv. Les enseignements pour éclairer l’utilisation future de la supervision pour assurer l’obtention des résultats en matière de développement et l’acquisition des connaissances institutionnelles, ce qui devrait appuyer le programme de transformation de la Banque.

Portée et questions de l’évaluation

L’évaluation porte sur les opérations du secteur public comme du secteur privé, qui étaient effectives et actives de 2012 à 2017, d’une valeur d’approbation totale de l’ordre de 5 817,7 millions d’UC12.

L’évaluation vise à répondre à quatre questions essentielles. Ces questions sont présentées plus en détail dans 22 sous-questions, abordées par le biais de plus de 30 critères de jugement pour établir la matrice d’évaluation. L’analyse et les constatations étaient fondées sur le cadre d’évaluation de la Figure 1. Ce cadre est sous-tendu par le concept de supervision et le cadre de contrôle qualité pour la supervision à la Banque. Le concept stipule que la supervision doit garantir l’engagement de l’emprunteur d’exécuter le projet conformément au plan et au but, de couvrir le cycle allant du stade de post-approbation à l’achèvement, d’assurer l’établissement de rapports axés sur les résultats et de fournir des enseignements utiles pour éclairer les futures opérations. Le cadre se base en outre sur le principe selon lequel la supervision devrait atteindre ses objectifs, en tenant compte de l’environnement favorable et du contexte du pays, qui est propice pour l’obtention des résultats escomptés. Pour déterminer la qualité de la supervision, le cadre considère les facteurs suivants censés influencer la qualité de l’exécution : a) les facteurs et processus

de supervision sont adaptés au profil et au contexte des projets ; b) les activités de supervision garantissent l’attention prêtée à la conformité aux exigences fiduciaires, environnementales et de sauvegarde, la proactivité et la solution des problèmes ; c) le suivi et l’évaluation efficaces qui permettent l’établissement de rapports de performance crédibles ; et d) l’établissement de rapports mettant l’accent sur les résultats et les enseignements. Pour les opérations du secteur privé, le cadre examine en outre la capacité des clients à respecter pleinement le calendrier de paiement et à rendre convenablement compte des résultats.

Les questions d’évaluation portant sur les problèmes posés par celle-ci sont les suivantes :

a. Le cadre de contrôle qualité actuel de la Banque pour la supervision et la sortie des projets est-il pertinent et aligné sur les meilleures pratiques ?

b. Dans quelle mesure le cadre de contrôle qualité de la Banque a-t-il été appliqué comme prévu ?

c. Comment la supervision de la Banque a-t-elle contribué à la qualité de la mise en œuvre, l’établissement de rapports sur les résultats et l’acquisition des connaissances ?

d. Comment garantir et maintenir un système de supervision convenable pour la Banque à l’avenir ?

Conception de l’évaluation et méthodes d’évaluation

L’évaluation se fonde sur la théorie. Le point de départ de l’évaluation est une théorie du changement remodelée pour la supervision et la sortie des projets de la Banque, tirant parti de l’actuel Manuel des opérations, qui a trois principes directeurs essentiels, consistant à : a) aider les emprunteurs à exécuter les projets et en assurer le suivi ; b) assurer les progrès de l’exécution des projets ; et c) rendre


compte des résultats obtenus et des enseignements tirés. La théorie du changement remodelée a servi à présenter l’actuel cadre de contrôle qualité, évaluer les progrès et identifier les changements supplémentaires nécessaires pour impulser les changements escomptés. Ce processus a enrichi l’élaboration d’un cadre d’évaluation qui a défini les changements visés pour le contrôle qualité aux fins d’amélioration de la performance. La matrice d’évaluation précise les questions de l’évaluation, les critères de décision, les indicateurs et les sources de données pour appuyer les constatations. La théorie du changement globale et les détails des méthodes appliquées sont indiqués à l’annexe B2.

L’évaluation a utilisé cinq sources de données complémentaires. L’analyse et les constatations étaient fondées sur le cadre d’évaluation de la Figure 1. Ces sources sont les suivantes : i) un examen des politiques et des directives de la Banque pour établir la pertinence et la validité du cadre de contrôle qualité appliqué ; ii) un examen documentaire d’un échantillon représentatif déterminé de projets pour identifier les progrès et les niveaux de réalisation ; iii) un examen des institutions de référence axé sur quatre d’entre elles (BID, Banque mondiale, SFI et MCC) pour lesquelles des visites et des entretiens ont été menés, et d’autres (FIDA et BERD) pour lesquelles des examens documentaires et des entretiens téléphoniques ont été menés pour déterminer les meilleures pratiques qui pourraient être adaptées au contexte de la Banque ; iv) une enquête en ligne auprès du personnel de la Banque participant à la supervision ; v) des études de cas pays sur cinq pays (Cameroun, Kenya, Maroc, Sénégal et Zimbabwe), qui comportaient des entretiens avec les emprunteurs/clients et les autorités nationales, des visites sur le site des projets pour avoir les avis sur la performance de la Banque du point de vue de la fourniture de l’appui nécessaire et les domaines qui pourraient être améliorés.

Une approche fondée sur des méthodes mixtes a été utilisée. Elle consistait en une analyse qualitative des principaux documents et des entretiens et des données quantitatives obtenues

du système d’information de la Banque et des réponses à l’enquête en ligne. L’équipe a procédé à un examen du processus pour un échantillon déterminé de 83 projets du secteur public et de 38 du secteur privé. L’équipe a évalué le niveau de conformité et l’application du cadre de la qualité de la supervision et illustré les effets sur la performance. Elle a en outre procédé à une validation d’expert sur dossier de 77 opérations (45 publiques et 22 privées), en évaluant les principaux aspects qui contribuent à la qualité de la supervision : a) qualité de l’approche en matière de supervision ; b) performance en matière de suivi et d’évaluation ; c) rétroaction et suivi des mesures correctives pour résoudre les problèmes qui se posent ; et d) réalisme des résultats en matière d’établissement de rapports.

L’examen de la qualité à la sortie a inclus un examen du processus et un examen de la qualité de l’établissement de rapports en s’intéressant à deux aspects essentiels de la performance (notation de la « qualité des enseignements » et « viabilité ») en tant que valeur de remplacement, compte tenu du nombre limité de RAP disponibles dans l’échantillon. Seulement 12 XSR et 14 RAP étaient disponibles pour l’échantillon identifié. Outre l’échantillon, l’équipe d’évaluation a aussi eu recours aux validations d’IDEV pour évaluer la performance. Elle a utilisé cinq études de cas pays ainsi que les constatations de l’enquête auprès des parties prenantes.

Limitations

a. L’évaluation n’a pas pleinement reflété la qualité à la sortie des opérations de la Banque. Une analyse en cours par IDEV du système d’auto-évaluation examine en détail la qualité des RAP et des XSR. La présente évaluation a donc mis l’accent sur l’appréciation du respect des normes et l’approche, ainsi que sur deux aspects de la performance en matière d’établissement de rapports, c’est-à-dire la qualité de l’établissement de rapports


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

sur les risques concernant la viabilité et la qualité des enseignements.

b. Les données secondaires n’étaient pas toujours disponibles. Le faible nombre de XSR et leur validation pour une évaluation indépendante ont limité l’évaluation du contrôle qualité de la Banque à l’achèvement, pour ce qui est de la performance en matière d’établissement de rapports sur les résultats. Pour rendre l’évaluation plus pertinente pour les récentes réformes, les premières dates limites pour l’échantillonnage ont été fixées entre 2012 et 2017. Toutefois, l’évaluation a dû remonter plus loin, à 2009, pour les opérations du secteur privé pour avoir un échantillon de XSR de taille convenable. Même en procédant ainsi, l’échantillon total de rapports achevés s’est établi à 14 RAP et 12 XSR au cours de cette période. En outre, l’équipe d’évaluation a eu du mal à accéder aux rapports de fin de mission de supervision en raison des lacunes du système de gestion de documents de la Banque. Par ailleurs, les documents sur les activités de supervision continue sur dossier n’étaient pas régulièrement disponibles pour permettre d’évaluer pleinement la qualité de ce type de supervision. Cette lacune a été atténuée dans une certaine mesure par l’utilisation d’autres sources de données, le cas échéant, y compris des consultations avec les chefs de projet concernés, les CEP et les organismes d’exécution lors des visites d’étude de cas de pays.

c. La portée de l’évaluation a été limitée à la qualité de la supervision des projets et ne pouvait pas couvrir en détail la supervision du portefeuille, en particulier pour évaluer les revues de portefeuilles de pays du fait du temps excessif et des contraintes de ressources de l’évaluation.

d. Une lacune plus importante, concernant tous les cas, était la disponibilité limitée de documents de suivi de projets, en particulier les rapports de

fin de mission, les aide-mémoire et les termes de référence des missions pour les opérations de la Banque et l’absence de données cohérentes sur les indicateurs de performance en matière de suivi.

e. Dans le cas des opérations du secteur privé, l’évaluation n’a mis l’accent que sur les principaux aspects de la qualité généralement adoptés par les évaluations en tant que facteurs déterminants de la qualité de la supervision de projets. L’évaluation n’a pas comporté une analyse en profondeur du suivi du risque de crédit et les activités des opérations spéciales.

f. L’évaluation a porté sur la période 2012–2017 et des cas récents ont été inclus pour faire en sorte que la source des données soit à jour, ce qui a aussi permis de disposer des interlocuteurs informés. En revanche, cela signifiait que les résultats des réformes en cours ne pouvaient pas être pleinement reflétés dans l’évaluation.

g. Enfin, le taux de réponse pour l’enquête auprès du personnel était faible. Pour remédier à cette situation, IDEV n’a rapporté que les constatations pour les groupes professionnels qui ont manifesté une marge d’erreur raisonnable, à savoir : i) chefs de projet (90 % C.I. de +/-9 %) ; et ii) chargés de programme pays (90 % C.I. de +/- 12 %).

Les concepts de supervision et d’achèvement de projet

Conformément à la pratique des BMD, le concept de la Banque stipule que l’emprunteur a la responsabilité de l’exécution du projet, alors que la Banque l’aide à exécuter les opérations comme prévu. Il sous-tend en outre le rôle essentiel que joue la supervision dans l’obtention des résultats en matière de développement et de l’impact par le règlement proactif de problèmes et la recherche et correction d’erreurs. À la Banque, le concept de supervision est appliqué aux


opérations souveraines comme non souveraines, avec une différenciation des processus pour répondre à leurs caractéristiques respectives. Le Manuel des opérations (2014) de la Banque fait référence à la supervision générale de toutes les opérations comme étant le « suivi de la mise en œuvre », en décrivant le cadre comme étant « un ensemble continu d’activités exécutées au cours de la durée de vie d’un projet, du lancement du projet à l’achèvement en passant par les activités de supervision courante ». La supervision par la Banque est axée sur trois principes essentiels consistant à : a) aider l’emprunteur à exécuter le projet ; b) suivre et assurer les progrès de la mise en œuvre ; et c) rendre compte des résultats obtenus et des enseignements tirés. Pour la Banque, la supervision devrait renforcer la gestion et la mise en œuvre du projet et améliorer l’impact des projets sur le développement. La supervision est aussi considérée comme devant soulever les questions pendantes et mettre en évidence les décisions prises par la direction de la Banque et/

ou d’autres mesures requises par l’emprunteur, le client et les organismes d’exécution pour améliorer la performance du projet.

La Banque exécute des activités essentielles lors de la clôture ou de la sortie d’un projet pour garantir la pérennité des résultats et améliorer ses futures opérations. Cette phase commence par les activités de préparation de la clôture d’un projet et l’établissement d’un rapport d’auto-évaluation qui, d’après les Directives opérationnelles, « permet à la Banque de rendre compte de ses investissements et de recueillir des données d’expérience et des enseignements des opérations achevées pour éclairer la nouvelles programmation ». Le rapport d’achèvement de projet (RAP pour le secteur public et XSR pour le secteur privé) représente la dernière étape importante de l’établissement de rapports sur les résultats de la mise en œuvre. La détermination du moment approprié pour réaliser les examens et la présentation dans les délais de ces rapports sont essentiels pour l’établissement de rapports sur les

Encadré 1 : Aperçu du mécanisme de supervision de la Banque

Le concept de supervision de la Banque est mis en œuvre à deux niveaux : les projets et les portefeuilles. La supervision des portefeuilles concerne l’ensemble de ses opérations, avec néanmoins, une distinction nette des processus exigés pour les secteurs public et privé.

Les opérations du secteur public font appel à trois mécanismes de supervision complémentaires au sein de la BAD :

a. Les missions de supervision sur le terrain réalisées en tenant compte des exigences relatives à la fréquence, au budget, à la durée et à la composition des équipes ;

b. La supervision documentaire qui consiste en la préparation des documents d’orientation et des rapports, l’examen des rapports présentés par les clients et les emprunteurs et les réponses qui y sont apportées ; et

c. L’appui à la mise en œuvre des projets.

Le suivi et la supervision des opérations du secteur privé, en plus de la mise en œuvre des mécanismes susmentionnés, mettent l’accent sur la collecte d’informations dans trois principaux domaines :

a. Mise en œuvre du projet, performance financière, résultats en matière de développement, respect des engagements environnementaux et sociaux (S&E) et autres liés aux prêts qui sont spécifiques au secteur. Ils doivent faire l’objet de comptes rendus systématiques au titre des rapports de retour de mission (BTOR) détaillés après chaque mission de supervision sur le terrain. Ces rapports se présentent sous différents modèles pour les opérations financières et non financières ;

b. État d’avancement de l’exécution, viabilité commerciale et résultats de développement. Ils doivent faire l’objet de rapports trimestriels sur l’état d’exécution des projets (REP) et de rapports annuels de supervision (ASR) ; et

c. Résultats de développement, résultats des placements de la BAD et additionnalité. Ils sont examinés dans un rapport de supervision élargi (XSR) ponctuel, lorsqu’un projet atteint sa maturité opérationnelle, généralement trois ou quatre ans après le décaissement dans les opérations non-financières.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

résultats. Plus particulièrement pour la préparation des XSR, les meilleures pratiques exigent que la période de maturité appropriée soit déterminée sur la base des directives concernant le type d’opération.

Les recommandations passées en matière d’évaluation (OPEV, 2010) soulignent que le suivi et la supervision lors de l’exécution et de l’achèvement sont censées répondre à de multiples objectifs, et exigent que les processus appropriés et les dispositions structurelles soient en place. De ce fait, tous les principaux partenaires de développement13, y compris la Banque, sont déterminés à renforcer l’accent sur la mise en œuvre par diverses réformes, y compris les outils, les procédures et les dispositions institutionnelles.

Compte tenu de ce qui précède, le cadre conceptuel pour la qualité de la supervision est considéré comme étant en grande partie axé sur l’atténuation efficace des risques, la gestion adaptative et basée sur les résultats. De même, la qualité à la sortie, qui fait partie intégrante du programme de résultats de la Banque, est considérée comme jouant un rôle essentiel dans l’identification et l’application des enseignements tirés des activités de supervision et d’achèvement de projets, pour améliorer la qualité, la performance et la viabilité à long terme des opérations. Ceci exige alors que soient mis

en place des connaissances et des pratiques de gestion de la performance crédibles, ainsi que des dispositions institutionnelles favorables.

Le cadre de contrôle qualité de la Banque, qui porte à la fois sur la qualité à l’entrée, la qualité de la supervision et la qualité à la sortie, est fondé sur les obligations liées aux recommandations formulées précédemment et les engagements pris au titre du FAD14. Ses dispositions concernant la qualité de la supervision et la sortie se caractérisent par trois éléments essentiels, consistant à : a) adopter une orientation axée sur les risques dans les pratiques de supervision ; b) conserver un suivi axé sur les résultats ; et c) améliorer l’établissement de rapports sur la mise en œuvre au-delà de l’accent mis sur les produits pour évaluer les résultats en matière de développement. Ces éléments sont considérés par l’évaluation comme les facteurs déterminants de la qualité de la supervision et à la sortie. Le cadre d’évaluation considère de ce fait que réaliser la qualité consiste à faire en sorte que i) l’emprunteur adhère à la supervision, en adaptant celle-ci aux besoins et au contexte du type de projet et à la complexité ; ii) la supervision commence au début du projet et se poursuit jusqu’à l’achèvement ; et iii) la supervision permette l’établissement de rapports axé sur les risques et les résultats et améliore la probabilité d’une exécution efficace.

Phot

o: ©

BAD

33Évolution du cadre de supervision de la Banque

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Évolution du cadre de supervision de la Banque

Dans quelle mesure la Banque a-t-elle donné suite aux recommandations issues des revues antérieures ?

La supervision au sein de la Banque a évolué après plusieurs examens et en raison des objectifs stratégiques institutionnels qui visent la création d’une culture de mise en œuvre plus forte et axée sur les résultats. D’autres BMD15 sont allées dans le même sens en adoptant des réformes similaires au cours de la période.

En 2012, la Banque a approuvé de nouvelles initiatives visant à améliorer le cadre de contrôle qualité et à orienter le suivi de la mise en œuvre. Il s’agissait de réviser les outils et les directives en matière de présentation de rapports pour le suivi du portefeuille du secteur privé et la supervision des projets du secteur public suite aux recommandations

issues des revues et évaluations antérieures.16 Les révisions portaient également sur l’outil d’élaboration des rapports d’achèvement, tel que présenté à la figure 2.

L’introduction des outils de contrôle qualité pour se conformer aux bonnes pratiques des institutions de référence et se concentrer sur les résultats et l’efficacité du développement a été un pas dans la bonne direction.

La Banque a renforcé davantage son engagement en faveur des résultats et de la qualité en créant une unité distincte dans le cadre de sa récente restructuration organisationnelle afin d’assurer le suivi de la performance, depuis 2015. Ces actions ont été accompagnées par l’introduction d’un système amélioré de tableaux de bord de la qualité afin de renforcer les efforts en matière de suivi et de rapports sur la performance du portefeuille.

Figure 2 : Évolution des efforts de la Banque pour l’amélioration de la qualité de supervision des projets

❙ Révision du cadre de mesure des résultats (CMR)

❙ Révision des directives applicables aux ONS

❙ Révision de la « Flashlight » du portefeuille

❙ Mise à l’essai de l’outil REE (rapport sur l’état d’avancement de l’exécution)

2012

Secteur public :

a. Introduction des REE

b. Révision du format des RAP conformément aux REE

Secteur privé :

a. Révision des directives applicables aux ONS pour le suivi du portefeuille

b. Révision des formats de rapports (financiers)

2013–14

Secteur privé :

❙ Révision des directives applicables aux ONS

❙ Modification des directives en matière d’examen du risque de crédit : SOU

❙ Supervision axée sur les risques

❙ Tableau de bord de la qualité

❙ Révision des REE

❙ Décentralisation renforcée

2015

Secteur public :

❙ Mise à l’essai du Système intégré pour les projets – Plateforme RRS

Secteur privé :

❙ Restructuration du suivi du portefeuille

2016–17


La Banque continue d’assurer l’équilibre entre les activités de prêt et de mise en œuvre, avec des efforts sur le suivi du portefeuille. Elle a introduit, à ce titre, des indicateurs de mise en œuvre clés dans ses rapports d’activité, en se fixant des objectifs pour suivre les progrès en matière de supervision des projets17 et du portefeuille dans ses principaux rapports d’activité, dont le récent Rapport annuel sur l’efficacité du développement (ADER). Ces efforts ont été renforcés par un suivi étroit supplémentaire de la haute direction à travers les réunions mensuelles sur l’état des opérations et des outils de suivi de la performance, y compris le tableau de bord révisé des résultats.

En ce qui concerne les opérations du secteur privé, la Banque a également abordé les questions soulevées lors de ses auto-évaluations, ses revues institutionnelles et des évaluations indépendantes d’IDEV.18 Il s’agissait notamment de rapports axés sur les résultats, la capacité des opérations d’investissement et des interventions financières

afin de cerner les résultats de développement et d’en rendre compte de manière appropriée (une faiblesse clé relevée dans les revues antérieures et récentes). Depuis lors, les formats de rapport pour la supervision des opérations financières ont été revus, afin d’y inclure des sections sur les indicateurs des résultats de développement, en plus des directives révisées pour le suivi du portefeuille. La Banque a également amélioré son approche axée sur les risques et les résultats dans le suivi des portefeuilles avec la mise en place de l’Unité des opérations spéciales19, qui assure la surveillance des projets en grande difficulté et s’occupe des opérations de sauvetage ou des pertes potentielles, le cas échéant.

Dans le cadre de ses engagements en matière de mise en œuvre, la Direction de la Banque s’emploie à résoudre les problèmes majeurs, même s’il y a matière à amélioration pour atteindre des niveaux optimaux, face aux défis de conformité et de responsabilité persistants relevés dans les revues antérieures par rapport à la qualité.

35Pertinence du cadre de supervision de la Banque : faisons-nous ce qu’il faut ?

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Pertinence du cadre de supervision de la Banque : faisons-nous ce qu’il faut ?

La pertinence de la supervision des projets a été évaluée sur deux dimensions : i) la cohérence de la politique et du cadre de supervision des projets avec l’orientation stratégique de la Banque en matière de risques, de résultats et de rapports ; et ii) la manière dont les activités, les procédures et les initiatives organisationnelles au titre du cadre répondent aux objectifs visés, conformément aux directives. Cette évaluation s’est appuyée sur les réponses de la Banque lors des revues antérieures et sur les engagements pris par le FAD pour améliorer la qualité de la mise en œuvre. Les sources de données probantes sont notamment : les documents de présentation des résultats de la Banque, les mises à jour des réformes, les directives révisées et les entretiens approfondis dans l’ensemble de la structure organisationnelle de la Banque.

Pertinence des politiques et directives en matière de supervision

Le Manuel des opérations de 2014 donne des orientations sur les étapes à suivre dans le processus de supervision des opérations du secteur public. Même s’il porte essentiellement sur le secteur public, des orientations claires sont fournies sur l’approche élargie de la Banque en matière de supervision, avec différents instruments20 de supervision dans toutes les opérations. Les particularités des opérations du secteur privé sont détaillées dans les directives en matière de suivi du portefeuille (2014). L’évaluation a permis d’identifier les domaines dans lesquels les orientations en matière de supervision pourraient être renforcées. Par exemple, la Banque ne dispose pas d’orientations spécifiques pour les différents types d’opérations de prêt et hors prêt, afin d’aborder

les questions spécifiques liées à la supervision des opérations multinationales ou de différents secteurs. Même si ce document peut être considéré comme une note d’orientation générale, les deux tiers des employés de la Banque interrogés dans le cadre de l’évaluation, ont exprimé leur préoccupation quant à l’absence d’un manuel des opérations à jour qui serait facilement accessible en ligne, ou qui donnerait plus de détails et servirait de procédures administratives pour un usage quotidien. Le Manuel des opérations de 1999 de la Banque a été révisé et finalisé en 2015, mais son lancement officiel tarde. Il ressort des consultations avec les parties prenantes que le processus a pris du retard parce qu’il a fallu attendre la fin du processus de transformation institutionnelle de la Banque. L’examen des documents d’orientation de la Banque et des réponses lors des entretiens montre que les orientations visant à garantir la qualité à l’achèvement des projets ne sont pas bien définies ni suffisamment axées sur les résultats. Les directives opérationnelles devraient fournir des orientations supplémentaires sur les mécanismes de suivi requis pour s’assurer de remplir les conditions de sortie et de durabilité.

Supervision décentralisée

La décentralisation de la Banque dans le cadre du nouveau modèle de développement et de prestation de services (DBDM) témoigne d’un engagement renouvelé en faveur d’une approche beaucoup plus axée sur la qualité de la mise en œuvre. Cependant, les directives opérationnelles de la Banque ne reflètent pas encore cet engagement. Avec la décentralisation renforcée, le personnel des bureaux pays joue un rôle plus important dans


la supervision des projets, en témoigne la dernière matrice de délégation des pouvoirs (juillet 2018). Compte tenu du rôle important attendu des bureaux pays dans la supervision continue des projets, il est nécessaire d’avoir des orientations supplémentaires et des dispositions spécifiques concernant les activités requises et le rôle du personnel. Les chefs des bureaux pays ont souligné la nécessité d’un modèle pour rendre compte des efforts déployés par le personnel des bureaux pays, notamment les Chargés de Programme pays, pour la supervision quotidienne en plus des missions de supervision officielles.

Alignement sur les normes de bonnes pratiques

Les récentes révisions apportées par la Banque aux outils et aux directives en matière de contrôle qualité au cours de la mise en œuvre et de l’achèvement des projets, sont conformes aux meilleures pratiques des institutions homologues. L’objectif recherché était d’intégrer la pratique mondiale et institutionnelle de gestion axée sur les résultats dans les BMD, notamment par l’identification précoce des risques et des mesures d’atténuation pour éclairer

l’apprentissage et optimiser les performances. Il s’est notamment agi de réviser l’outil REE pour les opérations du secteur public et d’améliorer le BTOR pour les opérations du secteur privé en 2015. Toutefois, des mesures supplémentaires de vérification et de production de rapports indépendants s’imposent pour améliorer la qualité du contenu.

Les procédures de suivi et de supervision de la Banque pour les projets du secteur privé n’ont pas subi de changement majeur au cours de la période d’évaluation avant les réformes structurelles entreprises au dernier trimestre de 2017. Ce changement est conforme au nouveau DBDM. La supervision du portefeuille relève désormais des départements sectoriels contrairement à la pratique dans le système antérieur de supervision centralisé. Les révisions proposées pour les formats des rapports du secteur privé sont pertinentes et tiennent compte des spécificités des opérations financières. Il est également essentiel d’avoir des modèles de rapports différents selon le type de projet et le secteur pour les opérations non financières, à des fins d’harmonisation des rapports par secteur et type de projet.

Encadré 2 : Supervision des aspects liés aux sauvegardes environnementales et sociales (ESS)

La Banque ne s’est pas encore totalement mise en phase avec les meilleures pratiques en ce qui concerne le renforcement de la supervision des risques environnementaux et sociaux des projets pendant leur mise en œuvre, en vue de l’application effective des mesures d’atténuation convenues, notamment l’indemnisation des personnes affectées par les projets financés par les BMD. Les 12 spécialistes en la matière au sein de la Banque couvrent l’ensemble du portefeuille des opérations du secteurs public et privé. Ils consacrent l’essentiel de leur temps à la diligence raisonnable avant l’approbation des projets. La SNSC tient compte des invitations et du budget des départements en charge des opérations pour participer aux missions de supervision sur le terrain. Dans la pratique, le personnel du service de sauvegardes environnementales (ES) consacre 80 % de son temps à l’évaluation des projets. Certes, ce déséquilibre a été la norme depuis le début de la mise en œuvre des ESS au sein de la Banque, mais les exigences de la DP 02/2015 ont mis davantage de pression sur le personnel ESS pour minimiser, au niveau des plans E&S, les retards en termes d’efficacité et de décaissement aux premières étapes de la mise en œuvre des projets.

D’autres institutions de référence ont recours à la planification axée sur le risque pour la supervision des questions environnementales et sociales. Il s’agit, par exemple, de la Banque mondiale qui dispose d’un coefficient budgétaire alloué à la supervision des ES en fonction de la catégorie de risque du projet (y compris les coûts/temps, les déplacements et les consultants). Cette approche inverse le niveau d’effort (coût et temps consacré par les spécialistes des sauvegardes) en se focalisant sur la supervision en lieu et place de l’évaluation. Au niveau de la SFI et de la BID, l’alignement sur ce principe est effectif, quoique dans une moindre mesure que la Banque mondiale.


Une

éval

uatio

n in

stitu

tionn

elle

IDEVLes outils de supervision de projet

répondent-ils aux besoins ?

Les résultats de l’enquête indiquent que la majorité des chefs de projet (82 %) estiment que tous les outils de production de rapports (y compris le BTOR et l’aide-mémoire) apportent une valeur ajoutée aux rapports sur la mise en œuvre des projets, chacun servant un objectif spécifique.

Cependant, comme noté lors des consultations avec les parties prenantes, il est possible de réduire au minimum les doublons en veillant à ce que : i) le REE mette l’accent sur la présentation des résultats ; ii) l’aide-mémoire signé entre l’emprunteur et la Banque rende compte des mesures de suivi convenues ; et iii) les BTOR identifient les enjeux critiques qui nécessitent une attention immédiate de la direction, en particulier lorsqu’il s’agit de gérer des questions internes ou sensibles.

Selon l’enquête, environ 60 % des chefs de projet ont une opinion positive des REE, et 73 % des personnes interrogées s’accordent sur leur pertinence pour éclairer les décisions sur les questions relatives aux projets. Les consultations avec les parties prenantes ont également confirmé toute la valeur des REE dans l’intégration et l’harmonisation des normes d’établissement des rapports. Les REE sont jugés particulièrement importants pour une meilleure harmonisation des rapports de projet avec le cadre de mesure des résultats au niveau de l’institution. Par exemple, même si le REE comprend des

sections spécifiques sur les questions de genre et d’environnement, il occulte les questions de fragilité et de résilience. Ces questions ont déjà été portées à la connaissance de la direction de la Banque à la faveur des dernières revues effectuées par le service de contrôle qualité. Un engagement avait donc été pris pour une révision ultérieure du REE en fin 2017. Toutefois, l’évaluation n’a trouvé aucune preuve de sa mise en œuvre.

Les participants à l’enquête ont également reconnu le rôle clé des outils de supervision du portefeuille, en particulier la « Flashlight »21 et le tableau des résultats, dans l’amélioration de la qualité du portefeuille, de la performance des projets et de l’efficacité opérationnelle.

La révision des outils destinés au secteur privé a permis de différencier et de cibler les rapports sur les résultats en fonction des différents instruments, mais des lacunes subsistent à cause de l’absence d’un processus simplifié d’élaboration de rapports sur la gestion du portefeuille. Selon l’équipe de suivi du portefeuille, les révisions auraient rajouté plus de couches, les rendant donc inefficaces par rapport au temps nécessaire à leur préparation. Cet aspect est perçu comme un fardeau pour les chargés du portefeuille. Par exemple, les revues documentaires de 22 projets de l’échantillon montrent que les BTOR et les rapports sur l’état des projets (PSR) sont répétitifs, mais avec plus d’informations pertinentes dans les BTOR par rapport aux PSR. Les PSR étaient perçus comme une synthèse du BTOR, les exigences en matière de notation le différenciant du BTOR. De nombreuses personnes interrogées (44 %) ne pensent pas le modèle du BTOR donne des orientations suffisantes selon le type de projet et pour 55 %, il ne couvrirait pas les résultats de développement de façon exhaustive.

En 2015, le département du secteur privé a pleinement adopté une pratique axée sur la gestion des risques pour la supervision, avec une révision de ses directives en matière de suivi et la création de l’Unité des opérations spéciales (SOU), y compris l’introduction de réunions de suivi mensuelles pour

Figure 3 : Le BTOR, l’aide-mémoire, le rapport de supervision apportent une valeur ajoutée aux rapports sur l’état d’avancement et les principaux enjeux

26 %

56 %

11 %3 %

4 %

Absolument pas d'accord

Pas d’avis/non pertinent

Pas tout à fait d'accord

Quelque peu d'accord

Tout à fait d'accord


examiner les projets, notamment ceux dont les résultats sont en deçà des attentes et les nouveaux. Des problèmes de clarté subsistent cependant dans son application. Par exemple, les points de décision et le calendrier des mesures correctives ne sont pas bien définis. Par ailleurs, il n’existe pas de directives formelles en dehors d’un accord informel entre les acteurs responsables pour prendre une décision sur la performance du projet et les décisions correctives ultérieures par le Comité de gestion du risque de crédit (CRC) après que les rapports de supervision aient posé des problèmes. En outre, les chargés du portefeuille ont souligné à quel point ces questions constituaient une source de préoccupation pour eux. Dans certains cas, des problèmes ont été relevés dans les BTOR, mais n’ont été réglés qu’avec beaucoup de retard. Dans d’autres cas, il s’agit d’erreurs dans la décision de classer le projet sur la liste de surveillance (par exemple, l’inscription d’un client à defaut, une Banque) sur la liste de surveillance n’est intervenue qu’après des alertes dans deux rapports de supervision). Dans l’ensemble, l’évaluation a souligné la nécessité de clarifier davantage les processus et les mécanismes de communication au sein du système.

La Banque n’a pas encore adopté un système intégré qui recueille des informations à partir des rapports de supervision pour constituer une base de données des enseignements pour les nouvelles opérations. Actuellement, cet aspect n’est pris en compte que dans les rapports de supervision élargis (XSR), comme confirmé par les répondants à l’enquête (57 %) qui réfutent l’idée d’une intégration effective des outils informatiques de gestion de projets de la Banque. D’autres institutions, telles que la BID22 et la BERD, ont mis en place des plateformes qui assurent une meilleure intégration de l’ensemble du cycle des projets en vue d’un développement efficace et d’un apprentissage organisationnel. Les risques identifiés lors de l’évaluation font l’objet d’un suivi et d’une gestion au cours de la mise en œuvre, et les enseignements sont tirés lors des supervisions et à l’achèvement des projets afin d’éclairer systématiquement les nouvelles opérations.

Dans l’ensemble, la Banque s’efforce d’aller dans le sens des institutions sœurs en ce qui concerne les opérations du secteur privé, même si elle accuse un retard sur certains aspects, avec notamment l’absence d’un système intégré de gestion des informations sur les projets et de suivi systématique des risques liés aux résultats de développement. En revanche, les institutions homologues ont progressé avec l’adoption de systèmes intégrés de gestion des informations sur les projets tels que AIMM23 par la SFI, TIMS par la BERD et DELTA24 par la BID Invest pour le suivi et la surveillance efficaces des risques des projets lors de leur approbation et l’application des indicateurs de suivi requis pour déterminer les niveaux de performance et les progrès vers la réalisation des résultats en matière de développement à des niveaux déterminés.

Dispositions institutionnelles

Clarté des rôles

Les directives de la Banque sont claires en ce qui concerne la responsabilité de supervision et la composition de l’équipe requise pour le lancement des projets, la supervision sur le terrain et les missions d’achèvement. Les termes de référence précisent les rôles et les responsabilités de l’équipe, même si la responsabilité finale incombe au chef de projet. Plus de la moitié des parties prenantes consultées ont souligné la nécessité d’avoir des directives claires sur les rôles et les responsabilités en matière de suivi des projets régionaux. Les entretiens avec le personnel et les équipes de projet des PMR ont révélé que les projets régionaux souffrent d’une insuffisance de coordination couplée à une fréquence de supervision jugée inadaptée. Seuls trois sur dix projets multinationaux de l’échantillon avaient fait l’objet de plus d’une supervision régulière par an. Les revues antérieures25 avaient déjà soulevé cette question, mais l’évaluation n’avait trouvé aucun élément probant sur la façon de la résoudre. Des études de cas pays ont toutefois relevé des cas où des dispositifs spéciaux ont été mis en place


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

par l’intermédiaire des bureaux pays dans les pays impliqués dans le suivi, même si cela s’est avéré inefficace, faute de capacités suffisantes au sein du personnel.

En ce qui concerne le secteur privé, les consultations avec les parties prenantes et les revues documentaires ont révélé de nouvelles dispositions pour régler la question de discontinuité de la participation des chargés d’investissements aux activités du projet après le premier décaissement. Leur faible appropriation des transactions après le décaissement a été identifiée dans les évaluations antérieures comme cause d’un déficit d’appropriation. Il est trop tôt pour évaluer les changements récents dont l’objectif est de créer un sentiment d’appropriation et de responsabilités partagées entre les chargés d’investissement et l’équipe de suivi du portefeuille. Cependant, il est nécessaire de clarifier davantage les rôles, les responsabilités et les rapports hiérarchiques entre les équipes chargées du suivi du portefeuille au niveau du front office du département du secteur privé et les chargés de suivi du portefeuille qui se trouvent dans les départements sectoriels.

Promouvoir une approche d’équipe pour la supervision des projets

La Banque a pris de nouvelles mesures en vue d’adopter une approche d’équipe pour la supervision des projets. L’orientation recommande l’implication d’une équipe multidisciplinaire et la mise en place de nouveaux freins et contrepoids. L’évaluation a toutefois révélé une participation limitée des acteurs clés dans l’écosystème des opérations, après l’approbation. Les revues documentaires de 45 projets de l’échantillon ont affiché un taux global de satisfaction de 60 %, avec la participation régulière des experts fiduciaires. Quant aux autres experts (E&S, droit, changement climatique, genre, etc.), ils n’ont pas été suffisamment impliqués. Dans leurs commentaires, les répondants et près de la moitié des chefs de projet interrogés reviennent

sur la nécessité pour les équipes fiduciaires de jouer efficacement leur rôle en s’attaquant aux problèmes de mise en œuvre au lieu de faire la police ou de simplement signaler les problèmes sans y apporter des solutions concrètes.

Approche globale de la supervision de la Banque

L’approche globale de la Banque en matière de supervision des projets au cours de la période d’évaluation n’est pas jugée assez proactive, lorsqu’il s’agit de déterminer la mesure dans laquelle la Banque prévoit et organise l’appui requis en fonction du contexte du projet ou du niveau de risque au moment de l’approbation de ses opérations du secteur public. La plupart des chefs de projet et d’autres membres du personnel des opérations ont confirmé que l’introduction des récents outils de contrôle qualité (par exemple la « Flashlight » du portefeuille et les revues du tableau de bord du contrôle qualité), sont utiles pour alerter et fournir des renseignements sur l’état d’avancement du portefeuille. Néanmoins, leur utilité se limite à l’offre d’une plateforme pour l’identification des projets à risque pendant la mise en œuvre et un suivi plus étroit plutôt que l’utilisation des informations sur l’état des risques du projet au moment de l’approbation pour définir l’approche de supervision et de suivi pour la mise en œuvre. Plus de la moitié du personnel des opérations interrogé apprécie les efforts déployés pour combler la lacune que constitue le faible accent mis sur la mise en œuvre. Une analyse du flux de travail des systèmes a révélé l’absence d’une approche systématique de résolution des problèmes au niveau des projets, avant les efforts déployés récemment par la haute direction dans le cadre de différentes initiatives26 pour résoudre les problèmes liés aux projets signalés. Même si l’évaluation a noté la mise en place de points focaux dans les front offices de la vice-présidence régionale et la création d’un poste de responsable chargé de l’appui à la mise en œuvre, elle a noté l’absence de processus et de directives établis pour un suivi axé sur la gestion


des risques et la résolution des problèmes. Par contre, les institutions de référence ont créé des plateformes et des budgets supplémentaires pour aider ces équipes à gérer des projets complexes en plus des systèmes d’alerte dans le cadre des efforts de résolution de problèmes au niveau de la supervision des projets. Par exemple, l’équipe d’appui à la mise en œuvre de la supervision (SIS) du FIDA non seulement surveille et vérifie la qualité de la supervision, mais offre également un appui indépendant pour la gestion de projets risqués et complexes. De même, WB Agile remplit une fonction similaire, en déléguant des équipes au sein des unités sectorielles pour aider à la prise en main des projets complexes lors de leur approbation.

Dans l’ensemble, l’évaluation note les efforts accrus visant à améliorer la supervision, y compris l’attention accordée par la haute direction au suivi du portefeuille à l’aide d’outils de suivi améliorés, des modèles de contrôle qualité et d’autres

initiatives pilotes visant à mettre l’accent sur la présentation des résultats.

Bien que la pertinence globale du cadre de contrôle qualité de la Banque pour la supervision et à la clôture soit indéniable, des changements restent nécessaires pour relever les défis identifiés lors des revues antérieures. Par exemple, le manuel des opérations n’a pas encore été finalisé pour tenir compte des changements récents et le format des rapports de supervision n’a pas encore été intégré au système SAP de la Banque.

L’évaluation note en outre l’absence d’incitations pour promouvoir une culture des résultats et de qualité au cours de la mise en œuvre et de l’achèvement de toutes les opérations. Ce problème ressort clairement dans tous les entretiens menés au sein de la Banque et concorde avec les recommandations formulées dans les évaluations antérieures d’IDEV.27

41Conformité et efficacité de la supervision

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Conformité et efficacité de la supervision

Faisons-nous les choses correctement et selon de bonnes normes de qualité ?

Bien que d’apparence efficace, la façon dont la Banque gère son approche axée sur les risques en matière de supervision et se conforme aux dispositions du Manuel des opérations, par la suite, présente des lacunes. L’évaluation a porté sur les domaines clés suivants afin d’évaluer les progrès réalisés : i) le respect de la fréquence de supervision en fonction des risques du projet ; ii) l’efficacité en termes de temps des activités ou de prise en compte des questions relatives aux décisions de gestion dans les documents d’information ; iii) l’utilisation adéquate des outils d’information nécessaires ; iv) les avis des parties prenantes sur l’adéquation des ressources et des allocations budgétaires en fonction des risques et types de projets ; et v) les compétences suffisantes des équipes chargées des missions de supervision. Les conclusions générales concernant ces dimensions donnent un tableau mitigé des progrès réalisés et autres aspects, qui doivent être renforcés davantage.

Respect de la politique et des procédures en matière de supervision des projets

Pour évaluer la conformité de la supervision, l’évaluation a pris en compte les supervisions sur le terrain et celles sur dossier, qui doivent faire l’objet d’un rapport dans le système REE, pour les opérations du secteur public et d’un BTOR, PSR et XSR pour les opérations du secteur privé. L’évaluation a consisté en l’examen des rapports de 83 projets du secteur public et de 37 projets du secteur privé, ainsi que des rapports annuels, qui ont été confrontés aux exigences des directives et manuels de la Banque.

Pour les opérations du secteur public de 2012 à 2017, 54 (65 %) des 83 projets de l’échantillon ont bénéficié en moyenne d’au moins une supervision par an. Tous les projets problématiques de l’échantillon ont fait l’objet d’au moins une supervision l’an et 77 % d’entre eux en ont bénéficié de deux par an. Ces chiffres témoignent des efforts accrus de la Banque pour superviser régulièrement les projets par rapport à la performance mentionnée dans l’évaluation antérieure d’IDEV (2010), qui indiquait que 57 % des projets problématiques avaient fait l’objet d’une supervision régulière. Le tableau 1 ci-dessous donne un aperçu du respect des normes de supervision des projets.

Pour les opérations du secteur privé, la fréquence de supervision des projets est déterminée par la notation de risque de crédit et la complexité du projet, avec une exigence minimale d’une mission de terrain par an. La revue documentaire a montré que 75 % des projets de l’échantillon, entrés en vigueur en 2015, ont été supervisés régulièrement au cours de la période, mais les BTOR et les autres exigences en matière de rapports ne sont pas toujours disponibles. Toutefois, lors des entretiens avec l’équipe de crédit, le respect à bonne date des exigences de rapports (en terme de soumission des informations pertinentes) a été cité comme un facteur affectant la capacité de cerner les problèmes de façon précoce et de formuler des commentaires dont le client pourrait avoir besoin.

Dosage de compétences dans les équipes de supervision

Selon les directives de la Banque , une mission de supervision à part entière, doit comprendre, outre le

Phot

o: ©

BAD


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Tableau 1 : Importance de l’accent mis sur le risque dans la supervision de l’échantillon (83) pour les opérations du secteur public

Conclusions Catégorie de projet Projets avec 1 mission de supervision maximum/an

Projets avec plus d’1 mission/an

FAD et BAD : Sur la base de l’examen de l’échantillon (83), la supervision des projets est plus importante dans les pays BAD que ceux du FAD.

BAD 22 % 78 %

FAD 42 % 58 %

Atypiques 38 % 63 %

États fragiles : Les projets dans les États fragiles font souvent l’objet de moins de visites.

Fragile 11 sur 21 (52 %) 10 sur 21 (48 %)

Non fragile 20 sur 62 (32 %) 42 sur 62 (68 %)

Taille des projets : Les petits projets et les projets de taille moyenne sont moins régulièrement supervisés que ceux de grande envergure.

1–20 millions d’UC 43 % 57 %

20 à 75 millions d’UC

39 % 61 %

UA > 75 M 15 % 85 %

Risque : En ce qui concerne l’échantillon, les projets à risque (problématiques et potentiellement problématiques) bénéficient d’une supervision plus régulière que les projets non problématiques (non-PP).

Projet à risque 23 % 77 %

Non-PP 40 % 60 %

chef de projet et dans la mesure du possible et en fonction des ressources disponibles, les spécialistes suivants : un spécialiste de la passation des marchés, un spécialiste de la gestion financière, un chargé des décaissements, un spécialiste du genre, un spécialiste des questions environnementales et des sauvegardes, un spécialiste du suivi et évaluation et tout autre spécialiste pertinent, selon la nature et le type de l’opération. Dans la pratique et en raison de la faible disponibilité d’experts et de ressources financières, les missions de supervision ont rarement toutes les compétences requises. La taille et la composition de l’équipe de supervision dépendent néanmoins de la nature du projet, de sorte que des équipes de supervision complètes ne sont pas toujours nécessaires. Selon l’enquête auprès des parties prenantes, 52 % des chefs de projet sont d’avis que la combinaison de compétences des superviseurs sur le terrain ne tient pas suffisamment compte du type et de l’état du projet. Cela corrobore les conclusions de la revue documentaire des rapports de supervision de 45 projets du secteur public, qui ont montré que seules 49 % des missions de supervision étaient suffisamment pourvues en personnel, avec seulement un chef de projet, au

moins un expert fiduciaire et un autre expert du secteur et/ou des questions transversales.

Respect des étapes initiales de mise en œuvre

Les missions de lancement de projet pour aborder les questions préalables à la mise en œuvre n’ont pas été utilisées de façon optimale, d’après la revue du processus des opérations du secteur public. L’évaluation adopte l’approche qui stipule que la supervision doit effectivement commencer dès l’entrée en vigueur du projet. La supervision joue un rôle clé en ce sens qu’elle offre des gains d’efficience par rapport au temps écoulé entre l’entrée en vigueur et l’approbation. L’étude a évalué la conformité et l’utilisation des outils de supervision requis à cette étape pour contribuer à la qualité avant la mise en œuvre des projets. Elle a constaté qu’au cours de la période d’évaluation, seuls 40 projets (48 %) de l’échantillon de 83 projets ont fait l’objet d’un lancement. Par ailleurs, des insuffisances ont été relevées dans la composition de l’équipe et la durée de lancement des projets. Plus de la moitié des entretiens avec les équipes


des PMR et le personnel interne a montré que ces missions intervenaient souvent trop tôt (c’est-à-dire avant que l’équipe permanente du projet ne soit en place) et qu’elles ne consacraient pas suffisamment de temps à l’analyse approfondie des principaux enjeux. La durée maximale notée dans l’échantillon était de 7 jours, mais pas avec la composition complète de l’équipe, compte tenu du personnel de soutien pertinent, notamment les experts juridiques et ceux des ESS.

Bien que l’évaluation ait noté l’application discrétionnaire du lancement en cas d’opérations répétées, cette pratique ne peut se justifier pour les nouveaux projets. Dans leurs commentaires lors des entretiens, les équipes des PMR ont souligné qu’il était souhaitable de faire le lancement d’un projet pour une même équipe qui travaille sur une nouvelle opération en ce sens que l’équipe est ainsi amenée à prendre un engagement commun vis-à-vis des objectifs du projet.

Le lancement du projet est essentiel pour définir les exigences et parvenir à une compréhension commune des avantages attendus au sein de l’équipe, y compris la possibilité de réorienter l’équipe de projet sur toutes les spécificités d’un nouveau projet et tout changement dans les procédures de la Banque. Une bonne pratique est notée avec la BID où des ateliers de lancement sont organisés avant l’approbation et avant le premier décaissement. Au cours du deuxième atelier, un plan de mise en œuvre final est mis à jour et validé en tenant compte des risques de mise en œuvre identifiés lors de l’atelier. Pour eux, le calendrier de ces activités est important dans la mesure où le lancement officiel devrait se faire avec l’équipe approuvée pour la mise en œuvre du projet.

Conformité lors de la mise en œuvre

Des insuffisances subsistent en ce qui concerne le respect des délais de présentation des rapports d’avancement de l’exécution, après les supervisions. La soumission en temps opportun

des rapports après les supervisions est essentielle pour des alertes précoces sur les problèmes du projet et la prise de mesures correctives pour y faire face. Selon le rapport annuel 2017 du tableau de bord de la qualité (mi-juillet 2017), seuls 53 % des rapports de supervision ont été soumis à temps, contre un objectif de 70 %. Le rapport fait également état d’un faible taux de conformité en ce qui concerne la couverture. En dépit d’une légère amélioration dans le respect des délais, le défi reste entier pour la majorité d’entre eux qui sont caduques au moment de leur téléchargement. Les conclusions de l’évaluation à l’issue de la revue des processus corroborent ces faits. L’examen de l’échantillon de 83 projets du secteur public fait état d’un délai moyen de 55 jours entre la date de fin d’une mission et la disponibilité des REE dans le système de la Banque. Il s’agit d’un délai nettement supérieur aux 30 jours recommandées par les bonnes pratiques. Les retards les plus importants ont été observés dans les secteurs suivants : multisectoriel (77 jours), transport (75 jours) et électricité (56 jours). Les chefs de projet sont tenus de fournir des informations sur l’état d’avancement du projet après une mission sur le terrain ou une revue documentaire, qui sera approuvé ultérieurement par le supérieur hiérarchique. Le temps que les équipes de supervision consacrent aux rapports constitue un défi pertinent par rapport aux ressources humaines et au dosage des compétences. Comme mentionné précédemment, c’est souvent au chef de projet qu’incombe la tâche de produire les principaux rapports (avec les contributions des autres membres). Compte tenu des contraintes de temps, la production des REE accuse souvent un grand retard, limitant ainsi la possibilité de traiter les recommandations ou de les porter à l’attention des responsables.

Selon les directives opérationnelles de la Banque, les revues à mi-parcours (RMP) sont obligatoires pour toutes ses opérations de prêt à un moment donné de la mise en œuvre, mais cette disposition n’a pas été mise en œuvre de façon systématique. Son rôle est important dans l’évaluation des progrès et la prise de décisions concrètes pour mettre l’opération sur la bonne voie,


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

afin d’atteindre les objectifs de développement. Parmi les chefs de projet qui ont participé à l’enquête, 81 % ont trouvé que la RMP était un outil efficace pour les processus correcteurs tels que la restructuration et le refinancement pendant la mise en œuvre du projet, (Figure 4). Cependant, d’autres commentaires ont estimé que les processus de correction pouvaient être extrêmement difficiles et que la RMP ne devrait donc être utilisée qu’en dernier recours.

Sur les 52 projets de l’échantillon qui devaient faire l’objet d’une RMP, 33 (62 %) ont accusé un retard. Sur ces 33 projets, 13 ont révélé divers problèmes, généralement des faibles taux de décaissement,

notamment dans le cas des opérations multinationales (5 cas). Bien que l’évaluation n’ait pas fait état d’une amélioration notable de la performance des projets à l’issue d’une RMP, cinq des 13 projets problématiques ont affiché une meilleure performance.

L’évaluation a noté la nécessité d’assouplir les conditions de modification et de restructuration pour inciter les chefs de projet à accorder plus d’attention aux revues à mi-parcours. Par exemple, la Banque mondiale a révisé ses politiques afin d’établir des processus souples de restructuration et d’annulation pour encourager la réactivité et le recours aux revues à mi-parcours à cette fin. Les entretiens avec l’équipe de l’efficacité opérationnelle de la BM ont fait ressortir certains des changements apportés pour encourager les chefs de projet, notamment la réduction des niveaux de restructuration des projets qui nécessitent l’approbation du Conseil. De même, le Groupe d’évaluation indépendante (GEI) encourage également les chefs de projet à procéder à la restructuration des projets et à accorder des crédits aux projets qui ont été restructurés pour les aider à résoudre un problème et leur permettre ainsi de réussir.

Figure 4 : Opinion sur l’utilisation de la RMP pour le suivi des actions correctives et recommandations

Ne sais pas/non pertinent

Essentiel

Non essentiel

12 %

81 %

7 %

Figure 5 : Validation des REE/IPR par an (%) 2013–2017

0 %

20 %

40 %

60 %

80 %

100 %

20172016201520142013

77 %

62 %

76 %

69 %

45 %

51 %

28 %24 %

34 %

20 %

IPR approuvés IPR non approuvés par la Direction


La couverture et le respect des REE constituent un défi. Un examen des missions de supervision effectuées pour 83 projets du secteur public de 2013 à 2017 a montré que le pourcentage de REE soumis et non évalués est passé de 20 % à 45 % (figure 5).

Un élément clé parmi les problèmes et mis en évidence dans le rapport du Tableau de bord de la qualité est le taux de validation par les responsables. L’évaluation a révélé que le problème persistait malgré un plan d’action établi en 2016 pour régler le problème, selon le rapport. D’après l’examen des processus, sur les 358 REE examinés pour l’échantillon de 83 projets, 260 (73 %) ont été évalués et approuvés par le responsable sectoriel concerné par rapport à la norme imposée de 100 %. L’analyse sectorielle de cet indicateur montre une proportion plus élevée dans les secteurs suivants : agriculture (74 %), social (64 %) et multisectoriel (63 %).

Les commentaires issus de l’enquête et les consultations auprès des parties prenantes montrent que les supérieurs hiérarchiques n’ont pas suffisamment de temps pour examiner les rapports sur l’état d’avancement bien que les processus d’autorisation soient en place. La haute direction a tendance à consacrer plus de temps et d’attention à d’autres outils de suivi et de supervision de la performance des portefeuilles de niveau supérieur que la supervision des projets. Les parties prenantes ont confirmé que l’introduction récente de la « Flashlight » du portefeuille et du tableau de bord du contrôle qualité offrait des outils utiles pour identifier les projets problématiques. De même, les revues de la performance du portefeuille de pays ont permis à la haute direction de superviser la performance des projets. L’introduction récente de réunions mensuelles de supervision des opérations est un bon moyen d’apurer le portefeuille. Toutefois, ces outils ne devraient pas remplacer la nécessité de superviser les projets individuels et d’assurer le suivi des questions critiques nécessitant une attention opportune de la direction de la Banque.

Achèvement de projet

La transmission à temps des RAP est en baisse, passant de 100 % en 2013 à 66 % en 2017. L’évaluation a permis de constater une amélioration de la réduction des RAP en souffrance au cours de la période 2016–2017.

Calendrier de préparation des XSR

L’évaluation a permis de constater qu’il était difficile de déterminer le moment de la préparation des rapports de supervision élargi (XSR) par rapport à la période de maturité du projet pour s’assurer que les données sur les résultats peuvent être saisies. Bien que le manuel donne des indications sur le moment opportun, l’application des lignes directrices n’a pas été uniforme. Les consultations avec les chargés de portefeuille ont également permis de constater que la planification des visites sur le terrain pour les XSR n’est pas toujours fondée sur une analyse adaptative du portefeuille pour déterminer la bonne période de maturité des projets. L’analyse des XSR disponibles pour la période a révélé des occasions manquées de saisir adéquatement les résultats et d’améliorer l’apprentissage en raison de problèmes de calendrier dans certains cas (3 sur 8). En revanche, la SFI adopte une approche sélective pour la préparation des XSR visant à identifier des projets potentiels dans différents secteurs d’opérations qui garantiront des données adéquates sur les résultats de développement et qui fourniront des enseignements pertinents à utiliser dans de nouvelles opérations. Une analyse similaire des RAP n’a pas été effectuée en raison de l’indisponibilité des données.

Dans l’ensemble, alors que la baisse du respect des délais affecte potentiellement la facilité d’utilisation et la capacité des rapports de supervision à éclairer les nouvelles opérations à temps, la situation est aggravée par les retards de la validation des RAP et des XSR par IDEV.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Efficience

L’efficience du cadre de suivi de la Banque a été évaluée en fonction d’une planification et d’un ressourcement fondés sur les risques. Cette évaluation a montré un tableau mitigé pour l’échantillon de 45 opérations du secteur public et de 22 opérations du secteur privé. En outre, les entretiens avec les homologues nationaux et les clients au cours des missions d’étude de cas dans les pays ont révélé l’insuffisance de la coordination et des ressources allouées aux supervisions.

Planification de la supervision

La planification de la supervision n’est pas entièrement adaptée au contexte et à la complexité du projet. L’un des objectifs des missions de supervision sur le terrain est de pouvoir discuter et mettre à jour le plan de mise en œuvre du projet, sur la base de l’observation physique et de l’évaluation des progrès. Cela exige donc une planification minutieuse de la mission de supervision en fonction de la complexité du projet, du contexte du pays et des risques émergents, ainsi que des questions à traiter au cours de la mission. Il est essentiel de définir des calendriers appropriés pour assurer le suivi des questions identifiées lors des missions précédentes et pour mobiliser des ressources en fonction des besoins du projet. Sur les 18 experts fiduciaires28 interrogés dans le cadre de l’évaluation, 12 ont indiqué que des faiblesses dans la coordination des missions par les chefs de mission étaient l’une des raisons de leur incapacité à participer à des missions de supervision comme requis, outre les effectifs limités dont ils disposent. Même la capacité disponible limitée n’est pas utilisée efficacement.

La durée et le calendrier de la supervision ne sont pas suffisamment adaptés au contexte ou à la complexité du projet. L’évaluation n’a révélé aucun lien entre l’état d’avancement du projet et la durée des missions de supervision. L’examen

des 83 projets du secteur public n’a révélé aucune différence dans la durée des missions de supervision entre projets problématiques et non problématiques ou entre projets multinationaux et projets nationaux. Par exemple, lors de l’examen de 329 supervisions pour 18 projets problématiques de l’échantillon de 83, une durée moyenne de mission de 8,2 jours a été observée ; la même durée a été observée pour les cinq projets multinationaux les plus problématiques de l’échantillon. Les lignes directrices de la Banque n’indiquent pas la durée des missions de supervision par type de projet. Pour des raisons de rentabilité, il est toutefois admis que les services sectoriels puissent décider de superviser plus d’un projet au cours d’une même mission, ce qui devrait toutefois constituer une exception plutôt que la règle. Quoi qu’il en soit, cette pratique n’est pas idéale pour superviser les projets à risque selon les normes de la Banque.

La planification et la budgétisation des ressources de supervision ne reposent pas entièrement sur les profils de risque. Les données disponibles montrent que le coût de supervision par projet a diminué au fil du temps. En l’absence d’estimations de coûts clairement définies pour la supervision à la Banque, l’équipe chargée de l’évaluation a estimé le coût annuel de la supervision par projet en 2017 à 25 964 UC (36 000 USD). En comparaison, le FIDA dépense entre 20 000 et 33 600 dollars par projet pour la BID, hors dépenses de personnel. L’évaluation a toutefois permis de constater que la budgétisation et l’allocation des ressources de la Banque pour la supervision ne tiennent pas compte d’une différenciation fondée sur l’état actif du portefeuille, les types de projets ou le contexte pays comme le font les institutions de référence.29 L’absence d’estimations confirmées des coûts de supervision indique un écart potentiel entre les besoins en ressources et la disponibilité. On a observé un taux élevé de supervisions planifiées qui n’ont pas été exécutées dans le cas d’un des départements visés30. La planification inadéquate et la mauvaise coordination entre


les équipes de supervision ont été désignées comme problématiques pour les opérations du secteur public lors des consultations des parties prenantes. « La période d’intense activité des missions de supervision, qui se produit à certaines périodes31, exerce une pression supplémentaire sur les experts de soutien (notamment fiduciaires, transversaux et d’E&S) qui doivent participer à plusieurs missions vers la fin de l’année. Cette situation a été relevée dans près de la moitié des cas. Les perceptions à l’égard de la suffisance des ressources et de la planification de la supervision étaient partagées, 42 % des répondants au sondage ayant exprimé une opinion positive sur la question de savoir si la mise en œuvre se déroule selon le calendrier et de façon prévisible.

Le temps écoulé entre l’approbation et le premier décaissement est plus long à la Banque, par rapport à la Banque mondiale et à la BID (tableau 3).

Des efforts accrus de suivi du portefeuille ont permis de renforcer comme il se doit le système

d’alerte pour la supervision des opérations publiques. La mise en œuvre du tableau de bord du portefeuille, la nomination d’équipes spéciales dans les bureaux des Vice-présidents et les réunions mensuelles de supervision des opérations sont considérées comme des changements positifs qui permettent aux équipes pays de s’employer à résoudre les problèmes lors de la mise en œuvre des projets. Cela devrait renforcer le cadre établi pour la supervision des projets.

Suivi proactif des opérations du secteur privé

Pour les projets du secteur privé, le système propose une approche d’équipe adéquate incluant le personnel chargé de la gestion du risque de crédit. Toutefois, cette approche pourrait être renforcée. Plus de la moitié des membres de l’équipe de suivi interrogés estiment que l’équipe chargée du risque de crédit n’est pas encore suffisamment impliquée dans la supervision des projets comme on le voudrait. La situation est

Tableau 3 : Rendement comparatif : gains de temps pour les opérations privées et publiques

Définition BM (Afrique) BID BAD FIDA

Délai entre l’approbation et le décaissement 9,4 mois 12,1 mois 14,9 mois 16,8 mois

Source : données d’analyse comparative compilées par l’équipe chargée de l’évaluation à partir des données récentes des institutions de référence en mars 2018.

Tableau 2 : Budget et coût de la gestion du portefeuille sur la période 2015–2017 (UC)

Élément de coût 2015 2016 2017

a) Budget de gestion du portefeuille 16 143 616 20 767 629 S.O.

b) Coûts directs de gestion du portefeuille 3 000 019 3 317 755 2 721 733

(c) Dépenses de personnel + coûts directs 23 209 373 24 107 997 25 730 706

d) Portefeuille actif de la Banque 853 919 991

(a/d) Budget supplémentaire par projet actif 18 926 22 598 S.O.

(b/j) Coût supplémentaire par projet actif (coût direct) 3 517 3 610 2 746

(c/d) Coût supplémentaire par projet actif (coûts de personnel + coûts directs)

27 209 26 233 25 964

Source : calculées à partir des données comptables de la CAS de la BAD.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Tableau 4 : Performance comparative : gain de temps pour les opérations du secteur privé

Définition SFI BID-IIC BAD

Délai entre l’approbation et l’entrée en vigueur S.O. 9,8 mois en moyenne 13,5 mois

Nombre moyen de projets par chargé de projets S.O. 1,5 (projet par chargé de projets)

9,5 (varie de 2 à 15 par chargé de projets)

Niveau des PNP 5,4 % (2017) 6 % (2017) 4,5 % (2017)

Source : compilé par l’équipe d’évaluation à partir des données récentes des institutions de référence en mars 2018.

aussi liée à l’absence d’allocation budgétaire dediée aux équipes de crédit pour leur participation dans les missions de supervisions. L’examen du processus de l’échantillon de 38 projets a révélé la présence de changements fréquents au niveau des chargés de portefeuille, un problème confirmé davantage par les entrevues qui crée un manque de communication avec les clients. Les équipes chargées du crédit ont également réitéré que le problème est aggravé par le non-respect des

processus de transfert entre les chargés des investissements et les chargés de portefeuille, qui sont retardés en général.

Malgré les défis, la performance de la supervision fondée sur le risque dans le secteur privé au sein de la Banque est bonne et présente un faible taux de PNP se situant à 4,7 % à la fin 2017, en comparaison d’institutions sœurs comme la SFI, par exemple, avec 5,4 %.

Phot

o: ©

BAD

51La performance : comment la supervision de la Banque est-elle mise en œuvre dans ce contexte ?

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

La performance : comment la supervision de la Banque est-elle mise en œuvre dans ce contexte ?

Évaluation de la performance

La performance a été évaluée au moyen d’un ensemble établi de dimensions de la qualité considérées comme des normes de pratiques optimales et comme des domaines de performance pour le cadre de contrôle qualité de la Banque, qui contribue à la qualité de la supervision et à la performance de la mise en œuvre. Les dimensions prises en compte sont les suivantes : i) respect de la qualité de la supervision ; ii) qualité du suivi de la performance et de l’utilisation du S&E axé sur les résultats par la Banque et l’emprunteur ; iii) mesures de suivi pour les questions de supervision ;

iv) franchise et réalisme dans les rapports sur les résultats et la notation de la performance. L’évaluation de la performance a été validée ultérieurement par des entretiens et des enquêtes auprès du personnel.

Veiller au respect de la qualité de la supervision

La qualité de la supervision a été évaluée pour les 45 projets représentatifs du secteur public en fonction de trois critères principaux : a) la preuve du respect des normes requises pour la composition des équipes, la durée et le calendrier adaptés au type de projet ; b) la preuve de la prise en compte de

Figure 6 : Catégorie de performance de la mise en œuvre ayant obtenu une note faible (%)

0 % 5 % 10 % 15 % 20 % 25 %

Co�nancement

Évaluation des résultats

Évaluation des produits

Respect des clausesrelatives à l’audit

Suivi

Engagements budgétaires

Gestion �nancière

Financement de contrepartie

Passation de marché

Décaissement 23 %

13 %

11.5 %

9 %

7 %

7 %

5 %

3 %

2.9 %

1.5 %

Source : compilé à partir de 357 rapports de supervision.


domaines prioritaires comme le genre, les garanties fiduciaires, l’E&S et la fragilité ; et c) la preuve que la fréquence et le contenu des supervisions sont adaptés au statut du projet. La note globale de cette dimension est de 54 % (satisfaisante). Sur les 45 projets du secteur public examinés, 13 ont été jugés satisfaisants et 17 partiellement satisfaisants. Les aspects qui ont été relevés comme limitant les performances étaient principalement le manque de respect des normes requises et les lacunes dans la combinaison des compétences, le calendrier et l’utilisation de l’instrument de supervision approprié. La sous-dimension la moins bien notée était liée au caractère approprié du dosage des compétences, à savoir le fait que la supervision s’appuie sur une expertise transversale (genre, E&S).

Une analyse plus poussée de 357 rapports de mission de supervision a permis d’identifier certains des facteurs les moins performants, en ce qui concerne les progrès signalés dans les rapports sur l’état d’avancement de l’exécution (figure 6) : 23 % de l’échantillon ont montré que la note la plus faible a été attribuée aux retards de décaissement, comme l’indique la figure 6. Il s’agit là de facteurs qui, selon les rapports, ont contribué à la faiblesse de l’évaluation des progrès de la mise en œuvre au cours de la supervision. Les retards dans le délai de passation des marchés entre la soumission du dossier d’appel d’offres et l’approbation du marché par la Banque ont également été jugés importants lors des entretiens. Plus de la moitié des équipes de projet des PMR ont attribué cet incident à la capacité des cellules d’exécution des projets et les délais de réponse de la Banque aux demandes de non-objection.

Qualité du suivi axé sur les résultats dans la supervision des projets

L’évaluation a permis de déterminer dans quelle mesure le suivi axé sur les résultats a été utilisé comme une dimension de performance pour définir la qualité de la supervision d’un projet. Cette dimension portait sur deux domaines de performance, mesurés par rapport à 11 sous-critères (annexe A). Les deux domaines de performance ont évalué le bien-fondé de la logique et du cadre de S&E du projet, soit : a) la mesure dans laquelle la logique du projet a adopté des indicateurs sectoriels pertinents jugés suffisants pour suivre et saisir les résultats ; b) le degré d’alignement sur le cadre de mesure des résultats ainsi que la présence et l’utilisation d’un système de S&E par le client, comme l’illustre la figure 7. La dimension de performance 2 a été évaluée par rapport à sept sous-critères liés à l’établissement de la mesure dans laquelle la logique du projet a été adoptée et alignée sur les indicateurs sectoriels pertinents au cours du suivi.

Sur les 45 projets du secteur public examinés, la performance globale d’un bon système de suivi des résultats était fixée à 49 %, ce qui est satisfaisant pour avoir un bon système de suivi des résultats. Ce pourcentage concorde avec l’évaluation similaire de la performance des projets notée dans la CEDR, qui a obtenu une note de 47 % S+ en ce qui concerne la conception des projets dans l’évaluation de la pertinence technique des projets de la Banque. Les 42 % restants, jugés partiellement satisfaisants et 9 %, insatisfaisants, présentaient des défis variés.

Figure 7 : Évaluation de la qualité du suivi des résultats des projets pour les opérations du secteur public

0 % 20 % 40 % 60 % 80 % 100 %

S&E axé sur les résultats et fonctiond’établissement des rapports opérationnelle

Suivi de la performance de la qualitédes résultats

49 % 42 % 9 %

31 % 29 % 40 %

Satisfaisant Partiellement satisfaisant Insatisfaisant

Source : Notes agrégées obtenues à partir de la validation des dossiers sur les domaines de performance pour la qualité de la supervision


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Elles ont été notées comme faiblesses dans les indicateurs et leurs liens avec les produits et les résultats.

Pour l’évaluation des clients, le système de S&E axé sur les résultats, les critères suivants ont été pris en compte : l’existence d’une provision pour le S&E dans les documents d’évaluation, l’existence d’un S&E budgétisé et opérationnel et la qualité des rapports d’étape. Le retard dans la présentation des rapports d’avancement par l’emprunteur, l’utilisation limitée d’informations complètes par le chef de projet pour préparer les rapports sur l’état d’avancement de l’exécution et, plus important encore, les difficultés en matière de recrutement (et de rétention) d’experts en suivi et évaluation ainsi que la réticence des emprunteurs à utiliser dans une large mesure le système sont des obstacles pertinents à la performance du suivi. Les chefs de projet ont indiqué que de nombreux efforts sont consacrés à la mise en œuvre et à l’utilisation d’un bon système de suivi et d’évaluation, mais qu’il faut davantage de mesures pour encourager une utilisation adéquate de la part des emprunteurs.

Pour les opérations du secteur privé, quatre critères ont été évalués pour déterminer la qualité du suivi et des rapports. Il s’agit notamment : a) des progrès de la mise en œuvre ; b) de la viabilité financière ; c) des résultats en matière de développement ; d) de l’efficacité opérationnelle et e) de la couverture environnementale et sociale. L’évaluation reposait

sur l’étendue de la couverture des quatre critères et sur la pertinence des éléments probants fournis dans les rapports. La figure 8 présente l’évaluation des projets financiers32 et non financiers.

L’examen a révélé que le suivi des projets et l’établissement de rapports sont plus efficaces pour les projets non financiers, 40 % des projets non financiers étant jugés satisfaisants comparativement aux projets financiers (seulement 10 % des projets financiers échantillonnés étaient jugés satisfaisants). Il souligne également que le critère de performance financière a été mieux analysé (58 % satisfaisant) avec des preuves pertinentes que celui de la mise en œuvre et des résultats en matière de développement (37 %). Les questions liées à l’E&S et à la conformité ne sont généralement pas bien couvertes, seulement 47 % d’entre elles étant jugées satisfaisantes. Les rapports financiers sont normalisés dans les ententes de prêt et c’est généralement dans ce domaine que le niveau de conformité aux exigences en matière de rapports est le plus élevé.

Mesures de suivi sur les questions de supervision

Bien que la supervision ait rempli sa fonction consistant à attirer l’attention sur les principaux problèmes de mise en œuvre, dans la plupart des cas, ces problèmes n’ont pas été traités comme il se doit ou dans des délais

Figure 8 : Qualité du suivi des projets et des rapports pour les opérations du secteur privé


0 % 20 % 40 % 60 % 80 % 100 %

Projets �nanciers

Projets non �nanciers

Général 25 % 45 % 30 %

40 % 40 % 20 %

10 % 50 % 40 %

Source : Notes agrégées pour la dimension de la performance


raisonnables. L’une des principales fonctions de la supervision des projets est le suivi et la résolution des problèmes relevés lors des missions de supervision précédentes. Cet aspect a été pris en compte dans la dimension performance pour évaluer la performance de la supervision lors de l’examen documentaire. L’examen a permis de constater que les mesures correctives étaient attribuées de façon appropriée aux institutions ou aux intervenants responsables, mais qu’un échéancier pour résoudre le problème n’était pas systématiquement indiqué et que la plupart des problèmes n’étaient pas réglés ou traités. Sur les 37 projets33, 15 (40,5 %) ont montré des signes d’un suivi adéquat des recommandations antérieures des supervisions. Toutefois, l’évaluation de la mesure dans laquelle les problèmes des deux dernières supervisions ont été réglés n’a pas donné de résultats satisfaisants dans l’ensemble, 11 projets seulement (29 %) sur les 37 ayant été réglés. 39 projets sur 45 ont montré des signes d’un suivi adéquat des recommandations antérieures des supervisions.

Certains des facteurs relevés portaient sur le fait que les recommandations étaient plutôt jugées trop générales ou superficielles pour qu’on puisse y donner suite. Par exemple, l’accélération de la mise en œuvre a été citée comme recommandation à l’emprunteur après une mission et a nécessité une intervention à un niveau supérieur plutôt que par l’équipe de mise en œuvre. La perception des chefs de projet relativement à l’utilité de la supervision pour

l’identification précoce des risques et des problèmes était assez élevée (plus de la moitié des répondants étant plutôt ou fortement d’accord). L’évaluation a toutefois permis de constater qu’on peut faire mieux en matière d’amélioration pour maximiser la fonction de supervision de projet comme mécanisme d’alerte rapide des problèmes de mise en œuvre et sa capacité de régler les problèmes en temps opportun, au besoin.

Il ressort de cela que la performance des opérations du secteur privé dans ce domaine présentait des difficultés similaires à celles des opérations du secteur public. On a pu observer une différence entre la qualité des projets financiers et non financiers pour le suivi et les recommandations. Les examens ont révélé que la Banque a peu d’influence sur les clients financiers pour ce qui est d’améliorer la conformité aux exigences en matière de présentation de rapports, en particulier en ce qui a trait à la présentation des modèles de déclaration des opérations et des autres clauses restrictives requises, y compris l’E&S. Dans 12 cas sur 22, les recommandations et les mesures de suivi ne sont souvent que vaguement décrites, pas suffisamment limitées dans le temps ou exhaustives. Par exemple, dans le cas d’un projet d’électricité en Ouganda, le risque principal (non-paiement par la compagnie d’électricité publique) n’a pas été relevé comme nécessitant des mesures supplémentaires, cela en dépit du fait que la viabilité du projet dépend de ce facteur.

Figure 9 : Notation de la performance dans le cadre de l’évaluation de la proactivité

0 % 20 % 40 % 60 % 80 % 100 %

Projets �nanciers

Projets non �nanciers

Général 35 % 35 % 30 %

56 % 44 % 0 %

13 % 25 % 62 %



Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Dans l’ensemble, le personnel du secteur privé interrogé a souligné que les gestionnaires doivent s’engager davantage dans le suivi des questions dans le cadre de la supervision et en temps opportun, et non lorsque des projets sont signalés. Les chefs de projet ont en outre rappelé que l’aide-mémoire cosigné par le gouvernement ne constitue pas un moyen efficace d’assurer le suivi. L’examen des questions et des recommandations par les responsables est notamment nécessaire pour aider ces derniers à traiter les questions à temps.

Franchise et réalisme des notations et des rapports sur les résultats

Les conclusions ont permis de confirmer les lacunes observées dans les notes attribuées à la performance, aux résultats et au développement par le dernier examen du tableau de bord du contrôle qualité (2017). L’évaluation l’a vérifié par un examen de validation sur dossier de l’échantillon de 45 projets en comparant les informations fournies dans les aide-mémoire, les BTOR, la note thématique et les recommandations des missions précédentes par rapport aux notes allouées. Seuls 28 % des projets de l’échantillon ont été jugés satisfaisants et bien fondés. Les principaux défis relevés sont les suivants : a) les notes ne cadrent pas avec les directives en matière de notation des REE ; b) la faiblesse des éléments justificatifs des notes ; c) le poids disproportionné accordé aux composantes « plus performantes » du projet ; et d) l’écart entre les notes et les mesures correctives proposées, qui révèle des défis indiquant que la performance est inférieure aux notes attribuées.

Le format de rapport et la méthode de notation des REE sont conçus pour produire une évaluation objective et fondée sur des données probantes du rendement du projet. Toutefois, le personnel chargé des opérations a exprimé des réserves quant à la qualité et à la sincérité des notations figurant dans les rapports de supervision (REE) pour les opérations du secteur public. Cette constatation est jugée essentielle pour l’importance que la Banque accorde aux risques et aux résultats dans la mesure où la tendance à ne pas attribuer une mauvaise note aux projets limite sérieusement les possibilités d’identification précoce des risques et des problèmes critiques. Les constatations portent également sur les réponses aux entrevues qui ont révélé des lacunes dans les contrôles de la qualité du processus d’établissement des rapports d’étape. En revanche, des organismes de référence comme la BID disposent d’un système d’examen indépendant intégré à leur équivalent des REE, connu sous le nom de suivi du projet et d’établissement de rapports sur le projet, qui exige des validations à deux niveaux pour établir un niveau de franchise et de réalisme.

Dans le cadre de l’évaluation du respect de la méthodologie de classification des projets, 71 % ont été jugés satisfaisants. Toutefois, environ 22 % de ces projets étaient partiellement alignés sur la méthodologie et les éléments probants à l’appui de la notation de l’EE n’étaient pas fiables. Il n’y a pas eu d’évaluation crédible dans les cas où les éléments probants ont montré une performance contraire, indiquant des problèmes de mise en œuvre des projets (notamment les décaissements et les passations de marchés) qui auraient dû entraîner une notation insuffisante des critères secondaires de l’EE.

Figure 10 : Évaluation de la qualité des rapports sur les opérations du secteur public

0 % 20 % 40 % 60 % 80 % 100 %

Franchise et réalisme dans la notation

Respect de la méthodologiede classication des projets

71 % 22 % 7 %

28 % 40 % 32 %



En ce qui concerne les opérations du secteur privé, les examens des projets ont révélé que l’établissement de rapports sur les résultats en matière de développement s’avère plus difficile pour les opérations financières, comme l’ont déjà démontré les examens passés et récents. L’examen documentaire de l’échantillon de projets, y compris 19 opérations financières, a confirmé l’occurrence. L’examen a révélé que seulement 43 % des opérations financières de l’échantillon ont fait l’objet d’un rapport adéquat sur les résultats en matière de développement. L’évaluation a mis en évidence les quatre principaux problèmes récurrents suivants, à savoir : a) un écart perceptible entre la réserve de projets proposés et les sous-projets effectifs dont il est rendu compte à chaque rapport ; b) le fait que les lacunes dans les rapports et indicateurs requis dans les accords de prêt ne sont pas corrigées ; c) le suivi inadéquat des résultats en matière de développement par les sous-projets lors des supervisions ; et d) les indicateurs employés, qui ne correspondent ni aux emplois créés ni à des postes permanents, notamment les postes temporaires, mais qui présentent des disparités. De même, les questions d’E&S et de conformité ne sont généralement pas bien couvertes, comme en témoigne le manque ou l’absence de données pertinentes dans neuf des 22 projets de l’échantillon.

L’examen documentaire a révélé des résultats mitigés en ce qui concerne la capacité de suivi et d’évaluation. La performance financière a obtenu la note la plus élevée parmi les autres dimensions, avec un taux de satisfaction de 73 % pour la « couverture appropriée des questions pendant la supervision » dans la validation sur dossier des opérations du secteur privé, suivie par les sous-critères de l’exécution du projet. Par contre, la comparaison entre les résultats en matière de développement réels et les résultats en matière de développement prévus au moment de l’approbation a été très faible. Les rapports ont démontré que les clients n’étaient pas doués pour fournir des données sur les résultats en matière de développement qui ne sont pas produites par leurs systèmes d’information de gestion. Les banques, par exemple, ne font pas le

suivi de la création d’emplois de leurs clients, mais se concentrent plutôt sur le service de la dette et la performance financière.

En évaluant la franchise et le réalisme des rapports de supervision des opérations du secteur privé, l’examen a révélé une meilleure performance dans les projets non financiers et une performance plutôt insatisfaisante dans les opérations financières. Cette dimension a été évaluée en examinant la qualité de la justification fournie à l’appui de l’analyse ainsi que les éléments probants contenus dans les données. La revue documentaire d’un échantillon de 22 projets du secteur privé a permis de relever des dimensions telles que la viabilité commerciale/financière ayant obtenu la note la plus crédible avec 47 % de projets satisfaisants, suivie de près par des informations sur les progrès réalisés en matière d’exécution avec 35 % de l’échantillon des projets considérés satisfaisants. La notation des résultats en matière de développement est la plus faible, en particulier pour les projets financiers. En tout, 30 % des projets financiers ont été jugés partiellement satisfaisants en ce qui concerne la franchise et le réalisme des rapports.

Qualité à l’achèvement

La méthode d’échantillonnage utilisée pour l’évaluation a consisté à travailler sur un échantillon de projets pour lesquels une documentation sur la supervision pouvait être obtenue et utilisée pour évaluer la qualité pendant la supervision et à la sortie. Le nombre de RAP disponibles pour l’échantillon total de 83 opérations du secteur public a ainsi été ramené à un nombre réduit de 14 des 23 projets de l’échantillon qui ont été jugés fermés et qui auraient dû faire l’objet de RAP. Par conséquent, en plus de l’analyse des 14 RAP, l’évaluation a permis d’évaluer la véracité des résultats rapportés à la fin en examinant un échantillon de la cohorte récente des RAP validés par IDEV pour 2014 (35 projets) et 2015 (55 projets). L’évaluation a permis d’évaluer le rendement global et d’établir l’écart entre les notes du RAP et celles de l’évaluation.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

L’examen a révélé une note globalement satisfaisante de 63 % pour l’échantillon de 2014 et de 73 % pour celui de 2015, signe d’une amélioration de la qualité. La performance a également montré un taux de déconnexion décroissant de 22,5 % en 2014 et de 14 % en 2015 par rapport à l’échantillon.

L’évaluation a en outre procédé à un examen approfondi des RAP échantillonnés (14) en mettant l’accent sur deux domaines clés signalés dans les évaluations précédentes34 comme une faiblesse des RAP. Elles incluaient l’étendue de la couverture des risques pour la durabilité des résultats du projet et la façon dont ils sont traités à l’achèvement. Des efforts ont été faits pour réduire les risques en matière de durabilité, comme en témoignent six des 14 RAP. L’examen a toutefois permis de constater que, bien que la plupart des projets aient cerné les risques et réparti les responsables des risques, il n’y avait pas suffisamment de preuves attestant des mesures d’atténuation prises pendant la mise en œuvre. Dans trois RAP, les risques identifiés aux premières étapes des projets n’ont été notés qu’à la fin des travaux, avec quelques références sur la façon dont ils devraient être pris en compte. Un examen des dernières validations de RAP pour un échantillon de 91 projets validés pour la période 2014–2016 a montré que 65 % d’entre eux ont été jugés satisfaisants par l’évaluation IDEV comme couvrant adéquatement les questions de durabilité. Toutefois la prise des mesures appropriées pour résoudre les risques liés à la durabilité au cours de l’exécution des projets et à lors de la clôture constitue encore un défi.

L’évaluation a en outre procédé à un examen approfondi des RAP échantillonnés (14) en se concentrant sur deux domaines clés qui, selon les évaluations précédentes, constituaient une faiblesse des RAP. Elles incluaient l’étendue de la couverture des risques pour la durabilité des résultats du projet et la façon dont ils sont traités à l’achèvement. Des efforts ont été faits pour réduire les risques pour la durabilité dans six des 14 RAP. L’examen a toutefois permis de constater que, bien que la plupart des projets aient cerné les risques et désigné les

responsables des risques, les mesures d’atténuation prises pendant la mise en œuvre n’étaient pas suffisamment documentées. Dans trois RAP, les risques identifiés aux premières étapes des projets n’ont été signalés qu’à l’achèvement, avec quelques références sur la façon dont ils devraient être pris en compte. Un examen des dernières validations de RAP pour un échantillon de 91 projets validés pour la période 2014–2016 a montré que 65 % d’entre eux ont été jugés satisfaisants par l’évaluation IDEV pour leur couverture adéquate des questions de durabilité. Toutefois la prise des mesures appropries pour mitiger les risques lies à la durabilités au cours de l’éxécution des projets et lors de la cloture constitue encore un defis.

Les RAP constituent l’un des principaux outils d’information et d’apprentissage de la Banque. Cependant, ils ne permettent pas de consigner systématiquement les enseignements tirés, comme l’ont fait savoir plus de la moitié des personnes interrogées. La plupart des chefs de projet se sont en outre inquiétés de la capacité des documents d’achèvement de projet à créer une plateforme de gestion du savoir pertinente et à faciliter l’intégration des enseignements tirés dans la conception des nouveaux projets.

Comment la supervision a-t-elle assuré la qualité des enseignements au stade de l’achèvement ?

Pour le secteur privé, la supervision porte davantage sur la mise en œuvre et la performance du projet que sur sa pertinence par rapport aux priorités stratégiques de la Banque et sur les enseignements tirés. Les rapports de supervision élargis (XSR) traitent des enseignements tirés, mais certains ne correspondent pas à la qualité attendue. L’examen d’un échantillon de huit XSR a montré qu’il y avait de nombreux cas de surévaluation de la performance sur le plan des résultats en matière de développement, de la rentabilité des investissements et de la qualité du travail à la Banque sans justification. Par exemple, dans le cas d’un projet d’investissement


en Zambie, la viabilité commerciale du projet a été jugée satisfaisante malgré une forte augmentation des PNP qui ont atteint 40 %. De même la qualité de l’exécution du projet a été jugé satisfaisante malgré une détérioration de la structure de la gouvernance institutionelle du projet. En outre, l’analyse de la mise en œuvre et des raisons des retards a été insuffisante, tout comme l’analyse quantitative censée appuyer l’analyse qualitative, en particulier en ce qui concerne les performances – TRF/TRI et TRE. Bien que cela ne puisse pas être généralisé, il s’agit plutôt d’une similitude avec les constatations des évaluations précédentes.35

La qualité des enseignements tirés a été jugée peu applicable aux opérations futures dans le même secteur. La question de savoir si un projet soutenu dans un secteur répond aux objectifs stratégiques de la Banque n’est pas abordée en général. Ces constatations portent sur le format du XSR, dans lequel les enseignements peuvent être présentés sous la forme suivante : i) le titre ; ii) les attentes de la Banque au moment de l’approbation ; iii) ce qui s’est réellement passé et pourquoi ; et iv) les enseignements pour les opérations futures. Les sections du XSR portant sur l’efficacité du développement au sens large (« impact sur le reste de la société » et « développement du secteur privé ») traitent de ces questions en termes généraux sans toutefois tenter de relier les résultats des projets à la stratégie et aux priorités de la Banque.

Les examens ont montré les faiblesses de la couverture et du contenu des XSR. Les données utilisées dans de nombreux XSR ne sont pas mises à jour ou ne permettent pas une analyse approfondie. Cette observation a été confirmée dans 6 entrevues sur 10 avec les équipes chargées du suivi du portefeuille et les chargés des investissements, qui ont souligné la nécessité de clarifier les processus de XSR et l’utilisation des enseignements tirés. L’évaluation a relevé une occasion manquée de tirer des enseignements de l’absence de validation des XSR par IDEV au cours des trois dernières années, qui comprenait des séances de capitalisation sur les enseignements du XSR avec le Département

du secteur privé. Les consultations menées auprès du personnel du secteur privé ont mis en lumière les préoccupations et leurs répercussions sur la base de connaissances pour éclairer les nouvelles transactions.

Plus de la moitié des chefs de projet ont trouvé que les leçons étaient souvent génériques et ne contenaient pas de recommandations précises sur la façon de faire les choses avec plus d’efficience et d’efficacité. Bien que les lignes directrices du RAP donnent des indications sur la formulation appropriée des leçons à tirer, les résultats des évaluations précédentes et l’examen approfondi de l’échantillon montrent que celles-ci ne sont pas suivies correctement. L’analyse des validations par IDEV d’un échantillon de 35 projets publics pour 2014 et de 55 pour 2015 a permis de constater que les enseignements tirés se situaient entre les notes très satisfaisant et très insatisfaisant (Figure 11). On remarque que les enseignements tirés de l’expérience ne sont pas suffisamment étayés et que peu d’efforts sont consentis pour s’aligner sur les problèmes pertinents rencontrés.

Cela tient en quelque sorte à la manière dont les rapports de supervision sont établis et à la capacité des REE de tirer des enseignements essentiels dans le contexte de l’établissement de rapports. Les entretiens ont révélé que le personnel accordait peu d’importance à l’information et aux leçons tirées des RAP, soulignant que les enseignements qui s’imposent ne sont pas saisis. Ce retour d’information a été confirmé en outre par l’examen de l’évaluation sur le taux de rejet des enseignements lors de la validation. Le taux de rejet des enseignements est passé de 46 % en 2014 à 53 % en 2015. Les personnes interrogées considèrent que cet événement est lié à l’insuffisance des contrôles de qualité et des examens indépendants spécialisés pour établir la contestabilité et la qualité des résultats des RAP. Cette question sera approfondie dans le cadre de l’évaluation en cours menée par IDEV sur le système d’auto-évaluation de la Banque.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Figure 11 : Qualité des enseignements pour les échantillons de 2014 et 2015

0 % 20 % 40 % 60 % 80 % 100 %

Enseignements 2014

Enseignements 2015

Très insatisfaisant Insatisfaisant Satisfaisant Très satisfaisant

31 % 17 % 22 % 31 %

36 % 11 % 18 % 35 %

Source : Validation par IDEV de la qualité des opérations des enseignements (échantillon 2014 et 2015)

La qualité de la supervision des projets contribue-t-elle à la qualité de la mise en œuvre ?

L’analyse de la mesure dans laquelle les dimensions de qualité de la supervision des projets sont appliquées à l’échantillon de projets comportant des RAP a démontré une meilleure performance des projets. Ce faisant, l’évaluation a comparé les notes de l’état d’avancement de l’exécution du RAP et les notes attribuées aux résultats en matière de développement des projets jugés satisfaisants pour la qualité de la supervision à ceux qui ont reçu la note36 partiellement satisfaisant ou insatisfaisant. L’examen comprenait l’analyse de 13 RAP qui ont révélé que les projets dont la qualité de supervision a été jugée satisfaisante par l’examen documentaire (5 projets) ont reçu une note sur l’état d’avancement de l’exécution moyenne de 3,55 sur 4, contre 3,1 pour les 8 projets dont la qualité de supervision était partiellement satisfaisante et insatisfaisante.

L’analyse a également permis de constater que la note des résultats en matière de développement est demeurée la même lorsque les deux cas ont été comparés. Peu importe la qualité de la supervision du projet, les notes des résultats en matière de développement dans les RAP sont restées les mêmes. L’évaluation a montré que cela correspond aux conclusions d’un examen37 effectué par la Banque mondiale à partir d’un échantillon de 178 projets dans le but d’établir le fait que la qualité de la supervision des projets influence positivement la réussite de leur gestion,

mais pas nécessairement leur incidence sur le projet. Elle a également réaffirmé que, pour avoir un impact, il fallait mettre davantage l’accent sur la planification, le contexte et la gouvernance des projets.

Pour réaffirmer ces conclusions, l’évaluation, en validant en profondeur l’échantillon de 45 projets du secteur public, a permis d’évaluer les facteurs récurrents identifiés lors des entretiens et des visites dans les pays qui entravent fréquemment les efforts de supervision indépendants de la volonté de la Banque. Parmi les facteurs fréquemment cités, mentionnons les questions liées au contexte et à la gouvernance du pays (tableau 5). Celles-ci ont été vérifiées plus en détail au moyen des résultats d’une analyse par pays pour les études de cas par pays en recourant à une analyse qualitative comparative (AQC) pour examiner la relation entre les facteurs contextuels et au niveau des projets et les progrès de la mise en œuvre. Les facteurs contextuels examinés comprenaient la capacité du PMR pour : i) la gestion budgétaire ; ii) l’identification, la préparation et l’évaluation des projets ; et iii) la capacité fiduciaire. Les facteurs au niveau du projet comprenaient : i) la complexité des projets38 ; et ii) la capacité des cellules d’exécution des projets des cinq pays. Cela avait pour but de démontrer l’effet des questions contextuelles pays sur la performance de la mise en œuvre. L’analyse s’est concentrée sur les opérations du secteur public, car les clients du secteur privé n’étaient pas disponibles dans la plupart des cas pour collaborer avec l’équipe d’évaluation pendant les visites dans les pays. Dans l’ensemble, les résultats ont montré que les


questions contextuelles des pays et la capacité de la cellule d’exécution des projets ont influencé l’avancement de la mise en œuvre. Cela établit en outre le fait que si la supervision peut améliorer les résultats d’un projet, les réalisations concrètes sur le terrain dépendent largement de la performance des emprunteurs, comme l’ont noté la plupart des personnes interrogées dans les PMR, le personnel de la Banque et les organismes de référence. La qualité de la supervision contribue aux progrès de la mise en œuvre, mais pour que les efforts de supervision aient encore plus d’impact, il y a lieu de tenir compte du contexte pays et des questions de gouvernance dans le suivi de la mise en œuvre.

Les facteurs associés à une bonne performance de supervision et à une mauvaise performance varient. Pour ce qui est de la qualité de la supervision, aucun facteur n’a été cité plus fréquemment, mais un nombre à peu près égal de facteurs a été établi en ce qui concerne l’efficacité

et les coûts de transaction ; les retards dans le traitement des demandes et la transmission des observations formulées soit dans les rapports trimestriels ou par les missions concernant la passation de marchés.

L’accent mis sur les questions préalables à la mise en œuvre et, en particulier, sur les questions de capacité des cellules d’exécution des projets, a été cité comme un facteur important qui permet de garantir la qualité de la mise en œuvre, après les conclusions d’IDEV sur l’analyse pays réalisée à l’aide de la technique d’analyse comparative qualitative dans le cadre de la collecte et de l’analyse des données. Ces résultats confirment en outre que la moitié des réponses provenaient d’entretiens entre les quatre institutions homologues et cinq représentants des pays membres régionaux lorsqu’il leur a été demandé de partager leur expérience sur les facteurs de réussite de la qualité de la mise en œuvre. Une

Tableau 5 : Facteurs défavorables et favorables influant sur la performance de la supervision de la Banque

Facteurs défavorables Facteurs favorables

Fact

eurs

dép

enda

nt d

e la

BAD

Applicables aux opérations des secteurs public et privé

❙ Formation limitée pour le personnel et les responsables des bureaux pays ❙ Absence d’une équipe d’experts habilités dans les bureaux pays ❙ Charge de travail élevée du personnel, temps limité pour accorder l’attention voulue aux préoccupations soulevées pendant la supervision

Applicables aux opérations du secteur privé

❙ Participation limitée du Chargé de portefeuille tout au long de l’exécution du projet ❙ Présence limitée sur le terrain d’experts en suivi de portefeuille ❙ Financement limité pour le renforcement des capacités des clients afin d’améliorer la capacité de mise en œuvre et de communication des résultats

❙ Qualité de la conception des projets et état de préparation à la mise en œuvre

❙ Présence d’experts chevronnés déterminés à assurer la qualité et les résultats

❙ Fréquence et qualité de la supervision : (retour d’information et suivi adéquats ; composition des équipes et disponibilité des ressources)

Fact

eurs

con

text

uels

❙ Modalités de mise en œuvre dans les situations de fragilité ❙ Goulots d’étranglement en matière de gouvernance ❙ Processus de passation de marché long et fastidieux ❙ Faiblesses en matière de capacité ou d’engagement de l’organisme ou du ministère chargé de la coordination et du suivi des opérations de la Banque

❙ Problèmes de gestion de la dette compromettant la mobilisation du financement de contrepartie du projet

Applicables aux opérations du secteur privé

❙ Capacité et engagement limités des clients à se concentrer sur les indicateurs de résultats en matière de développement

❙ Capacité opérationnelle et financière des clients ❙ Politiques du secteur privé ❙ Organismes de réglementation

❙ Appropriation par les pays (et leadership dans la coordination des donateurs)

❙ Ministère ou organisme fort ayant la capacité technique de mettre en œuvre les mesures

❙ Existence d’une agence sectorielle bien établie et bien structurée

❙ Emprunteur/client utilisant des systèmes efficaces de suivi et d’évaluation des projets


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

pratique optimale observée chez les institutions de référence citées est la nécessité de s’engager adéquatement avec le client ou l’emprunteur au cours des étapes initiales après l’approbation, afin de mieux relever les défis de capacité et d’autres facteurs qui pourraient influer sur la mise en œuvre du projet et orienter ainsi les activités de supervision.

La capacité des PMR à mettre en œuvre des projets et à mobiliser des fonds de contrepartie était généralement le facteur le plus souvent cité parmi les plus importants ayant entraîné des retards de mise en œuvre lors de trois des cinq visites dans les pays. L’évaluation a permis de relever différents niveaux de capacité pour un bon démarrage garantissant des progrès effectifs dans la mise en œuvre entre les pays. Le Maroc a été reconnu comme le pays ayant obtenu les meilleurs résultats au chapitre de l’avancement de la mise en œuvre de certains des projets récents grâce à la passation de marchés anticipée.

D’après les résultats de l’analyse des supervisions et des documents d’évaluation d’une vingtaine de projets dans les cinq pays visités, IDEV a constaté que, dans près de la moitié des projets, les documents d’évaluation ne précisaient pas clairement si les fonds nécessaires étaient inclus dans le budget national au moment de leur approbation. Les rapports de supervision ont montré que de tels risques se sont matérialisés au cours de la mise en œuvre dans cinq des neuf projets concernés. Les entretiens avec les principales parties prenantes au cours des missions de pays ont également mis en évidence le problème, en particulier au Cameroun, au Kenya et au Sénégal. Il a été noté que les plafonds budgétaires potentiels fixés par les politiques de stabilisation macroéconomique avaient une incidence sur la capacité des pays à honorer leurs engagements financiers. Les chefs de projet ont indiqué qu’il était difficile d’attirer l’attention de la haute direction pour résoudre les problèmes liés au financement de contrepartie.

Comment assurer et maintenir un système de supervision approprié à la Banque ?

Le système de supervision de la Banque a évolué au fil des ans pour s’aligner sur les pratiques optimales et mettre davantage l’accent sur la mise en œuvre. L’évaluation a toutefois révélé que ces mesures n’ont pas été fondées sur le contexte favorable nécessaire à la mise en place d’un système qui porte une attention particulière aux risques, aux rapports sur les résultats et aux enseignements à tirer.

Facteurs institutionnels

Comme l’a confirmé l’évaluation précédente d’IDEV (CEDR), de multiples réformes ont été entreprises dans ces deux domaines ; les risques et les rapports sur les résultats. Toutefois, des problèmes plus profonds liés à l’existence de mesures d’incitation appropriées ainsi qu’à la culture et aux comportements au sein de la Banque ont limité leur pleine mise en œuvre. Cet aspect a été souligné de nouveau dans les entrevues et les réponses au sondage. Par exemple, plus de la moitié des consultations menées auprès des parties prenantes ont souligné le fait que les KPI de la Banque accordent plus d’importance aux prêts et aux décaissements qu’à une supervision efficace axée sur les résultats. Comme l’a dit une partie prenante, « la direction semble consacrer plus de temps aux nouveaux projets qu’aux projets en cours. Les chefs de projet ont souligné le fait qu’ils ne sont pas incités à rendre compte des questions relatives à la mise en œuvre des projets, puisque les problèmes qui échappent à leur contrôle sont pris en compte dans l’évaluation de leur performance.

Cette question est également liée à la limitation de la responsabilité partagée en ce qui concerne l’approche relative à la supervision. La plupart des chefs de projet et des chargés de programmes pays interrogés (62%) estiment que la pratique actuelle n’est pas propice à une responsabilité mutuelle entre les chefs de projet, les experts


sectoriels et la direction. Les entretiens ont en outre démontré que la direction n’est guère incitée à consacrer du temps au suivi de la supervision de chaque projet.

Ressources

Les consultations avec les parties prenantes ont fait ressortir la nécessité de disposer de ressources suffisantes en matière de personnel, pour faire face à la croissance du portefeuille et adapter le recrutement au nouveau modèle de développement et de prestation de services. Les données disponibles au sein de l’institution montrent également que le nombre de projets par chef de projet ou chargé de suivi du portefeuille est élevé, comme l’illustre le tableau 6. Cet état de choses limite potentiellement le temps que les membres du personnel peuvent consacrer à la supervision des projets.

Compétences

La Banque affiche un ratio projet/chef de projet élevé et variable, ce qui limite le temps que le personnel peut consacrer à la supervision des projets. L’évaluation a permis de constater que les équipes chargées de superviser les nombreuses opérations de la Banque étaient surchargées. Les données montrent un ratio de 3,4 projets par chef de projet à l’échelle de la Banque. Une analyse plus approfondie de la répartition du personnel montre une certaine disparité,

certains ayant jusqu’à 10 projets dans le secteur privé et jusqu’à 15 projets pour les chefs de projets du secteur public. Par comparaison avec les institutions de référence, le ratio de la Banque semble plus élevé. À titre d’illustration, les informations reçues de la BID indiquent un ratio de 1,5 projet par chargé de portefeuille. Un ratio aussi élevé a pour conséquence que les chargés de portefeuille ont non seulement moins de temps à consacrer au suivi des questions relatives à la mise en œuvre, mais qu’ils doivent aussi accorder plus d’attention à l’élaboration de nouveaux projets, car cela représente un poids important dans l’évaluation de la performance.

Formation

L’évaluation a mis en évidence des faiblesses dans les efforts déployés par la Banque pour assurer une formation régulière et un soutien adéquat aux membres du personnel en matière de gestion des projets. Les consultations ont fait ressortir le fait que, ces dernières années, la formation standard à l’échelle de la Banque sur les activités de gestion de projet telles que la passation des marchés et le suivi et l’évaluation n’a pas été régulière. SNOQ s’est efforcé de mettre en place un service d’assistance en matière de contrôle qualité pour répondre aux questions individuelles sur les outils de contrôle qualité. Depuis 2016, SNOQ organise aussi des séminaires informels sur la question afin de fournir un appui aux membres du personnel sur les EER et autres outils de contrôle qualité. Toutefois, la plupart des chefs de

Tableau 6 : Répartition de la charge de travail par chef de projet (à l’échelle de la Banque)

Année Nombre de chefs de projet

Taille du portefeuille Ratio

2013 301 811 2,7

2014 318 852 2,7

2015 300 869 2,9

2016 295 932 3,2

2017 294 999 3,4

Source : Estimation de l’équipe d’évaluation à partir des données de SNDR et du budget (juillet 2018)


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

projet ayant répondu à l’enquête ont convenu que le soutien et la formation fournis en interne étaient insuffisants pour la supervision et l’achèvement des projets (54 % et 63 % respectivement).

La Banque a récemment recruté un certain nombre de nouveaux collaborateurs qui ont besoin d’une formation, notamment en matière de processus opérationnels. Pourtant, les lignes directrices de la Banque ne reflètent pas suffisamment les besoins de supervision de l’adaptation de l’approche aux différents secteurs et types de projets, ce qui nécessite davantage de formation et d’orientation.

Mesures incitatives

Presque tous les membres du personnel interrogés ont souligné l’importance des mesures incitatives pour s’assurer que le personnel s’engage à

garantir la qualité et à obtenir des résultats. Toutefois, ils ont également souligné le fait que la Banque pratiquait une culture qui crée des incitations contradictoires en matière de qualité de la mise en œuvre et d’obtention de résultats.

La revue documentaire a mis en lumière un certain nombre de faiblesses, notamment en matière d’information, la qualité variable des rapports quant à la profondeur et aux éléments justificatifs, preuve de l’absence manifeste d’un mécanisme de contrôle de la qualité en vue d’assurer une prestation de service de qualité. Cette information fait également écho aux réponses des répondants (54 %) qui ne partagent pas l’avis selon lequel le cadre organisationnel et la structure des incitations du personnel de la Banque sont propices à la production de rapports fondés sur des données probantes et à une notation crédible de la performance des projets.

Figure 12 : « J’ai reçu une formation suffisante en interne pour jouer un rôle efficace pendant la supervision du projet »

34 %

37 %

17 %4 % 8 %






Figure 13 : « J’ai reçu une formation suffisante en interne pour jouer un rôle efficace pendant l’achèvement du projet »

26 %

42 %

21 %

4 %7 %






Phot

o: ©

BAD

65Conclusions et recommandations

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Conclusions et recommandations

Conclusions

L’évaluation reconnaît les efforts déployés par la Banque en vue de mettre l’accent sur la mise en œuvre grâce au cadre de l’assurance qualité pour la supervision et le suivi, qui porte sur trois domaines clés : les risques, les résultats et l’apprentissage. Toutefois, les conclusions mettent en évidence des domaines clés qui nécessitent d’autres améliorations, comme nous l’avons souligné dans les sections précédentes du présent rapport.

Pertinence : Faisons-nous ce qu’il faut ?

a. Le cadre de supervision actuel reste pertinent et utile grâce aux réformes récentes et aux efforts de la direction, notamment dans les aspects suivants :

❙ Actualisation et renforcement des outils et des formats pour les opérations des secteurs public et privé afin d’améliorer l’accent mis sur les objectifs de développement et l’alignement sur le cadre de gestion des résultats institutionnels.

❙ Renforcement de l’attention et de l’accent sur les aspects environnementaux et sociaux dans le suivi et l’établissement des rapports.

❙ Renforcement de l’accent mis sur les questions d’exécution (à l’échelle de la Banque) grâce à l’amélioration du suivi du portefeuille et aux mesures récentes prises pour faire participer la direction au suivi des projets.

❙ Si un cadre de redevabilité amélioré semble être le maillon faible, le système actuel n’est pas suffisamment adaptable et ne fait pas

la distinction requise entre les opérations régionales, les opérations multidonateurs et celles mises en œuvre dans des pays fragiles. Cela nécessiterait des ajustements supplémentaires dans le Manuel des opérations et dans les directives spécifiques aux différents domaines stratégiques de la Banque.

b. Compte tenu de l’accélération de la décentralisation, la supervision continue par le personnel des bureaux pays jouera un rôle important pour assurer une collaboration adéquate avec les PMR. Pour ce faire, il faudra apporter d’autres modifications au cadre relatif au contrôle qualité, en définissant des indicateurs de performance pour apprécier les efforts et fournir les incitations conséquentes.

Les entretiens menés au niveau des pays ont confirmé les résultats obtenus par la Banque en matière de réponse et d’appui à la résolution des problèmes, mais cela n’a pas toujours été fait en temps voulu. Il est essentiel de donner aux bureaux pays les moyens de disposer du niveau de pouvoir d’approbation approprié ; une préoccupation dont la prise en compte est attendue du MDA révisée (Juillet 2018).

c. Les efforts déployés par la Banque pour faire face aux risques liés aux sauvegardes environnementales et sociales n’ont pas été accompagnés des ressources nécessaires pour appuyer adéquatement les activités de supervision. Les efforts sont axés sur la vérification préalable avant l’approbation du projet. Les experts de la Banque ont confirmé qu’ils ne consacrent qu’environ 20 % de leur temps à la supervision des questions relatives aux sauvegardes environnementales


et sociales. Les institutions de référence telles que la Banque mondiale, la SFI et la BID ont consacré davantage de ressources et de temps au suivi des risques environnementaux et sociaux au cours des dernières années. Des ajustements éventuels seront nécessaires pour faire face aux nouveaux défis découlant d’un portefeuille en évolution.

d. Les mesures prises par la Banque en vue d’adopter une approche d’équipe dans la supervision des projets n’ont pas encore porté de fruits. Bien que les équipes fiduciaires soient désormais plus souvent associées aux missions de supervision que les années précédentes, d’autres experts, tels que ceux chargés des sauvegardes environnementales et sociales, ne sont pas toujours associés à toutes les missions où leur présence est pertinente. Des lignes directrices claires n’ont pas été définies pour s’assurer que les experts en matière de sauvegardes environnementales et sociales sont responsables de la performance des projets après leur approbation.

e. Les efforts déployés par le système actuel de la Banque ont été entravés par l’absence d’une plateforme intégrée de gestion des projets permettant le relais d’information adéquat, le suivi approprié, la surveillance, la gestion des risques et l’établissement des rapports sur les résultats. Les difficultés rencontrées par l’évaluation pour obtenir des données sur les projets, qui n’étaient très souvent disponibles que dans les ordinateurs des chefs de projet, étaient la preuve de l’absence d’un système intégré de gestion des informations et présageaient des conséquences peu favorables pour le suivi des résultats.

f. Les outils de supervision actuels sont pertinents, mais il est possible de les rationaliser afin de réduire les doubles emplois et la redondance en ce qui concerne le type d’information requise. De même, il serait souhaitable de prévoir des directives en la matière.

Conformit : faisons-nous les choses correctement et selon les normes de qualité requises ?

a. Le respect des directives en matière de supervision affiche un tableau mitigé. Certains aspects tels que la composition des équipes et la soumission en temps voulu des rapports de supervision ont été partiellement réalisés. Lors des étapes préalables à la mise en œuvre, toutefois, des limites de conformité ont été relevées. La performance globale en matière de conformité est considérée comme transitoire. Il faudra mettre en place des mécanismes institutionnels appropriés pour renforcer la responsabilité et les incitations pour un changement de culture en faveur de la qualité et des résultats.

b. La soumission à temps des RAP reste un problème au regard de la performance des années précédentes. Bien que la Banque ait réussi récemment à soumettre tous les RAP en souffrance, les retards de validation d’IDEV devraient faire l’objet d’une attention particulière afin de garantir l’utilité de la validation des RAP. La planification des rapports de supervision élargis pose des problèmes de calendrier avec la période d’échéance et l’absence de données sur le chronogramme et l’exécution de ces rapports.

Performance : comment la supervision est-elle mise en œuvre en contexte ?

a. Les efforts déployés en matière de contrôle qualité, avec pour but d’introduire la qualité dans les activités de supervision, sont reconnus et augurent bien des réformes institutionnelles de la Banque, mais leur mise en œuvre ne s’est pas accompagnée d’un environnement propice pour assurer un changement de culture en faveur de la qualité et des résultats. Parmi les principaux domaines à améliorer, figurent la responsabilité et les mesures limitées en matière de contrôle de la qualité et d’incitation.


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

b. La Banque n’arrive pas à maximiser l’efficacité de la planification des ressources et de la budgétisation des activités de supervision, parce que la planification n’est pas différenciée en fonction du type d’opération et du contexte d’exécution du pays.

c. Dans la mesure où les récents efforts de suivi du portefeuille ont favorisé une supervision axée sur les risques, il est essentiel de prêter attention aux questions liées aux projets dans le suivi. Les efforts déployés récemment par la direction pour s’attaquer au problème sont bien reconnus, mais ils doivent encore être institutionnalisés au niveau des projets, avec des directives bien définies, des ressources appropriées et des indicateurs de performance pour renforcer davantage son efficacité.

d. L’une des principales fonctions de la supervision du projet est le suivi et la résolution des problèmes identifiés lors des missions de supervision précédentes. Bien que l’examen des projets ait révélé une performance mitigée, l’évaluation a toutefois relevé des possibilités d’amélioration afin de maximiser la fonction de supervision des projets en tant que moyen d’alerte précoce pour les questions de mise en œuvre. Les principales lacunes relevées avaient trait à la capacité à garantir que les problèmes relevés grâce aux supervisions sont résolus à temps.

e. L’évaluation a relevé quelques efforts en ce qui concerne l’importance accrue accordée aux résultats et à l’amélioration du suivi et de l’évaluation des emprunteurs et des projets. Elle a toutefois noté qu’un appui supplémentaire est nécessaire pour renforcer les capacités des emprunteurs et des clients en matière de suivi et d’évaluation lors de la préparation des projets, avant et pendant leur exécution. L’analyse a par ailleurs souligné l’importance de mettre en place des systèmes de S&E selon une bonne logique de projet et d’assurer une collecte appropriée de données.

f. À l’heure actuelle, l’attention portée aux activités d’achèvement est encore faible et des efforts accrus sont nécessaires pour assurer la qualité des rapports sur les résultats et la collecte des enseignements à tirer. Un suivi effectif et des rapports sur les résultats jouent un rôle clé dans le recensement des leçons pertinentes au cours de l’exécution, ce qui permet d’établir un ensemble d’enseignements à classer par ordre de priorité ou à valider au cours de l’exécution. Une autre revue en cours d’IDEV permettra de donner un aperçu complet de l’état de la performance. Néanmoins, les conclusions de la présente évaluation constituent une occasion d’améliorer la performance au moyen d’une plateforme permettant d’aborder les aspects contestés et de contrôle de la qualité du processus.

g. Les résultats de l'analyse-pays effectué dans le cadre de la présente évaluation ont montré que les problèmes contextuels des pays et la capacité des unités de mise en œuvre du projet (PIU) influencent les progrès réalisés dans l’exécution des projets. Cela confirme également le fait que, bien que la supervision puisse contribuer à améliorer les résultats d’un projet, les réalisations réelles sur le terrain dépendent en grande partie des performances de l’emprunteur, comme indiqué par la moitié des personnes interrogées dans les pays membres régionaux (PMR), le personnel de la Banque et les autres institutions multilatérales de développement.

h. Pour la supervision des opérations du secteur privé :

❙ Relever les résultats en matière de développement reste un défi, malgré les efforts déployés pour améliorer les structures et les modèles de suivi.

❙ Le dispositif actuel montre l’absence de rapports hiérarchiques et fonctionnels clairement définis, de mesures de


responsabilisation et de dimensions requises en matière de qualité de la supervision par rapport auxquelles mesurer la mise en œuvre des projets et l’atteinte des résultats de développement.

❙ Les enseignements et la durabilité des projets à la clôture ne sont pas suffisamment pris en compte dans les Rapport de Supervision Elargie.

❙ Le suivi du secteur privé continue de se heurter à la difficulté de suivre et de rendre compte de manière convenable des résultats en matière de développement.

i. Les rapports sur les résultats en matière de développement ne sont pas établis de manière optimale. Les opérations non financières rendent toutefois mieux compte de l’état d’avancement de l’exécution et de la viabilité commerciale que les opérations financières.

ii. Les opérations financières présentent d’autres faiblesses dans des domaines tels que : i) la capacité des clients à rendre compte des bons indicateurs, qui sont pertinents pour le projet financé par la Banque ; ii) l’engagement des clients pour des objectifs et des résultats communs en matière de développement ; et iii) l’insuffisance des efforts déployés par la Banque pour collaborer comme il se doit avec les clients, à l’instar des bonnes pratiques observées dans des institutions de référence telles que la BID et la SFI.

Maintenir la qualité de la supervision

Les efforts de la Banque n’ont pas été accompagnés de facteurs institutionnels pertinents pour soutenir la qualité de la supervision. Il faut accorder plus d’attention aux exigences de conformité en instaurant une culture des résultats et de la responsabilité, et en offrant les bonnes mesures incitatives. La

performance se trouve dans une phase transitoire. Il faudra disposer des ressources et des capacités appropriées en termes de personnel et de formation régulière pour maintenir et améliorer la performance.

Recommandations

Recommandation 1 – gestion proactive du projet : améliorer la gestion des risques et la performance des projets :

❙ Assurer l’harmonisation de la supervision au niveau des projets avec le suivi du portefeuille, afin d’apporter un soutien approprié aux projets problématiques et de relever les défis liés à la mise en œuvre et à l’atteinte des résultats des opérations.

❙ Pour les opérations du secteur public, promouvoir une approche proactive de la supervision des projets en fonction du type de projet et de l’exposition aux risques établis à l’étape préalable à la mise en œuvre.

❙ Pour les opérations du secteur privé en particulier, renforcer la supervision des projets par des missions spéciales pour suivre l’établissement des rapports sur les résultats tout au long du cycle de projet.

Recommandation 2 – conformité aux règles de la banque : veiller au respect des normes de qualité en matière de supervision et d’exécution :

❙ Renforcer les mécanismes de contrôle de la qualité pour les rapports de supervision de projet et le suivi post-supervision.

❙ Établir des directives claires et des critères de performance pour la supervision des projets, y compris une différenciation par type d’opération, par pays et par profil de risque.

❙ Entreprendre des missions de terrain sélectives après l’achèvement des travaux, afin de renforcer


Une

éval

uatio

n in

stitu

tionn

elle

IDEV

la valeur ajoutée des notes de validation d’IDEV et la crédibilité des résultats.

❙ Établir des directives claires et des critères de performance pour les activités de suivi et de supervision au sein des plateformes régionales de la Banque et dans les divers bureaux pays.

❙ Adopter une planification anticipée de l’achèvement du projet au cours de la dernière mission de supervision, afin de s’assurer de la disponibilité des ressources appropriées et d’une meilleure performance.

❙ Rationaliser les outils d’établissement de rapports de supervision, afin de réduire la redondance du contenu et le nombre de rapports requis et d’assurer une différenciation par type d’opération pour maximiser l’utilité.

❙ Prendre des mesures pour établir des liens entre les indicateurs pour l’assurance qualite de supervision et l’évaluation de la performance des chargés de projet et des gestionnaires.

Recommandation 3 – améliorer la qualité des rapports : accroître la base de données probantes et la crédibilité des rapports sur les résultats :

❙ Examiner les rapports d’achèvement de projet dans le cadre de réunions officielles de validation, afin de créer un espace pour la contestabilité et la formulation claire des enseignements tirés.

❙ Élaborer un système intégré et automatisé d’information de gestion tout au long du cycle du projet, afin de favoriser la responsabilisation et améliorer l’efficacité et l’efficience des rapports.

Recommandation 4 – mesures incitatives : renforcer les mesures incitatives pour soutenir une culture des résultats et de la qualité :

❙ Renforcer la responsabilisation et aligner les incitations sur la supervision.

❙ Renforcer les capacités du personnel en matière de gestion de projets par des formations et des programmes d’apprentissage standards.

Annexes


Annexe A : Méthodologie

Méthodologie et approche pour l’évaluation de la qualité de la supervision et de la sortie

Processus d’évaluation

❙ L’évaluation s’est déroulée en trois phases : la phase initiale, la collecte et l’analyse des données et la préparation du rapport.

❙ IDEV a organisé deux cérémonies de présentation des résultats pour en partager un aperçu avec i) des membres du groupe de contrôle qualité et du groupe de référence, et ii) lors d’une réunion spéciale d’OPSCOM avec la haute direction.

Cadre d’évaluation

L’évaluation a établi un cadre qui définit le concept de supervision de la Banque et le cadre de la qualité assurance de la Banque. Elle s’est également appuyée sur une théorie du changement qui définit le concept global de supervision adopté par la plupart des BMD, y compris la Banque. Le cadre d’évaluation se trouve à l’annexe B.

Méthodes de collecte des données

Enquête électronique d’un groupe sélectionné de répondants concernés par la supervision et la sortie.

❙ Revue de la littérature et des documents : l’évaluation a consisté en un examen de la documentation de la Banque et des institutions de référence. Pour la Banque, l’examen a porté sur les lignes directrices et les documents d’information pertinents directement liés au suivi de la mise en œuvre et à la performance du portefeuille.

❙ Pour les institutions de référence,

• Examen des directives sur la présentation de rapports sur les résultats et la supervision ainsi que sur les différents modèles

• Entretiens avec des informateurs clés afin d’identifier les meilleures pratiques pour garantir la qualité des rapports et des procédures

• Accès aux données de référence

73Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Échantillonnage

Trois échantillons de projets différents ont été utilisés dans l’analyse, notamment : i) un échantillon ciblé de 83 opérations du secteur public approuvées entre 2012 et 2017 ; ii) un échantillon ciblé de 45 opérations du secteur privé, y compris une stratification proportionnelle des projets d’investissement (non financiers) et des opérations financières (financement du commerce et lignes de crédit) ; iii) un échantillon ciblé de 14 RAP pour les opérations du secteur public sélectionnées parmi l’échantillon initial de 83 afin d’évaluer la qualité des activités d’achèvement et iv) un échantillon de 12 rapports de supervision élargis pour les opérations du secteur privé, y compris des projets approuvés en 2009 pour lesquels des rapports d’achèvement de projet (RAP) étaient disponibles.

Entretiens avec des informateurs clés : IDEV protège l’anonymat des personnes interrogées pour les évaluations. Par conséquent, les noms de ces personnes ne sont pas fournis dans la présente annexe.

Entretiens semi-structurés : Ils ont été menés auprès d’un large éventail d’intervenants internes et externes. Les modèles de questions ont été conçus pour obtenir des informations sur la qualité ainsi que des réponses structurées à des questions choisies, en déployant un format thématique qui permet de compiler des réponses au fil des entretiens. Les personnes interrogées ont été sélectionnées de manière à assurer une couverture adéquate des personnes impliquées dans toutes les activités de supervision et d’achèvement, tant pour les parties prenantes internes qu’externes. Le nombre total d’entretiens est indiqué dans l’annexe ci-jointe. La plupart de ces entretiens ont été réalisés à l’aide d’un protocole d’entretien normalisé conçu pour les différents postes occupés par les personnes interrogées. Une deuxième série d’entretiens a été menée pour valider et vérifier certains aspects des constatations découlant des premiers entretiens.

Analyse des données

❙ Analyse inductive et déductive du contenu : découverte des thèmes récurrents et validation de ceux-ci par une analyse croisée.

Indicateurs de référence pour les opérations du secteur public

Indicateurs de référence : ❙ Budget et affectation des ressources

❙ Délai moyen entre l’approbation et le premier décaissement

❙ Rapport entre le nombre de projets et le nombre de chefs de projet

Indicateurs de référence pour les opérations du secteur privé

Indicateurs de référence : ❙ % PNP

❙ Délai moyen entre l’approbation et à la mise en vigeur


❙ Adoption par IDEV d’une base de données relative à l’analyse quali-quantitative comparée qui définit les questions contextuelles pays qui influent sur l’état d’avancement de l’exécution pour l’examen des cinq études de cas.

Méthodologie de notation pour l’évaluation de la performance

Pour évaluer la performance d’une dimension, l’équipe d’évaluation a défini des sous-critères adoptés comme mesure de la performance de la qualité. Pour chaque domaine de performance, chaque sous-dimension est évaluée selon l’échelle suivante : Y = satisfaisant (critères entièrement respectés) ; P = partiellement satisfaisant (critères partiellement respectés) et N = insatisfaisant (critères non respectés). Chaque sous-critère qui ne s’applique pas à l’état ou au type de projet est considéré comme N/A.

Pour obtenir la performance globale de chaque dimension, une valeur numérique a été attribuée à chaque échelle comme suit : Y=1 ; N=0 et P=0,5. La note globale a ensuite été calculée ainsi :

P =(α + 0.5 * β)

* 100 où(α + β + γ)

❙ α est le nombre d’occurrence de Y ❙ β est le nombre d’occurrences de P ❙ γ est le nombre d’occurrences de N

Enfin, une dimension A est considérée comme satisfaisante si P ≥ 70%, partiellement satisfaisante si 50 % ≤ P < 70 % et insatisfaisante si P < 50 %

Sondage auprès des parties prenantes

Les entretiens avec les parties prenantes ont été menés auprès des membres du personnel en poste au siège et ceux des bureaux pays sont venus rencontrer l’équipe d’évaluation. Il n’a pas été possible de mener des entretiens en présentiel avec le personnel travaillant en dehors de ces contextes. L’enquête auprès des parties prenantes a été mise en œuvre afin d’élargir la portée de l’évaluation et de recueillir les réactions des membres du personnel ciblé travaillant à Abidjan ainsi que dans les plateformes régionales et les bureaux pays de la Banque.

En ce qui concerne la qualité de la supervision, 4 principaux groupes de personnel ont été ciblés : i) les chefs de projet pour les opérations souveraines ; ii) les chargés de portefeuille pour les opérations non souveraines et les équipes chargées des prêts ; iii) les responsables pays et iv) les chargés de programmes pays.

Dans l’ensemble de ces groupes, 422 intervenants ont été ciblés et 101 ont répondu. Toutefois, comme chaque groupe d’intervenants a répondu à des questions différentes, seules des réponses pertinentes avec une marge d’erreur élevée acceptable ont été utilisées dans l’analyse. (Les détails des questions et des groupes cibles figurent à l'annexe B1.)

75Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Validation des documents

Performance : l’évaluation a adopté les normes de la banque en matière de supervision, les bonnes optimales identifiées lors des consultations avec les institutions de référence et le cadre de contrôle qualité de la Banque pour définir le modèle de validation des documents. Pour le secteur privé, il a été aligné sur les directives pour l’établissement des rapports. Il a également tenu compte des normes en matière de rapports pour chaque type d’opération. Par exemple : l’établissement de rapports par le biais de l’analyse CAMEL a été adopté comme sous-critère dans l’évaluation des opérations financières. Les principaux domaines de performance définis dans le tableau ci-dessous ont servi de base à l’évaluation des projets. Ces dimensions de la performance ont constitué les normes de qualité adoptées par l’évaluation pour déterminer la qualité de la supervision. Des experts sectoriels compétents et expérimentés ont procédé aux validations documentaires et donné des notes indépendantes qui ont été examinées et validées par IDEV sur la base des éléments probants fournis.

Tableau A1 : Documents de projet examinés pour validation

Secteur public Secteur privé

❙ Rapport d’évaluation du projet ❙ Documents de l’accord de prêt ❙ Mandat du projet (missions) ❙ Documents relatifs au respect des conditions du prêt/ l’efficacité du prêt

❙ Aide Mémoires ❙ Compte rendu de mission ❙ Rapports de supervision ❙ Rapports de revue à mi-parcours ❙ Notation des EER ❙ Rapport d’achèvement de projet de la Banque

❙ Rapport d’investissement du projet ❙ Documents de l’accord de prêt ❙ Accord sur les modalités communes (entre les prêteurs et la Banque) ❙ Lettre de demande d’utilisation (premier décaissement) ❙ Documents de déclaration de la société bénéficiaire de l’investissement

❙ Rapports opérationnels et financiers trimestriels ❙ Note(s) de compte rendu de mission - le cas échéant ❙ Rapport de supervision du projet ❙ Rapport annuel de supervision ❙ Rapport de supervision élargi

Tableau A2 : Cadre des dimensions de la performance adopté pour la validation des documents de projets – secteur privé

Description Dimension de la performance Critères/sous-critères

Domaine de performance 1

Fonctionnement des dispositifs de S&E

❙ Preuve de la clarté des exigences en matière de rapports ❙ Preuve de la capacité du client à produire des rapports (S&E) ❙ Preuve de la supervision par les sous-prêteurs/Preuve de l’exigence de supervision satisfaite par le client

Domaine de Performance 2

Couverture appropriée des principales questions de mise en œuvre pendant la supervision

❙ Couverture et solidité des preuves de la mise en œuvre du projet/de la LDC

❙ Couverture et solidité des preuves de la performance financière du projet

❙ Couverture et solidité des indicateurs des OD ❙ Couverture et solidité des preuves de l’efficacité opérationnelle ❙ Viabilité économique et sociale


Description Dimension de la performance Critères/sous-critèresDomaine de Performance 3

Crédibilité de la notation de l’état d’avancement de l’exécution des projets

❙ Preuves de l’exécution ❙ Preuves de la performance financière ❙ Preuves à l’appui des indicateurs de résultats en matière de développement


Mesures de suivi et recommandations

❙ Les mesures de suivi et les recommandations sont bien formulées ❙ La liste des principales questions et recommandations semble pertinente et complète

❙ Preuve que les recommandations ont été mises en œuvre à temps


Qualité de la supervision à l’échéance et sortie

❙ Étendue de la couverture :• Résultats en matière de développement• Rentabilité des investissements• Additionnalité• Enseignements• Durabilité

Tableau A3: Dimensions de l’évaluation de la performance utilisées pour l’outil de validation documentaire – secteur public


Domaine d’évaluation Objet de l’évaluation

Couverture Conformité et couverture des mesures visant à assurer la qualité de la supervision. Il examine également la manière dont la rentabilité a été prise en compte selon le type d’opération.

❙ Incidence de la fréquence de la supervision sur le calendrier du cycle de projet

❙ Respect des exigences en matière de supervision ❙ Approche de supervision ; étendue des gains d’efficacité ❙ Équipes de mission, pertinence et qualité des activités de supervision ❙ Mesures relatives à la gestion de portefeuille. ❙ Conformité des RAP au format et à la qualité du contenu. ❙ Pertinence du calendrier d’établissement des RAP et étendue de la couverture des questions de durabilité et de la qualité des enseignements tirés


Qualité de la supervision ❙ Pertinence, adéquation, efficacité, opportunité, des outils et des activités de supervision par rapport au type et à l’état d’avancement du projet.


Cadre de suivi de la qualité des résultats ❙ Cadre de suivi de la qualité des résultats - Cohérence entre les rapports (compte rendu de mission, rapports de synthèse) et notations EER

❙ Utilisation des indicateurs sectoriels pertinents ❙ Harmonisation des indicateurs d’établissement de rapports avec les problèmes préalablement identifiés du CMR (proactivité)

❙ Degré d’adaptation aux situations de projet et aux types d’opérations dans le cadre des activités de supervision


Fonction de suivi et d’évaluation axée sur les résultats et fonction d’établissement de rapports

❙ Comment les processus de S&E traitent-ils des responsabilités et de l’affectation des ressources pour les activités et instruments pertinents de supervision

❙ L’équipe de supervision examine les rapports d’étape du PMR et en fait un usage adéquat.

77Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV


Domaine d’évaluation Objet de l’évaluation


Célérité, pertinence, utilité des actions de suivi pour résoudre les problèmes

❙ Les mesures de la qualité ont-elles atteint les objectifs de supervision ❙ Identification et traitement des risques, questions nécessitant l’attention de la direction

❙ Identification de mesures correctives crédibles et réalistes par rapport à l’état d’avancement du projet

❙ Évaluation de l’effet des mesures d’accompagnement des actions correctives


Degré de crédibilité des rapports et de la notation des projets

❙ Recours aux rapports d’étape des emprunteurs par la Banque ❙ Cohérence entre les rapports sur l’état d’avancement de la supervision et les notations des projets.

❙ Prise en compte de l’établissement des rapports par rapport à la classification des projets


Respect de la méthodologie de classification des projets

❙ En fonction des notations EER, degré auquel la classification des projets reflète la classification des EER des projets.


S’attaquer aux risques pour assurer une mise en œuvre efficace et durable

❙ S’attaquer aux principaux risques liés au financement, à la maintenance et aux responsabilités institutionnelles.


Couverture et qualité des enseignements tirés pendant la mise en œuvre et à l’achèvement

❙ Conformité et qualité du suivi des progrès réalisés ❙ Degré d’alignement des rapports sur les indicateurs du CREAM pour la logique du projet

❙ Qualité des rapports et conformité au format des RAP

Examen des processus : Il a été réalisé sur un échantillon de 83 projets pour le secteur public et 38 opérations pour le secteur privé. Les détails de la répartition figurent dans les annexes techniques.

Tableau A4 : Examen des processus – Secteur public

Critères Composantes Dimensions examinées

Conformité avec les exigences du processus d’assurance qualité de la Banque

Mission de lancement de projet

Missions régulières

Missions spéciales

Revue à Mi-parcours

Missions de clôture de projet

❙ Respect des délais du cycle de projets ❙ Fréquence de supervision (PP vs NPP) ❙ Durée de la mission de supervision ❙ Mix de compétences lors des missions ❙ Délais de soumission des rapports ❙ Validation des rapports par les gestionnaires (contrôle de qualité) ❙ Taux de couverture des PCR et PCREN

Allocations des ressources

Allocation du personnel

Budgétisation et coût des supervisions

Programmation des missions de supervision

❙ Distribution du personnel en charge des opérations ❙ Charge de travail sur les chargés de projets par secteur et région ❙ Charge de travail sur les experts fiduciaires (spécialiste en gestion financière, décaissement et passation de marchés)

❙ Allocation budgétaire et coût des missions de supervision (2015–2017)

❙ Planification et exécution des missions de supervision ❙ Coordination entre les chargés de programme et les experts fiduciaires dans l’exécution des missions de supervision


Critères Composantes Dimensions examinéesQualité du portefeuille Tableau de bord des opérations de

la Banque

Système d’alerte sur la qualité du portefeuille

Base de données des IPR

❙ Evolution de la situation des alertes sur le portefeuille de la Banque ❙ Projets à risque ❙ Statuts des IPR ❙ Faiblesses récurrentes dans le portefeuille de la Banque

Système d’information de la Banque sur les supervision

Tableau de bord des opérations de la Banque


Base de données des IPR

❙ Intégration et complémentarité de la base de données des IPR et du système d’alerte sur la qualité du portefeuille

❙ Couverture, qualité et facilité d’utilisation des différentes plateformes

Tableau A5 : Examen des processus – Secteur privé

Critères Composantes Dimensions examinées

Conformité avec les exigences du processus d’assurance qualité de la Banque

Missions de supervision classiques

Missions de supervision spéciale (équipe spéciale d’opération, comité des risques)

Missions de clôture de projets

❙ Respect des délais du cycle de projets ❙ Fréquence des missions de supervision (Projets financiers Vs Projets non financiers)

❙ Aspects couverts par les différents rapports (PSR, BTOR) ❙ Rapportage sur les objectifs de développement ❙ Fréquence des missions de supervision spéciales pour les projets à risques

Allocations des ressources

Allocation du personnel

Budgétisation et coût des supervisions

Programmation des missions de supervision

❙ Distribution des chargés de portefeuille par type d’opérations ❙ Charge de travail sur les chargés de portefeuille et les coordinateurs de portefeuille

❙ Coordination entre les différents acteurs (chargés d’investissement, chargés de portefeuille et coordonnateur)

❙ Allocation budgétaire et coût des supervisions (2015–2017)

Qualité du portefeuille Tableau de bord des opérations de la Banque


Etat des opérations non performantes

❙ Evolution de la situation des alertes sur le portefeuille de la Banque ❙ Evolution de la structure du portefeuille non performant de la Banque en comparaison avec les institutions multilatérales de développement similaires

79Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Tableau A6 : Aperçu des principales personnes interrogées

Ministères/CEP Nbre Institutions de référence

Nbre PD* Nbre BAD No.

Ministère des Finances 5 BID 12 Banque mondiale 3 Administrateurs 3

Ministère de l’Environnement

1 Banque mondiale & IFC

25 UE 2 VP 4

Ministère de l’Agriculture 1 FIDA 2 BEI 1 Conseiller du VPP 1

Ministère des Transports 1 CMC 6 AFD 1 DG 3

Ministère de l’Énergie 2 BERD 2 BDEAC 1 Directeur 5

Ministère de l’Industrie 2 JICA 2 Responsable sectoriel 6

Ministère des Infrastructures

1 PAM 1 CM/CPO

57

Ministère de la Jeunesse 1 BisD 1 Chef de projet 35

Ministère du Tourisme 1 Spécialiste du décaissement

6

Ministère des PME 1 Experts de la gestion financière

10

Organismes d’exécution/CEP

22 Experts de la passation des marchés

6

Greffier du Parlement 1 Spécialiste des SSI 3

Auditeur général 1 Responsables du budget 2

Clients (privés) 5 Spécialistes du genre 1

Chargés de portefeuille 4

Chargé du risque de crédit 4

Chargé d’investissement 3

Coordonnateur de portefeuille

2

SNOQ 3

Autres 4

Sous-total 45 43 12 117

Total 217

*Partenaires de développement (bureaux locaux)


Questions Critères d’appréciation Indicateurs Principales sources des éléments justificatifs

Composantes de l'évaluation

I – Couverture

C1 : Comment le concept de supervision de la Banque est-il défini et quel est son objectif ?

s/o s/o Documents de la Banque

Personnel de la Banque

Revue documentaire(IDEV)

Consultation des parties prenantes (IDEV)

C2 : Quels sont les principaux acteurs, activités, outils et mécanismes (internes) de retour d’information et de contrôle qualité qui permettent à la Banque d’assurer la supervision ?





C3 : Quels ont été les principaux changements constatés au cours de la période de l’évaluation ?

Documents de la Banque


Revue documentaire(IDEV)Consultation des parties prenantes (IDEV)

C4 : Comment les normes de contrôle qualité de la Banque en matière de mise en œuvre intègrent-elles les questions environnementales et sociales pour se conformer à son système de sauvegardes intégré ?





C5 : Comment les normes de contrôle qualité de la Banque en matière de supervision abordent-elles d’autres questions transversales telles que le genre, la gestion fiduciaire et la fragilité ?





C6 : Quelles sont les contributions envisagées dans le processus en termes de temps, de ressources financières, humaines,



Revue documentaire (IDEV)

Consultation des parties (IDEV)

Enquête auprès des parties prenantes

Annexe B : Matrice de l’évaluation

Matrice de l’évaluation – Qualité de la supervision et sortie

81Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV



d’outils et de contexte organisationnel (y compris les mesures de responsabilisation, les directives, les points de décision du contrôle de la qualité et l’engagement de la Direction) ?

Pertinence :

EQ1.1 : Les normes de contrôle qualité de la Banque en matière de supervision et d’achèvement des projets, telles que conçues, sont-elles adaptées à l’objectif visé et conforme aux directives opérationnelles de la Banque ?

JC1.1.1. Dans quelle mesure les politiques, manuels et directives de la Banque fournissent-ils une description bien définie, complète et réaliste des normes de contrôle qualité de la Banque en matière de supervision et d’achèvement de projets ?

❙ Les politiques, manuels et directives de la Banque en matière d’opérations fournissent une description bien défnie, complète et réaliste des :

a. Principaux objectifs/exigences de chaque opération

b. Activités, outils, rôles et responsabilités clés selon le type de projet

c. Rôle et utilisation du système de notation et du système informatique liés à la supervision (suivi du lancement et de la mise en œuvre)

❙ Les politiques, manuels et directives de la Banque en matière d'opérations fournissent une description bien défnie, complète et réaliste des :

a. Principaux objectifs/exigences de chaque opération;

b. Activités, outils, rôles et responsabilités clés; et

c. Utilisation du système de notation et du système informatique liés à l'achèvement




Consultation des parties prenantes (TM) (IDEV)


(LATTANZIO)

JC1.1.2. Dans quelle mesure les processus de contrôle qualité mis au point par la Banque pour la supervision et l’achèvement des projets permettent-ils une couverture et une réponse adéquates à la politique et aux directives opérationnelles de la Banque ?

❙ Couverture adéquate de la supervision dans divers contextes, types d’intervention (lancement et suivi de la mise en œuvre), comme dans les politiques, manuels et lignes directrices de la Banque

❙ Supervision qui s’adapte à différents types et contextes d’intervention





Enquête auprès des parties prenantes (LATTANZIO)




EQ1.2 : Les normes de contrôle qualité de la Banque en matière de supervision et d’achèvement de projets établissent-elles des priorités et prennent-elles en compte les axes stratégiques de la Banque (en commençant par les « High 5 » ?

JC1.2.1. Les processus de contrôle qualité mis au point par la Banque pour la supervision et l’achèvement des projets répondent-ils de manière adéquate au programme de la Banque axé sur les résultats ?

Alignement sur le CMR et autres domaines stratégiques.(Fragilité et resilience)




Entretiens avec les parties prenantes (IDEV)


JC1.2.2. Les processus de contrôle qualité mis au point par la Banque pour la supervision et l’achèvement des projets répondent-ils de manière adéquate aux priorités stratégiques de laBanque dans les différents secteurs

(analyse par secteur)

❙ Principaux indicateurs de résultats et de performance et autres questions connexes couvertes dans le cadre de mesure des résultats de la Banque dans divers secteurs

❙ % de couverture de ces indicateurs et de ces questions dans les normes d’assurance-qualité de la Banque pour la supervision et l’achèvement des projets.



Documents du projet



Revue des documents du projet (LATTANZIO)

EQ1.3 : A-t-on donné suite aux recommandations des évaluations ?

s/o ❙ Nombres des recommendations

addressées ❙ Nombres des recommendations en matière de supervision et d’achèvement des projets sont-elles fondées sur des données probantes, bien documentées et conformes à l’évolution du contexte institutionnel de la Banque.

❙ Dans quelle mesure les décisions de la Direction sont-elles été mises en œuvre.

Notamment :

❙ Une plus grande attention aux résultats et aux risques et leur intégration dans la pratique quotidienne






EQ 1.4 : Les normes de contrôle qualité de la Banque en matière de supervision et d’achèvement de projets reflètent-elles les pratiques optimales, y compris les bonnes pratiques des institutions de référence ?

JC 1.4.1. Dans quelle mesure les principales questions liées à la mise en œuvre et couvertes par les normes de contrôle qualité mises au point par la Banque pour la supervision et l’achèvement des projets sont-elles conformes aux meilleures pratiques ou diffèrent-elles de celles appliquées par d’autres institutions de référence ?

❙ Principaux indicateurs axés sur les résultats et indicateurs de performance et autres questions que d’autres institutions de référence utilisent dans le cadre du suivi de la mise en œuvre

❙ Principales différences entre les normes d’assurance qualité de la Banque et celles des institutions de référence pour tout ce qui précède.

Institutions de référence

Analyse des institutions de référence (IDEV)

83Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV



JC 1.4.2. Dans quelle mesure les pratiques de contrôle qualité de la Banque reflètent-elles les meilleures pratiques et diffèrent-elles de celles appliquées par d’autres institutions de référence ?

Principales mesures prises par les institutions de référence pour s’assurer que leur système d’AQ est adapté à l’objectif visé.

❙ Les objectifs et les exigences en matière d’AQ sont bien définis complets et réalistes

❙ Les activités, les rôles et les responsabilités, et les outils sont bien définis complets et intégrés pour l’apprentissage et la gestion des connaissances.

❙ Des systèmes complets de notation et de TI sont en place pour assurer l’apprentissage et l’intégration des activités du cycle de projet

Institutions de référence

Analyse des institutions de référence (IDEV)

Revue documentaire Consultation des parties prenantes


EQ1.5 : La prise en compte du SSI dans le système d’AQ à des fins de supervision et de sortie est-elle

Cf. EQ1.1 ; EQ1.2 ; EQ1.5

conforme aux exigences et aux bonnes pratiques de la Banque ?

QE 1.6 : Dans quelle mesure le contrôle qualité de la supervision et de la sortie du projet est-il utilisé pour se conformer aux politiques et directives de la Banque pour les thèmes transversaux (problématique hommes-femmes, gestion fiduciaire et fragilité), adapté à l'objectif visé et aligné sur les priorités et les meilleures pratiques de la Banque ?

Voir QE 1.1 ; QE 1.2 ; QE 1.5

Efficacité :

QE 2.1 : Dans quelle mesure le contrôle qualité de la supervision et de l'achèvement du projet atteint-il ses objectifs immédiats, comme le prévoient les politiques, manuels et directives de la Banque ?

CA 2.1.1. Le contrôle qualité de la supervision du projet (lancement) a « permis de bien démarrer le projet ».

(accent mis sur le lancement)

❙ Les emprunteurs/clients familiarisés avec les activités de mise en œuvre du projet, notamment :

• les conditions de prêt et les exigences pour les respecter


Personnel PMR

Études de cas par pays

Visite sur le terrain (IDEV-LATTANZIO)




Secteur privé :Le contrôle qualité de la supervision du projet a permis de garantir un transfert approprié du projet et d'établir clairement les exigences du client en matière de rapport.

Exigences en matière de rapport revues et acceptées par le client

❙ Le client comprend les exigences et est en mesure de faire état des indicateurs de rapport requis

❙ Formation adéquate et soutien au client pour s'assurer qu'il est bien formé et qu'il est en mesure d'assurer le suivi du projet

❙ Les exigences du client en matière de rapport sont axées sur des indicateurs vérifiables

• le calendrier de mise en œuvre, y compris le programme de travail de la première année et le plan de supervision

• les modalités en matière de passation de marché et de gestion financière

• les modalités de suivi et d'évaluation (S&E), y compris les exigences en matière de rapport soumis à la Banque ; et

• les procédures et les méthodes de décaissement

CA 2.1.2. Les progrès accomplis dans la réalisation des objectifs du projet ainsi que l'efficacité et l'efficience de sa mise en œuvre ont été contrôlés conformément aux normes de la Banque. (accent mis sur les rapports)

❙ Qualité des rapports : la note REE a été correctement utilisée « sans complaisance »

❙ Les rapports sur le cadre logique sont basés sur des rapports équilibrés et des preuves crédibles, etc./l'utilisation de sources indépendamment vérifiables

❙ Cohérence entre les rapports de supervision et les notes de supervision

❙ Rapports en temps voulu ❙ Respect par les emprunteurs des obligations en matière d'établissement de rapports et utilisation des rapports d'avancement des emprunteurs par la Banque

Indicateurs du TBAQ


Documents du projet



Analyse documentaire – IDEV

Analyse quantitative - IDEV

Vérification documentaire du projet

Visite sur le terrain


CA 2.1.3. Les problèmes en suspens et les décisions prises par la Direction de la Banque et/ou les actions supplémentaires requises de la part de l'emprunteur et des agences d'exécution pour améliorer la performance

Identification des risques critiques nécessitant des mesures d'atténuation et l'attention de la Direction ❙ Identification d'actions correctives crédibles et réalistes

❙ Aide-mémoire/lettre signée avec le gouvernement

Indicateurs du TBAQ

Documents du projet


Études de cas


Analyse quantitative - LATTANZIO

Consultation des parties prenantes – IDEV

Revue des documents du projet

85Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV



du projet ont été mis en avant lors de la supervision.

(accent mis sur le risque et les actions correctives)

❙ Signature du REE par la haute Direction

❙ Le bureau extérieur a donné suite aux recommandations

❙ Actions spéciales : projets problématiques, suspension de décaissement, annulation de prêt



CA 2.1.4. Le contrôle qualité de l'achèvement

La notation du RAP est cohérente, basée sur des preuves et sans complaisance :

❙ Cohérence entre les notes du REE et du RAP.

❙ Utilisation adéquate des orientations du RAP et couverture des principaux domaines pertinents.

❙ Des recommandations clés sont formulées, avec un accent particulier mis sur le traitement des risques menaçant la durabilité des avantages du projet.

Indicateurs du TBAQ

Document de la Banque

Documents du projet




Analyse quantitative - IDEV





CA 2.1.5. Le contrôle qualité de l'achèvement a répondu au principe de la responsabilité mutuelle.

❙ La qualité des enseignements identifiés

❙ Organisation d'un atelier multipartite sur le RAP.

❙ L'emprunteur fournit des données quantitatives sur les produits et les résultats obtenus et contribue à l'évaluation de la performance de la Banque et de l'emprunteur.

❙ L'emprunteur perçoit le RAP comme un document commun entre la Banque et lui-même.

❙ Signature du RAP par la haute Direction.

Indicateurs du TBAQ


Études de cas

Documents du projet

Revue de documents – IDEV

Analyse quantitative – IDEV




QE 2.2 : Quels types de preuves existe-t-il pour montrer que le contrôle qualité de la supervision et de l'achèvement du projet a contribué à la qualité (améliorée), à l'efficacité, à l'efficience et à la durabilité du projet ?

Résultat

CA 2.2.1. La supervision du projet (lancement) a aidé à sécuriser le lancement et l'entrée en vigueur du projet en temps voulu(préparation à la mise en œuvre ; démarrage du projet en temps voulu ; conformité de l'emprunteur).

❙ Ajout de valeur grâce aux instruments de supervision, par exemple la supervision basée sur les risques, rôle de la présence sur le terrain.

❙ Respect des conditions du prêt dans les délais (pas plus de 6 mois).

❙ Fourniture d'une assistance supplémentaire pour répondre aux conditions préalables à la mise en œuvre/au financement rétroactif et au mécanisme de passation de marché anticipée pour soutenir les activités préalables à la mise en œuvre (UGP, enquêtes, etc.).

❙ Commentaires des emprunteurs sur le niveau de soutien reçu de la part de la Banque lors du lancement.

Indicateurs du TBAQ

Documents du projet Études de cas par pays

Outil de validation (éléments de l'analyse QàE)

Analyse quantitative (IDEV)






❙ La supervision et l'achèvement du projet ont mis l'accent sur la gestion des risques et des résultats en tenant compte des différents contextes et types de projet.

❙ Le contrôle qualité de l'achèvement du projet a corrigé les insuffisances dans les évaluations de performance et a permis d'établir des enseignements pertinents.

Le contrôle qualité a résolu les problèmes identifiés lors des évaluations précédentes.

CA 2.2.2. La supervision du projet (suivi de la mise en œuvre) a contribué à améliorer la performance du projet pendant la mise en œuvre(obtention de résultats physiques, financiers et techniques ; conformité de l'emprunteur).

❙ Le contrôle qualité pour la mise en œuvre et l'achèvement du projet a permis d'améliorer le suivi et l'élaboration des rapports.

❙ Secteur privé : compréhension des clients et engagement mutuel à rendre compte des résultats de développement.

❙ Évaluations des tendances REE (au niveau de la sortie).

❙ Les emprunteurs réalisent que le niveau de soutien/l'implication de la Banque les aident à gérer leurs projets et/ou à résoudre leurs problèmes lors de la mise en œuvre.

❙ Réponse de la Banque aux actions correctives, y compris pour les projets problématiques et les risques clés nécessitant l'attention de la Direction.

Rapport phare sur le portefeuille

Données TBAQ

Documents du projet

Études de cas





CA 2.2.3. L'achèvement du projet a permis d'améliorer la qualité à la sortie (accent mis sur la durabilité)

Approche systématique pour répondre aux exigences de clôture de projet en mettant l'accent sur :

❙ le respect des activités de clôture ; transfert approprié aux parties prenantes concernées, reprise des activités en cours

❙ le respect des dispositions de gestion financière


PMR

Études de cas



QE 2.3 :Dans quelle mesure les instruments de contrôle qualité de la Banque pour la mise en œuvre et l'achèvement des projets ont-ils contribué

s/o ❙ Utilité des enseignements dans le RAP.

❙ Mécanismes, rôle et responsabilité dans l'intégration des enseignements tirés, par exemple pour les opérations du secteur public :

Documents du projet


PMR

Études de cas



87Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV



à l'identification et à l'utilisation des enseignements tirés ?

❙ Rôle du système d'information/de gestion de données.



QE 2.4 : Dans quelle mesure le contrôle qualité de la Banque pour la supervision et la sortie du projet a-t-il été mis en place comme prévu et d'une manière qui reflète les normes du système de sauvegarde intégré de la Banque ?

Le REE intègre les entrées du SSI et permet la validation du SSI dans le système

Le REE intègre toutes les informations pertinentes sur le projet pour le contrôle de la qualité

Outil utile pour les actions de suivi

Outil utile pour la prise de décision

Outil utile pour les rapports de performance et l'apprentissage des enseignements tirés

Documents du projet


PMR

Études de cas

Validation de documents (SSI)



QE 2.5 : Quelles preuves permettent de démontrer que le contrôle qualité pour la supervision contribue à une mise en œuvre efficace du SSI de la Banque ?

❙ Problèmes avec le SSI résolus de manière efficace pour la satisfaction des bénéficiaires grâce à la supervision

❙ Supervision accrue sur les projets des catégories 1 et 2 conformément aux meilleures pratiques

❙ La supervision intègre le SSI dans les actions de gestion des risques

❙ Actions correctives sur les questions relatives au SSI intégrées et contrôlées à l'aide d'instruments de supervision

❙ L'achèvement du projet garantit la mise en œuvre de mesures pour soutenir les efforts de sauvegarde

Documents du projet


PMR

Études de cas

Outil de validation de documents (SSI)


QE 2.6 : Dans quelle mesure le contrôle qualité de la Banque pour la supervision et la sortie du projet a-t-il été mis en place comme prévu et d'une manière qui reflète les politiques et directives de la Banque sur les questions transversales ?

Questions transversales correctement identifiées, traitées, mises en œuvre et suivies (par exemple, les questions hommes-femmes, indicateurs de gouvernance suivis de près tout au long de la mise en œuvre)

❙ La supervision intègre et rend compte de manière adéquate les principales questions transversales

Documents du projet


PMR

Études de cas

Outil de validation de documents (SSI)


Entretiens avec les parties prenantes


QE 2.7 : Quelles preuves permettent de démontrer que le contrôle qualité réalisé par la Banque contribue à une mise en œuvre efficace des politiques de la Banque en matière de questions transversales ?

❙ Les questions transversales sont traitées de manière efficace pour la satisfaction des bénéficiaires grâce à la supervision

s/o Documents du projet


PMR

Études de cas

Entretiens avec les parties prenantes


Efficience :

QE 3.1 : Le contrôle qualité de la Banque pour la supervision est-elle rentable en termes de temps, de ressources

s/o ❙ Taille de l'équipe de supervision et combinaison de compétences

❙ Continuité du personnel de supervision

❙ Assistance ponctuelle des supérieurs hiérarchiques


Indicateurs du TBAQ

Revue de documents (IDEV)





financières et humaines (y compris la combinaison de compétences) ?

❙ Rôle des bureaux extérieurs et coordination avec le siège

❙ Adéquation des budgets alloués pour la supervision

❙ Mesure dans laquelle les parties prenantes considèrent que le temps et les intrants alloués à la supervision sont raisonnables

❙ Ampleur des étapes redondantes dans le processus


Documents du projet





QE 3.2 : Le contrôle qualité de la Banque pour la supervision est-il mis en place suffisamment tôt pour générer les avantages escomptés ?

s/o ❙ Fréquence de la supervision ❙ Production de la documentation en temps voulu (rapports de mission, rapports de supervision, lettres de suivi au gouvernement

Contexte institutionnel : utiliser des mesures de responsabilisation et de soutien à la gestion pour résoudre les problèmes liés au projet.

❙ Respect des délais au niveau des RAP


Indicateurs du TBAQ


Documents du projet







QE 3.3 : Le contrôle qualité de la Banque pour la supervision et l'achèvement du projet est-il rentable par rapport aux autres modèles disponibles ?

s/o ❙ Budget de la supervision ❙ Soutien et responsabilité des supérieurs hiérarchiques

❙ Rôle des bureaux extérieurs et coordination avec le siège

❙ Rôle du système d'information ❙ Supervision adaptative au contexte et au type du projet


Indicateurs du TBAQ


Documents du projet





Visite sur le terrain / Étude de cas par pays

Durabilité :

QE 4.1 : Dans quelle mesure les parties prenantes perçoivent-elles le processus comme étant clair, pertinent, crédible et utile ? Les parties prenantes ont-elles adhéré suffisamment au processus ?

s/o Mesure dans laquelle les parties prenantes estiment que leur rôle et leurs responsabilités sont clairs et que les outils existants sont utiles.

Secteur privé :

❙ Compte rendu des parties prenantes sur l'utilité perçue des exigences en matière de rapports et de résultats

❙ Enseignements tirés utiles et disponibles

❙ Le système informatique assure un système intégré basé sur les résultats





QE 4.2 : Quelles mesures d'incitation sont en place pourgarantir que les mesures de contrôle

s/o ❙ Mesure dans laquelle les parties prenantes estiment que l'accent est mis sur la rédaction de rapports équilibrés et la possibilité d'en tirer des enseignements

89Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV



qualité de la Banque pour la supervision sont mises en œuvre comme prévu ?

❙ Identification des incitations/KPI contradictoires pour assurer le contrôle qualité

❙ Le cadre institutionnel organisationnel permet l'engagement de la Direction ; d'aligner le système d'évaluation de la performance du personnel sur la performance globale de mise en œuvre du projet et pas seulement sur les problèmes ou les approbations





QE 4.3 :Dans quelle mesure la Banque a-t-elle mis en place une formation, un appui technique et des conseils suffisants pour appuyer comme prévu la mise en œuvre du contrôle qualité pour la supervision ?

s/o ❙ Identification des services de formation et d'appui fournis pour la mise en œuvre des outils d’assurance qualite.

❙ Mesure dans laquelle les intervenants perçoivent les services d'appui aux processus comme étant utiles.

❙ Proportion de chefs de projet ayant reçu une formation officielle.





QE 4.4 : Des systèmes et des outils appropriés sont-ils en place pour institutionnaliser les enseignements tirés des pratiques de supervision de la Banque et assurer l'amélioration continue de la qualité du portefeuille ? Quelles incitations sont en place pour que les parties prenantes impliquées dans le processus identifient les faiblesses à des fins d'apprentissage et d'amélioration ?

❙ Mesure dans laquelle il existe des outils pour stocker les données de revue de projets afin que le personnel puisse les consulter et diffuser les enseignements

❙ Mesure dans laquelle les plateformes de gestion des connaissances sont utilisées pour surveiller la qualité des données de revue

❙ Mesure dans laquelle les parties prenantes déclarent utiliser les informations du contrôle qualité pour éclairer leur décision

❙ Utilisation des plateformes de gestion des connaissances existantes pour identifier les meilleures pratiques et les enseignements à tirer dans les nouveaux projets





III – Conclusion

C : Quels ont été les facteurs clés expliquant la performance de la Banque en matière de contrôle qualité pour la supervision et la clôture du projet ?

❙ Contexte de la Banque (par exemple, ressources, culture institutionnelle, cadre)

❙ Contexte du PMR (par exemple, capacité, engagement, bonne volonté)

s/o Les questions de conclusion ne s'appuieront pas sur de nouvelles preuves mais sur l'analyse des QE

s/o


Théorie du changement de l'évaluation : Qualité de la supervision et qualité à la cloture

Intrants Activités Produits Résultats attendus

Avant la mise en œuvre

• Projets/programmes approuvés

• Respect des conditions• Cellule de coordination

de projet• Renforcement des

capacités• Connaissance du

contexte du pays• Conformité

aux exigences : sauvegardes environnementales et sociales (PGES, PAR)

Outils de supervision

Supervision documentaire :• Revue de l’état

d’avancement• Tableau de bord

d’assurance qualité• Revue à mi-parcours• Revue du portefeuille

Supervision sur le terrain :• Lancement du projet• Supervision spéciale• Supervision normale• Mission d’achèvement

• Équipes de projet, des finances, de passation de marché mises en place

• Suivi et rapport d’état d’avancement de la mise en œuvre : produits et résultats ; sauvegardes environnementales/sociales

• Formation• Gestion des risques et

soutien à la mise en œuvre

• Démarrage en temps voulu

• Capacité de l’emprunteur à mettre en œuvre le projet

• Avancement du projet en bonne voie (réalisation physique et décaissement)

• Suivi et évaluation établis : rapports d’avancement et commentaires (REE, RdM, RSP)

• Mise en conformité effective du projet

• Soumission de rapports approuvés (Banque et emprunteur) : IPR validés

• Accès aux informations sur le projet

• Décaissement en bonne voie

• Remboursement en bonne voie

• Conformité au rapport de projet (objectifs de développement, résultats, enseignements)

• Conformité environnementale et sociale

• Capacité clients/pays accrue

• Qualité du portefeuille• Efficacité et efficience

du projet (délais, qualité, coûts, avantages)

• Rapport d’achèvement/validation de la qualité (RAP/RSE) : enseignements du projet, rapports crédibles axés sur les résultats

• Appropriation totale de l’emprunteur : mise en œuvre et durabilité du projet

Mesures institutionnelles

• Points de décision (MDP)

• Lignes directrices ; rôles, responsabilités ; directives ; indicateurs clés de performance

• Ressources financières et humaines

• Outils informatiques intégrés

• Gestion des risques

• Revue de l’état d’avancement

• Non-objection et commentaires

• Mission de décaissement, fiduciaire

• Restructuration de projet• Visite du site du projet• Revues d’audit• Missions

environnementales et de sauvegarde

• Évaluations pays, sanctions

• Impact positif du projet• Contribution à l’efficacité

du développement

Hypothèses• Conception et logique du projet de

bonne qualité (qualité à l’entrée)

• Bonnes capacités du pays

• Focalisation institutionnelle sur la qualité de la mise en œuvre : implication de la haute Direction, engagement, ICP

• Engagement de l’emprunteur dans la mise en œuvre du projet

Risques• Contexte du pays: économique,

politique, social, capacité

• Structure de gouvernance du client

• Qualité de la conception du projet

• Disponibilité des ressources (Banque)

• Mesures institutionnelles (Banque)

Boucle de rétroaction – Enseignements tirés

Boucle de rétroaction – Enseignements tirés

91Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Cadre de supervision

Suivi axé sur les résultats et rapports sur les objectifs de

développement

Capacités accrues de l’emprunteur

❙ Progrès notable dans la mise en œuvre

Supervision de portefeuille

efficace

❙ Suivi centré sur le risque

❙ Proactivité ❙ Supervision axée sur les

résultats

Mise en œuvre d’un cadre sain centré sur l’amélioration de la qualité de

mise en œuvre des opérations

• Directives et manuels centrés sur le risque et les résultats

• Responsabilités clairement définies, partagées

Utilisation d’instruments de supervision adaptés au type de projet et au risque• Fréquence• Durée• Dosage de ressources/

compétences• Recours à la revue à

mi-parcours

• Accent mis sur les sauvegardes, le fiduciaire, les questions transversales

• Adapter les activités de supervision à la situation de l’emprunteur et à la taille du portefeuille

• Appui par la présence de terrain

• Cliniques fiduciaires

Qualité à la sortie• Implication du client• Le RAP prend en

compte la solvabilité de l’emprunteur

• Indicateurs de suivi alignés sur le RMF

• Sincérité des rapports

• Tirer les leçons pendant la mise en œuvre

Qualité à la sortie• Soumission des rapports

en temps requis

• Mettre à profit les leçons tirées et le savoir dans les nouvelles opérations

Appui à la mise en œuvre• Outils• Points à vérifier

concernant la qualité• Système de données TI• Allocation de ressources

Facteurs institutionnels• Mesures incitatives• ICP• Allocation de ressources• Changements culturels

Chan

gem

ents

rech

erch

ésAs

pect

s


Questions de l'enquêteGr

oupe

(1) C

hef d

e pr

ojet

(2) S

péci

alis

te s

ecto

riel

(3) C

harg

é d'

inve

stis

sem

ent

(4) C

harg

é de

po

rtefe

uille

(5) R

espo

nsab

le

bure

au-p

ays,

CPP

ou

Écon

omis

te p

ays

ou

Cons

eille

r opé

ratio

ns

(6) S

péci

alis

te

acqu

isiti

on, s

péci

alis

te

gest

ion

finan

cièr

e ou

spé

cial

iste

dé

cais

sem

ent s

peci

alis

t, fin

anci

al m

anag

emen

t sp

ecia

list o

r di

sbur

sem

ent s

peci

alis

t

(7) C

harg

é de

risq

ue

créd

it

(8) G

enre

ou

sauv

egar

des

(10)

Aut

res

Suffisance des ressources pour la supervision ● ● ● ● ● ● ● ● ●

Clarté des rôles et responsabilités des principaux acteurs dans la supervision

● ● ● ● ● ● ● ● ●

Opinion sur la qualité des rapports pendant la supervision. ● ● ● ● ● ● ● ● ●

Opinion sur les ressources allouées à l'achèvement de projet ● ● ● ● ● ● ● ● ●

Identification rapide des risques et problèmes ● ● ● ● ● ● ● ● ●

Suivi des mesures correctives et des recommandations ● ● ● ● ● ● ● ● ●

Appropriation par l'emprunteur et engagement vis-à-vis du projet ● ● ● ● ● ● ● ● ●

Résolution des problèmes de mise en œuvre ● ● ● ● ● ● ● ● ●

Les mesures correctives existantes pour les projets à problème permettent de résoudre les problèmes

● ● ● ● ● ● ● ● ●

Soutien suffisant des experts fiduciaires, juridiques, genre et E&S pendant la phase préalable à la mise en œuvre

● ● ● ● ● ● ● ● ●

Soutien suffisant des experts fiduciaires, juridiques, genre et E&S pendant la mise en œuvre

● ● ● ● ● ● ● ● ●

Soutien suffisant des experts fiduciaires, juridiques, genre et E&S pendant l'achèvement

● ● ● ● ● ● ● ● ●

Implication et contribution aux différents stades du projet ● ● ● ● ● ● ● ● ●

Opinion sur les REE ● ● ● ● ● ● ● ● ●

Couverture REE ● ● ● ● ● ● ● ● ●

Opinion sur les modèles de rapports de mission (BTOR) ● ● ● ● ● ● ● ● ●

Couverture de BTOR ● ● ● ● ● ● ● ● ●

Opinion sur les RSE ● ● ● ● ● ● ● ● ●

Couverture et notation crédible des RSE ● ● ● ● ● ● ● ● ●

Facteurs institutionnels ● ● ● ● ● ● ● ● ●

93Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

Instrument de supervision

Activités Objet et caractéristiques

Responsabilité Composition d'équipe requise

Outils/production

Mission de lancement de projet (Préalable à l'exécution)

❙ Préparation de la documentation pertinente sur le projet pour l'équipe de gestion de projet

❙ Présence sur le terrain ❙ Présentation formelle des activités de projet et des exigences de la Banque.

❙ Atelier/sessions de formation pour les équipes de gestion de projet et les organes d'exécution concernés;

❙ Présentation de tous les documents nécessaires pour la mise en œuvre du projet à l'organe d'exécution

❙ Donne une présentation plus formelle des activités du projet et de toutes les procédures connexes de mise en œuvre ;

❙ Comprend toutes les activités menées pour garantir un assurer au bon démarrage du projet.

❙ Démarre peu après l'approbation du prêt et lorsque les principaux agent sud projet sont en place.

Banque ❙ Chef de projet ❙ Acquisition expert;

❙ Gestion financière Spécialiste

❙ Décaissement Responsable

❙ Spécialiste S&E ❙ Spécialiste environnement et sauvegardes (pour les projets en catégories 1 et 2) ;

❙ Autres spécialistes pertinent selon, la nature du projet, ex. expert en genre ou gouvernance

❙ AIDE-MÉMOIRE/Rapport de mission (BTOR)

❙ Lettre de suivi au Gouvernement sur la validation du PC

❙ 1e demande de décaissement

❙ Réalité du projet (validation saisie dans SAP)

Supervision documentaire Préalable à l'exécutionSupervision documentaireExécution

❙ Examiner les rapports périodiques et réponse aux correspondances et demandes des organes d'exécution de projet et des emprunteurs ; examen des rapports d'avancement préparés par l'emprunteur ;

❙ Surveiller que l'emprunteur se conforme aux différentes conditions et clauses;

❙ Examiner les demandes de passation de marché et de décaissement, et y répondre

❙ Activités quotidiennes du chef de projet en maintenant un contact constant avec l'emprunteur/le client

❙ Examen et soumission des justificatifs de rapport et des informations spécifiques au projet pendant la revue à mi-parcours

Banque & emprunteur

Banque :

❙ Réponses en temps requis aux demandes;

❙ Réponses aux demandes de non-objection; paiements et résolution de problèmes en temps requis

Emprunteur :

❙ Soumission des demandes en temps requis

❙ Chef de projet (gestion globale)

❙ Chargé de décaissement (paiements)

❙ Gestion financière Expert(contrôles on use of fonds)

❙ Acquisition Expert (activités de conseils, et approbation des passations de marchés

❙ Expert en sauvegardes sociales (examen RAP et avancement PGES)

❙ Non-objections aux demandes de décaissement

❙ Examen des rapport d'avancement de l'emprunteur

❙ Examen des audits

❙ Saisie ree

Annexe C — Instruments de supervision des projets de la Banque

Opérations du secteur public





Outils/production

❙ Assurer le suivi de la mise en œuvre des actions à entreprendre pour résoudre les problèmes liées au projet

❙ Soumission en temps requis des of rapports d'avancement et audit rapports

❙ Expert en environnement

❙ Expert sectoriel (conseils liés au secteur)

Supervision de terrain

❙ Implique des visites sur le site du projet;

❙ Préparation de mission

❙ Consultations avec les principaux intervenants et les organes d'exécution

❙ Établissement de rapports d'avancement

❙ Validation des rapports

❙ Suivi des problèmes antérieurs ou actions à entreprendre

❙ La première mission de supervision doit être entreprise moins de six (6) mois) après l'entrée en vigueur du prêt ;

❙ Mission entreprises pour

• missions normales,

• supervision

• revue à mi-parcours

• spécialisée par les équipes de décaissement et de gestion financière


Banque :

Chef de projet: mène une mission normale 1 ou 2 fois par an; pour les projets problématiques, 2 fois par an ou plus si nécessaire.

❙ Spécialiste en acquisition,

❙ Spécialiste gestion financière, chargé de décaissement,

❙ Spécialiste genre,

❙ Spécialiste en environnement et sauvegardes,

❙ Spécialiste M&E ❙ Autre spécialistes pertinents selon la nature du projet

❙ Aide-mémoire/ ❙ Rapport de mission (BTOR)

❙ Réponse/lettre de suivi à l'emprunteur sur les actions recommandées.

❙ Soumission des REE

Missions spéciales ❙ Supervision des projets problématiques non combinée avec les missions de supervision normales.

Banque :

❙ Décaissement ❙ Gestion financière

❙ Spécialiste acquisition,

❙ Spécialiste gestion financière,

❙ Chargé de décaissement,

❙ Aide-mémoire/ ❙ Rapport de mission (BTOR)

❙ Réponse/lettre de suivi à l'emprunteur sur les actions recommandées.

❙ Rapport de décaissement chef de division sectoriel /chef de projet

Mission Revue à mi-parcours :

❙ Évaluation des progrès matériel

❙ Évaluation de la performance financière

❙ Réalisations, résultats ❙ Résolution des risques

❙ Examen approfondi des activités du projet.

Banque :

Département sectoriel DécaissementGestion financière

Emprunteur :

Soumis tous les rapports sur l'avancement et la performance du projet

Chef de projetResponsable bureau-paysSpécialiste sectoriel

❙ Réponse/ lettre de suivi à l'emprunteur sur les actions recommandées.

95Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV




Outils/production

❙ Suivi des modifications requises du projet

Évaluer tous les aspects du projet et la probabilité que les objectifs du projet pourront être atteints

❙ Rapport d'actions: sanction de restructuration ou annulation de projet


❙ Préparation des documents pour l'établissement des rapports pour la clôture :

❙ Visite de terrain ❙ Suivi des rapport d'auto-évaluations

❙ Suivi sur la conformité aux exigences et la clôture des comptes

❙ Préparation de l'autoévaluation

❙ Traitement du RAP pour approbation et validation d’IDEV

❙ Aider l'équipe de mise en œuvre du projet team à clôturer le projet

❙ Veiller à la conformité aux exigence en matière de clôture

❙ Entreprendre l'autoévaluation du projet et de l'impact après projet

Emprunteur :

Équipe de projet /Organe d'exécution

❙ Soumission de tous les justificatifs

❙ Soumission de tous les audits requis

❙ Préparation de l'autoévaluation des réalisations du projet

Banque :

Le chef de projet veille à ce que toutes les questions de décaissement et contrat ont été correctement résolues.

Emprunteur :

Coordinateur de projet, équipe de projet, organe d'exécution

Banque :

Spécialiste en gestion financière, chargé de décaissement, spécialiste sectoriel pertinent

BTOR

Rapport d'achèvement de projet

Validation du RAP par IDEV

Supervision et clôture des projets du secteur privé




Outils/production

Préalable à l'exécution activités

❙ Préparation des documents pertinents sur le projet pour l'équipe de gestion de projet

❙ Engagement constat avec le client, appui au client sur la documentation requise pour satisfaire aux exigence PP

❙ Conformité PP, validation et signature finale de l'accord

❙ Dialogue avec les clients pour remplir les conditions préalables;

❙ Toutes les activités réalisées pour assurer au projet un bon démarrage.

❙ Commence peu après l'approbation du prêt par le Conseil.

Banque ❙ Chargé d'investissement de la Banque

❙ Chargé de risque de crédit

❙ Conseiller juridiques du client

❙ Conseiller juridique de la Banque

❙ Lead et chargé de gestion de portefeuille;

❙ Chargé de décaissement

❙ Spécialistes sectoriels

❙ Autre spécialistes pertinents selon la nature du projet

❙ BTOR ❙ Lettre de rapports





Outils/production

Supervision documentaire

❙ Visite de remise officielle du projet, chez le client par le chargé d'investissement et l'équipe de gestion de portefeuille. Le responsable se familiarise avec le client et le projet

❙ Examiner les rapports périodiques et répondre aux correspondances et demandes du client;

❙ S'assurer de la conformité des clients avec les accords et en matière d'établissement de rapports;

❙ Validation des remarques des chargés de portefeuille sur les déclarations de soumissions de rapport

❙ Rapports sur l'avancement de la mise en œuvre physique et la performance financière et commerciale du client

❙ Remise du projet à l'équipe de gestion de portefeuille après le 1e décaissement

❙ L'équipe de gestion de portefeuille reprend le projet en maintenant un contact constant avec l'emprunteur/client

❙ Examen et soumission des documents pour l'établissement des rapports et des informations spécifiques au projet information pendant la revue à mi-parcours

❙ Actions de gestion du risque

Banque et Emprunteur

Banque :

❙ Garantir une remise correcte du chargé d'investissement au chargé de portefeuille

❙ Examen des rapports ❙ Suivi des niveaux de risque (crédit, opérationnel)

❙ Signaux d'alerte précoce

❙ En temps requis, feedback et intervention suite aux demandes des clients

Client :

❙ Soumission en temps requis des demandes

❙ Soumission en temps requis des rapports d'avancement et rapports financiers;

❙ Réponse aux questions sur l'établissement des rapports

❙ Chargé d'investissement et chargé de crédit Responsables (gestion de supervision)

❙ Coordinateur de gestion de portefeuille

❙ Chargés de gestion de portefeuille

❙ Chargé de décaissement (paiements)

❙ Expert en sauvegardes sociales (examen des rapports PGES et rapports d'avancement)

❙ Responsables légaux (gestion du risque)

❙ Spécialiste sectoriel (conseil lié au secteur)

❙ Formulaire de transfert de projet

❙ Rapport trimestriel sur l'état du projet

❙ Rapport annuel de supervision

❙ Lettre d'information au Client

❙ Examens du risque crédit

Supervision de terrain

❙ Implique des visites sur le site du projet;

❙ Préparation de mission

❙ Consultations avec les principaux intervenants et les organes d'exécution

❙ Établissement de rapports d'avancement

❙ Validation des rapports

❙ Suivi des problèmes antérieurs ou actions à entreprendre

❙ La première mission de supervision doit être entreprise moins de six (6) mois) après l'entrée en vigueur du prêt ;

❙ Mission entreprises pour

• missions normale,

• Supervision

• Revue à mi-parcours

Banque :

Chargé de gestion de portefeuille :mène une mission normale 1 ou 2 fois par an; pour les projets problématiques, 2 fois par an ou plus si nécessaire (supervision axée sur le risque).Portefeuille/ Risques crédit/ opérations spéciales :Missions adaptées aux projets sur liste de surveillance ou en grave difficulté selon la complexité des problèmes

❙ Chargé de gestion de portefeuille,

❙ Chargé de risque de crédit

❙ Décaissement Responsable,

❙ Environnemental et Sauvegardes Spécialiste,

❙ Spécialiste S&E ❙ Autre spécialistes pertinents selon la nature du projet.

❙ Rapport de mission (BTOR)

❙ Lettre d'information au client

❙ Rapport annuel de supervision

97Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV




Outils/production

• Spécialisée par les équipes de risque de crédit et de sauvegarde, opérations

spéciales


Missions spéciales ❙ Supervision des projets problématiques non combinée avec les missions de supervision normales.

Banque : ❙ Équipes de risque crédit

❙ Mission des opérations spéciales

❙ Chargé de gestion de portefeuille,

❙ Chargé de risque de crédit,

❙ Responsable juridique,

❙ Expert opérations spéciales

❙ Rapport de mission (BTOR)

❙ Lettre d'information au client

❙ Rapport annuel de supervision Mission de revue à

mi-parcours : ❙ Évaluation des progrès matériel

❙ Évaluation de la performance financière

❙ Réalisations, résultats ❙ Résolution des risques ❙ Suivi des modifications requises du projet

❙ Examen approfondi des activités du projet. Évaluer tous les aspects du projet et la probabilité que les objectifs du projet pourront être atteints

Banque :Département sectoriel (finance du projet)DécaissementDépartement du secteur privé

❙ Chargé de gestion de portefeuille

❙ Responsable bureau-pays

❙ Spécialiste sectoriel (Chargé d'investissement)

❙ Analyste financier


❙ Préparation documents pour l'établissement des rapports de clôture:

❙ Visite de terrain/Visite au client

❙ Suivi des documents finals pour l'établissement des rapports

❙ Collecte des données sur les résultats de développement

❙ Information la performance commerciale du client

❙ Appui au client en rassemblant les exigences en matière d'établissement de rapports pour la clôture du projet

❙ Veiller au respect des exigences en matière de clôture

❙ Mener l'autoévaluation du projet et de l'impact après projet

❙ Procédure RSE pour approbation et validation par IDEV

Client :

❙ Soumission de tous les rapports

❙ évaluation des réalisations du projet (en termes financiers, opérationnels et de durabilité des résultats)

Banque :

Chargé d'investissement- évaluer la rentabilité et la viabilité des résultats et les résultats de développement

Banque :

❙ Chargé de gestion de portefeuille

❙ Expert sectoriel requis

❙ Expert secteur privé indépendant

❙ Analyste financier

BTOR

RSE

RSE

Validation par IDEV


Bibliographie1. AfDB (1994) “The Quest for Quality: report of the Task Force on Project Quality for the African Development Bank.”

2. AfDB (1994) “Action Plan for Implementation of the Task Force Report on Project Quality (the Knox Report).”

3. AfDB (2000) “ESAP private sector operations”

4. AfDB (2004) “Stepping up to the future : an independent evaluation of ADF–vii, viii and ix ”

5. AfDB (2004) “Study on evaluating process and portfolio performance of the private sector operations of the Bank”

6. AfDB (2010) “IDEV Evaluation on Project supervision at the AfDB”

7. AfDB (2012) “Revised guidelines for the preparation of expanded supervision report and evaluation note”

8. AfDB (2012) “Staff guidance on project completion reporting and rating”

9. AfDB (2012) “Fostering Regional Integration in Africa: An Evaluation of the Bank’s Multinational Operations, 2000–2010”

10. AfDB (2012) “Format for implementation progress reporting”

11. AfDB (2012) “Annual Development Effectiveness Review’’

12. MCC (2013) “MCC Compact Project Cycles Steps’’

13. AfDB (2013) “Bank group private sector development policy”

14. AfDB (2013) “Presidential Directives 03/2013 – Procedures and Guidelines.”

15. AfDB (2013) “The one Bank Group Result Measurement Framework 2013-2016”


17. AfDB (2014) “Evaluation of the quality and process of supervision of Bank’s projects and program implementation”

18. AfDB (2014) “Portfolio performance improvement study Board document.”

19. AfDB (2014) “Edited operations manual-final clean version for BPPS”

20. AfDB (2014) “Financial management implementation guidelines”

21. AfDB (2014) “Improving portfolio performance at the African development”

22. AfDB (2014) “Financial management policy in AfDB financed operations”


24. AfDB (2015) “Presidential Directive No 02/2015 Concerning the Design, Implementation and Cancellation of Bank Group Sovereign Operations.”

25. AfDB (2015) “Proposal for the Establishment of a Special Operations Unit for Non-Sovereign Operations.”

26. AfDB (2015) “Retrospective review report on Bank Group budgets and work program performance’’

27. AfDB (2015) “Private sector operations business manual’’


29. AfDB (2015) “Guidance on Safeguards IESIA– Volume 2’’

30. Lavagnon A. Ika (2015) ‘’Opening the black box of project management : Does World Bank project supervision influence project impact?’’

31. Ernst and Young (2016), “Review of NSO operations of the Bank”


33. AfDB (2016) “Retrospective review report on Bank Group budgets and work program

34. AfDB (2016) “Comprehensive Evaluation of the Development results of the African Development Bank Group (2004–2013)- Synthesis Report’’

35. AfDB (2016) “Executive action plan on quality assurance”

36. AfDB (2016) “An Update of the Decentralization Action Plan in Line with the New Development and Business Delivery Model,” ADF/BD/WP/2015/54.

37. AfDB (2016) “An Update of the Decentralization Action Plan in Line with the New Development and Business Delivery Model,” ADF/BD/WP/2015/54.

38. AfDB (2016) “Rapport d’évaluation du système-pays passation des marchés par la Banque.”

39. AfDB (2017) “Quality assurance dashboard’’

40. AfDB (2017) “Retrospective review report on Bank Group budgets and work program

41. AfDB (2017) “Implementation Review of PD 02/2015’’

42. AfDB (2017) “ADF 14 Report: Transforming the Lives of Africa’s Most Vulnerable People.”

43. AfDB (2017) “Information note on the Bank’s Quality Assurance Agenda’’


45. World Bank (2017) “Bank guidance, Investment project financing: Implementation Support’’


47. AfDB (2018) “Addressing Start-up Delays: Conversation with MDBs on portfolio Management’’

99Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

48. AfDB (2018) “Study on the impact of Lines of Credit’’

49. AfDB (2018) “Enhancing Result and Quality Reporting of Non Sovereign Operations’’

50. AfDB (2018) “Delegation of Authority Matrices’’

51. AfDB (2018) “Fourth TMT update on the implementation of the Bank’s Development and Business Delivery Model (DBDM)’’

52. European Bank for Reconstruction and Development (2018) “Performance Metrics: How well do EBRD projects specify Expected Results ?’’


Annotations1. La supervision continue, telle que définie par le Manuel des opérations de la Banque, est la correspondance au jour le jour entre l’emprunteur et la

Banque sur les questions de mise en œuvre du projet et le dialogue entre la Banque et l’emprunteur/client pour une meilleure collaboration.

2. Plusieurs examens par le service de contrôle qualité de la Banque, des examens du secteur privé consacrés aux lignes de crédit et d’autres ont mis en évidence l’absence d’un système intégré, ce qui limite la capacité de la Banque à suivre convenablement les risques des projets et l’effet sur les résultats et à en rendre compte.

3. La BID, par sa plateforme de convergence intégrant toutes les données du système de projet, de la préparation à l’achèvement. La BERD, par son Système de suivi de l'impact sur latransition qui lui permet de choisir les indicateurs de résultats en matière de développement à suivre.

4. En revanche, un document récent de la BID (Banque interaméricaine de développement) a utilisé un échantillon beaucoup plus large de 853 projets pour entreprendre une analyse économétrique de la relation entre la qualité à l’entrée et la performance des projets. Voir Leonardo R. Corral, Nancy McCarthy (op.cit.). Une autre étude récente analyse un ensemble de données sur l’ensemble des 2 845 projets de l’IPF (Investment project financing) approuvés entre 1995 et 2009, qui représentaient 89 % de tous les projets clôturés entre 2005 et 2015, afin d’examiner les facteurs qui déterminent la performance des projets d’investissement à la Banque mondiale. Voir Mustafa Zakir, Hussain, Thomas Kenyon et Jed Friedman, DEC Policy Research Report, septembre 2018. Washington, DC, Banque mondiale.

5. Estelle Rosine Raimondo, « What difference does good monitoring & evaluation make to World Bank project performance », Banque mondiale, Policy Research Working Paper, juin 2016.

6. Il s’agit d’une indication du niveau de priorité de l’échéancier. Le plan de mise en œuvre comprendra une séquence plus détaillée des produits livrables, assortie de délais.

7. Les outils et processus d’assurance qualité sont différents pour les opérations souveraines et non souveraines. Bien que cette réponse de la direction ne fasse pas toujours la distinction entre elles, le plan de mise en œuvre établira une distinction claire entre les priorités et les actions relatives aux opérations souveraines et non souveraines.

8. Cet engagement a été pris dans le cadre de la reconstitution du FAD-14 avec une échéance fixée à 2019

9. Les quatre engagements suivants sont tirés du Cadre de mesure des résultats 2016-2025 du Groupe de la Banque.

10. Toutes les opérations ne sont pas admissibles à la surveillance systématique ; ne sont pas admissibles à la surveillance systématique les opérations d’urgence et les fonds fiduciaires.

11. Groupe de la Banque africaine de développement (2017) « Rapport du FAD-14 : Transformer les vies des populations les plus vulnérables d’Afrique ».

12. Les subventions ont été exclues, sauf dans le cas des programmes ZimFund au Zimbabwe, afin d'obtenir des informations sur le fonctionnement des opérations dans un contexte fragile.

13. FIDA, Banque mondiale, BERD, SFI, BID, BAsD mènent diverses réformes pour améliorer la qualité de la mise en œuvre et la publication de résultats grâce à diverses initiatives et mises à jour de systèmes. This was noted from comparator reviews.

14. FAD–IX, XII, XIV.

15. Dont les plus importantes sont le FIDA, la BID, la BAsD, la Banque mondiale

16. EGRD de l’IDEV, 2016

17. Mises à jour mensuelles du tableau de bord du Portefeuille indiquant le niveau de risque des projets pour éclairer les décisions de la direction et attirer l’attention sur la mise en œuvre.

18. IDEV Évaluation des ONS 2010

19. L’unité doit apporter un appui spécifique au suivi du portefeuille.

20. Entre autres instruments de supervision figurent : la supervision sur dossiers et la supervision sur le terrain

21. « Portfolio flashlight» est un outil de suivi en temps réel produit mensuellement sur la base des informations extraites de SAP et de Boabab. C’est un instrument favorisant une action proactive de la Direction en vue de l’amélioration du portefeuille de projets de la Banque.

22. La plateforme’ Convergence’ permet d’intégrer toutes les informations générées pendant la préparation du projet à inclure dans d’autres tableaux de bord de données du projet afin de fournir des informations sur le projet tout au long de son cycle à des fins de prise de décision. L’équivalent pour la BERD est le système de suivi de l’impact sur la transition (TIMS)

23. AIMM: L’outil AIMM (impact, mesure et suivi anticipés) de la SFI aligne les résultats au niveau des projets sur les impacts ciblés du marché, y compris la compétitivité, l’intégration, la résilience, la durabilité et l’inclusivité

24. DELTA est une version adaptée de la DEM pour les opérations non souveraines qui évalue la mesure dans laquelle la logique d’intervention d’un projet est étayée par des éléments factuels et les impacts prévus sur les bénéficiaires sont mesurables. L’outil donne une note d’évaluabilité allant de 0 à 10 pour permettre des comparaisons au niveau du portefeuille

25. Évaluation des opérations multinationales par l’IDEV, 2014

26. Parmi les initiatives en cours en appui au suivi figurent : l’introduction de supervisions mensuelles des opérations (MOS)

27. IDEV – Évaluation globale des résultats de développement

101Annexes

Une

éval

uatio

n in

stitu

tionn

elle

IDEV

28. Experts financiers 7, agents de décaissement 5, achats 6.

29. La Banque mondiale, la SFI et la Banque interaméricaine de développement adoptent une approche différenciée dans la définition des seuils de supervision pour la budgétisation et l’allocation des ressources par type de projet, contexte pays et statut du portefeuille actif au cours des années données.

30. Le seul département qui disposait de données facilement disponibles sur la planification de sa supervision au cours de la période et dans les délais impartis pour la phase de collecte des données de l'évaluation.

31. Sur les 422 missions examinées pour l'échantillon, 36% se sont produits au quatrième trimestre, suivis du deuxième trimestre (31%).

32. Par projets financiers, on entend les lignes de crédit, opérations de financement du commerce; "Non financier" désigne les projets d'investissement pour le secteur privé.

33. Les projets éligibles ont été sélectionnés et évalués en fonction de la disponibilité de la documentation nécessaire pour effectuer des évaluations, ainsi que du niveau de maturité et de la situation du projet au cours du cycle de vie, pour assurer une supervision de deux années consécutives ou plus.

34. EGRD 2016 — Évaluation globale des résultats en matière de développement D’IDEV.

35. Afrique du Sud : Évaluation des programmes de pays (2004–2015) ; Évaluation des ONS, 2010

36. La notation pour l’EER est établit sur échelle de 1à 4 ; 1= tres insatisfaissant et 4= tres satisfaisant

37. Lavagnon A. Ika, 2015. « Opening the black box of project management: Does World Bank project supervision influence project impact ? »

38. La complexité d’un projet est décrite comme les cas où un projet : i) implique plus d’un pays ; ii) implique un État fragile ; iii) implique plus d’un organe national d’exécution ; ou iv) implique une réinstallation. Les projets qui présentaient plus d’une de ces caractéristiques étaient qualifiés de « très complexes ».

Groupe de la Banque africaine de développementAvenue Joseph Anoma, 01 BP 1387 Abidjan 01 Côte d’IvoireTél.: +225 20 26 20 41Courriel : [email protected] C

once

ptio

n &

mis

e en

pag

es :

CR

ÉON

• w

ww

.cre

onde

sign

.net

À propos de cette évaluation

Ce rapport présente les conclusions, recommandations et enseignements tirés d’une évaluation indépendante des processus de la qualité de la supervision et de la clôture des projets du Groupe de la Banque africaine de développement. Elle couvre les opérations des secteurs public et privé au cours de la période 2012–2017.

L’évaluation a recherché des données probantes crédibles concernant la mesure dans laquelle le système de supervision des projets de la Banque était pertinent, adéquat et aligné sur les meilleures pratiques; la performance du cadre d’assurance qualité (AQ) de la Banque au cours de la mise en œuvre et de l’achèvement des projets; et les facteurs qui déterminent l'efficacité de la supervision. Elle a également recherché des enseignements qui éclaireraient l’utilisation future par la Banque de la supervision dans le cadre de son programme de transformation. L'évaluation était basée sur la théorie. Elle a tiré des données de diverses sources, notamment des revues de documents ; entretiens avec le personnel de la Banque, les clients des pays membres régionaux et le personnel d'autres institutions financières internationales ; et des visites de sites dans 5 pays (le Cameroun, le Kenya, le Maroc, le Sénégal et le Zimbabwe). Les données ont été analysées à l'aide de méthodes qualitatives et quantitatives.

Dans l’ensemble, l’évaluation a révélé que la Banque s’efforçe d’améliorer ses pratiques de supervision et qu’il existe un élan de la Direction vers la qualité dans les domaines pertinents, tels que l’attention portée à l’appui aux projets et la performance. Les politiques, directives et outils de supervision se sont avérés largement pertinents et clairs. Toutefois, l’évaluation a montré que la complémentarité, l’utilisation et le suivi des outils et des équipes de supervision doivent être renforcés et que le système d’information de gestion de la Banque ne facilite pas suffisamment le suivi, la production de connaissances et l’apprentissage. Un certain nombre de recommandations ont été adressées à la Banque, notamment pour améliorer la gestion des risques et la performance des projets; assurer le respect des normes de qualité pour la supervision et l'achèvement ; accroître la crédibilité des rapports sur les résultats ; et renforcer les incitations pour soutenir une culture de résultats et de qualité.

Une évaluation institutionnelle IDEV

idev.afdb.org

IDEVidev.afdb.org/sites/default/files/documents/files/Quality... · 2019-09-17 · Membre de...

Documents

Transcript of IDEVidev.afdb.org/sites/default/files/documents/files/Quality... · 2019-09-17 · Membre de...