1

Service de l’Evaluation spéciale de la Coopération au développement

ROYAUME DE BELGIQUE

Service public fédéral

Affaires étrangères,Commerce extérieur etCoopération au Développement

Evaluation ex-post de l’impact de quatre projets de la coopération gouvernementale

Synthèse

Evaluer l’impact, la quête du Graal ?

2

Introduction« Depuis des décennies, les agences de développement ont dépensé des milliards de dollars sur des programmes visant à améliorer les conditions de vie et à réduire la pauvreté. A ces sommes s’ajoutent les milliards de dollars dépensés par les pays en voie de développement eux-mêmes. Pourtant, toute choquante soit elle, la vérité est que nous disposons de relativement peu d’informations sur les résultats nets que l’on peut attribuer à la plupart de ces programmes. En l’absence de preuves solides sur l’efficacité de nos actions, les décisions sur le niveau et le type de dépenses engagées continuent à être largement influencées par les convictions personnelles des décideurs et de leurs conseillers. Mais, si des preuves solides de ce qui fonctionne ou non étaient systématiquement accumulées et diffusées, ces informations pourraient rendre plus efficaces les politiques publiques d’aide internationale et les dépenses des pays concernés1. »

Jusqu’à très récemment, les évaluations mises en œuvre par la coopération belge et par le Service de l’Evaluation spéciale de la coopération internationale (SES) analysaient essentiellement la contribution des interventions à l’atteinte des résultats en posant la question de savoir si le projet évalué était une des causes possibles des changements observés ou non. Les résultats de nos actions de coopération n’avaient jamais été réellement mesurés afin de pouvoir répondre à la question de savoir si les changements observés étaient effectivement attribuables à l’intervention évaluée.

Chercher une aiguille dans une botte de foin ?

L’évolution dans le temps du bien-être d’une population ne peut pas automatiquement être attribuée à une action de développement. D’autres évènements peuvent en effet avoir contribué aux changements

observés dans l’indicateur de bien-être. L’analyse de l’attribution représente donc un défi majeur. Certains

estiment qu’il s’agit là d’une quête aussi impossible que celle qui consiste à chercher une aiguille dans une botte de foin.

Pour d’autres, la mesure des effets réellement attribuables à une intervention ne peut s’obtenir qu’en comparant la situation des

bénéficiaires à une situation hypothétique de ce qui serait advenu sans l’intervention ou « situation contrefactuelle ». C’est la comparaison des

niveaux de bien-être « avec » et « sans » l’action de développement qui donne la mesure des effets réellement attribuables à celle-ci.

1 Adapté de William D. Savedoff et Ruth Levine. Center for Global development. Washington DC Mai 2006.

3

Une évaluation piloteDans un souci d’en apprendre plus sur la question, le Service de l’Evaluation spéciale (SES) a organisé une évaluation de l’impact de quatre projets de coopération bilatérale directe terminés depuis plus de quatre ans. Il s’agissait donc d’une évaluation ex post. Dans le choix des interventions, nous avons opté pour une diversité tant des pays que des secteurs retenus.

L’objectif de l’évaluation était à la fois de faire rapport sur les résultats réellement attribuables à ces projets et d’en tirer des leçons en vue d’améliorer les pratiques de la coopération belge en matière d’évaluation d’impact.

L’évaluation devait répondre aux questions évaluatives suivantes :

Questions d’évaluation d’ordre sommatifQ1 Alignement Dans quelle mesure les objectifs des projets ont-

ils été alignés aux objectifs des politiques des pays partenaires en vue de maximiser l’impact des projets ?

Q2 Intégration de l’impact Dans quelle mesure la conception et la mise en œuvre des projets ont-elles intégré la mesure des impacts ?

Q3 Atteinte des produits Dans quelle mesure les projets ont-ils été mis en œuvre et ont-ils atteint leurs produits attendus ?

Q4 Atteinte des impacts Dans quelle mesure les projets ont-ils atteint leurs réalisations et impacts attendus ?

Q5 Durabilité Dans quelle mesure les impacts atteints par les projets ont-ils une chance d’être durables dans le temps ?

Q6 Thèmes transversaux et effets inattendus

Dans quelle mesure les projets ont-ils eu des effets en termes de genre et d’environnement ainsi que des effets inattendus sur les bénéficiaires ?

Questions d’évaluation d’ordre formatifQ1 Analyse quantitative Dans quelle mesure les méthodes quantitatives

ont-elles permis d’évaluer l’impact ?

Q2 Analyse qualitative Dans quelle mesure les méthodes qualitatives ont-elles permis d’évaluer l’impact ?

Q3 Combinaison des deux approches

Dans quelle mesure la combinaison des deux approches a-t-elle permis de mieux évaluer l’impact des projets ?

Q4 Processus évaluatif Dans quelle mesure les projets ont-ils atteint leurs réalisations et impacts attendus ?

4

Un processus d’apprentissageL’évaluation a été menée par des experts du bureau d’étude «  Aide à la décision économique » (ADE) spécialisés en évaluation par méthodes qualitatives et des chercheurs du Centre de Recherche en Economie du Développement de l’université de Namur (CRED), spécialisés dans l’application de méthodes quantitatives. Experts et chercheurs ont mis leurs constats en commun. Les échanges entre eux ainsi qu’avec le SES et le comité d’accompagnement de l’évaluation ont favorisé un apprentissage mutuel.

L’évaluation a été confrontée à plusieurs défis.

• Elle a d’abord été contrainte de repréciser la notion d’impact dans le cadre des méthodes qualitatives et quantitatives et de la chaîne de résultats suivante :

Les méthodes quantitatives mesurent les effets sur les bénéficiaires finaux (ou « outcomes ») tout en s’efforçant de démontrer les liens de cause à effet entre le projet et les effets mesurés.

Les méthodes quantitatives ne se prononcent généralement pas sur l’impact, défini comme « l’ensemble des effets induits du projet à un niveau global (sans référence à leur temporalité)  »

Les méthodes qualitatives portent un jugement argumenté sur l’atteinte de l’impact des projets.

Elles analysent si les conditions pour atteindre les effets sur les bénéficiaires et l’impact sont remplies aux différents stades de la logique d’intervention résumée dans le cadre logique.

• Le manque de données fiables a été un autre défi.

Pour mesurer et démontrer les effets attribuables au projet, les méthodes quantitatives ont besoin de données fiables en quantité suffisante reflétant la situation préalable à l’intervention et la situation post-intervention. De plus, il est nécessaire de collecter ces données d’une part, auprès d’un échantillon de la population soumise au projet (appelé « groupe traité » ou « groupe cible ») et d’autre part, auprès d’un échantillon d’une population qui lui est similaire selon un nombre important de caractéristiques préalables à l’intervention, mais qui ne bénéficie pas de l’intervention (appelé « groupe contrefactuel » ou « groupe témoin »).

OUTCOMESOUTPUTSINPUT

Effets du projet sur les

bénéficiaires directs résultant de l’utilisation des

outputs

Biens, équipements

ou services qui résultent des inputs, et qui produisent les

effets

Moyens mis en œuvre et Activitésentreprise en vue de produire les

effets attendus du projet

Effets induits du projet

à niveau global

IMPACT

Autres termes utilisé qui portent parfois à confusion:

« Résultats intermédiaires » (selon la terminologie du cadre logique)

« Résultats immédiats ou produits » (selon la terminologie du SES)

« Objectif spécifique »(selon la terminologie du cadre logique)

« Résultats à court et moyen terme ou réalisations » (selon la terminologie du SES)

« Objectif global »(selon la terminologie du cadre logique)

« Résultats à long terme ou impact » (selon la terminologie du SES)

5

Or les données disponibles sur la situation initiale (dite «  baseline  ») avant l’intervention n’étaient pas exploitables quantitativement. Il a également fallu retrouver les personnes possédant encore une mémoire institutionnelle des projets.

Enfin, au Rwanda l’évaluation du projet de laboratoire en santé publique n’a pas pu être menée à son terme. L’équipe de consultants n’a en effet pas reçu toutes les autorisations requises par la Ministre de la Santé pour collecter et analyser les données.

Leçons sur la méthodologie

Malgré ces difficultés, les évaluateurs ont réussi à utiliser certains outils quantitatifs. Pour deux projets il a ainsi été possible de sélectionner a posteriori un groupe contrefactuel crédible et de reconstituer des données de « baseline » auprès d’un échantillon de bénéficiaires et d’un groupe contrefactuel en utilisant des données collectées par le biais d’enquêtes de ménages faisant appel à la mémoire des répondants. L’attribution aux projets de quelques « outcomes » a pu être démontrée en utilisant des outils économétriques.

En mettant en oeuvre des méthodes qualitatives, les consultants ont pu émettre pour les quatre projets évalués, un jugement argumenté sur l’atteinte des « outcomes » non traitables quantitativement et sur l’atteinte de l’impact.

OUTCOMESOUTPUTSINPUT / ACTIVITIES

Evaluation d’impact basée sur des méthodes d’analyse QUALITATIVE

Evaluation d’impact basée sur des méthodes d’analyse QUANTITATIVE

IMPACT

Impact Evaluation: « Evaluation of causal ef fects of an intervention on outcomes irrespective of time dimension » (World Bank and 3ie)

L’évaluation d’impact: Evaluation du processus d’atteinte de l’impact, de l’ef fet ultime , global (et à long terme) d’une intervention.

Mesure et Attribution

Processus

6

L’évaluation conclut à la pertinence de l’approche prônée par la « theory based evaluation » selon laquelle la combinaison de méthodes qualitatives et de méthodes quantitatives au sein d’un même processus évaluatif est la solution adéquate pour réaliser des évaluations d’impact de qualité. Il ne faut pas nier que le manque de données de « baseline » a fortement restreint la possibilité de conclure sur l’attribution des « outcomes » aux projets. Mais, malgré ces limites, l’exercice a pu démontrer que les méthodes qualitatives et quantitatives s’enrichissent mutuellement. En effet, le dispositif de collecte de données mis en place pour l’application des méthodes quantitatives a également généré un nombre important de données qualitatives. Ceci a été rendu possible grâce aux informations collectées lors des missions exploratoires, à la réalisation de collectes de données de première main via des enquêtes de ménages et aussi grâce à une présence relativement longue sur le terrain.

Ces données ont été exploitées pour argumenter l’atteinte des effets des projets rendant ainsi l’analyse qualitative plus rigoureuse. Par ailleurs, l’analyse qualitative a pu étayer les constats des méthodes quantitatives. Elle a permis de confirmer des choix méthodologiques et d’interpréter les résultats trouvés par les outils statistiques et économétriques. En outre, grâce à l’analyse qualitative, les évaluateurs ont pu se prononcer sur l’atteinte de l’impact.

Enfin, l’utilisation de méthodes mixtes a permis de mieux impliquer les acteurs concernés et de mieux cerner leur rôle. Les évaluations d’impact peuvent répondre adéquatement à un objectif de reddition des comptes, d’aide à la décision et de capitalisation d’expériences (partage des leçons apprises).

Avertissement

Les trois projets évalués sont des études de cas. Ils ne constituent pas un échantillon représentatif. Les conclusions et leçons ne peuvent donc pas être généralisées à l’ensemble de la coopération gouvernementale. L’évaluation a été menée ex post sur des projets terminés depuis 2008. Depuis lors, la CTB cherche à résoudre certains problèmes soulevés. De plus, le fait d’atteindre ou non l’impact attendu dépend de nombreux facteurs externes et met en jeu notamment la responsabilité du pays partenaire et des décideurs politiques. Il ne relève donc pas uniquement de la responsabilité des acteurs chargés de la mise en œuvre du projet. Chaque projet évalué fait l’objet d’un rapport d’évaluation individuel, les trois rapports ayant servi de base au rapport de synthèse. Cette brochure résume le rapport de synthèse et ne reprend pas toutes les nuances de l’analyse qu’on y trouve. Le lecteur est invité à prendre connaissance des rapports de projets, du rapport de synthèse ainsi que des réponses managériales de la CTB et de la DGD disponibles sur le site mentionné en page 11.

7

Leçons sur les résultats et l’impact des projets1/ Le projet d’appui à l’enseignement technique et professionnel en

République démocratique du Congo (AETP2)

L’évaluation conclut que le projet a délivré l’ensemble de ses « outputs ». Il n’a toutefois pas eu d’effet significatif sur la qualité de l’enseignement, sur l’accroissement des effectifs, sur la capacité d’autofinancement des établissements scolaires ni sur l’employabilité des jeunes diplômés.

Cet échec s’explique par l’utilisation très partielle des « outputs », mais surtout par le contexte du pays, très défavorable au secteur de l’enseignement technique et professionnel. Depuis de nombreuses décennies les infrastructures scolaires se trouvent dans un état lamentable, aggravé par les conflits violents qui ont ravagé le pays. De plus, l’Etat n’a pas mis en place de politique adéquate appuyée par des moyens budgétaires appropriés. L’école est, par exemple, majoritairement financée par les parents d’élèves. L’absence de systèmes incitatifs adéquats au sein des institutions nuit à l’efficacité de toute action visant à améliorer la qualité de l’enseignement en RDC. Cette réalité avait été mise en lumière dès la conception du projet en misant cependant sur une amélioration de la situation. Ce qui ne s’est malheureusement pas produit.

Le projet AETP2 a été réalisé entre juillet 2005 et octobre 2008 avec une enveloppe budgétaire de 4 100 000 euros. Il succède au projet AETP1 (2001-2004) ayant soutenu 13 écoles dans 4 provinces, et précède le projet AETFP (2009-2013), actuellement en cours. Ce dernier, en plus d’appuyer 30 nouvelles écoles, a offert un appui minimal à certains établissements déjà soutenus par les projets antérieurs.

L’objectif global du projet AETP2 tel que défini dans la logique d’intervention est de contribuer au développement économique de toute la RDC.

L’objectif spécifique est l’amélioration de la qualité de l’Enseignement Technique et Professionnel dans les filières retenues  : mécanique, électricité, construction, coupe couture et commerciale administrative.

L’appui consiste en diverses activités menées dans 20 écoles techniques et professionnelles réparties sur 8 provinces. Les activités sont réparties entre 6 filières identifiées comme porteuses d’emploi. Les bénéficiaires identifiés sont les écoles, les professeurs, et les élèves.

8

2/ Projet d’amélioration et de renforcement des points d’eau dans le bassin arachidier au Sénégal (PARPEBA)

L’évaluation conclut que le projet a contribué significativement à l’amélioration des conditions de vie d’une part non négligeable de la population des trois régions concernées. L’utilisation de l’eau du forage a permis un gain de temps et d’énergie significatif, spécialement pour ceux ayant accès à un robinet privé (financé sur fonds propres). Un autre effet des nouveaux forages est le gain de bien-être et l’amélioration de la cohésion sociale (diminution des conflits entre les femmes, principales responsables de la collecte de l’eau). Le PARPEBA a contribué à offrir un accès à l’eau amélioré au minimum à 15,5 % de la population de la région touchée. Néanmoins, ce pourcentage est à diviser par 3, si l’on ne considère que les forages offrant une eau de bonne composition chimique.

Malgré ces effets positifs, la qualité de l’eau reste un réel problème. En effet, plus de deux tiers des sites construits ou réhabilités par PARPEBA présentent des teneurs en fluor et en sel nocives pour l’organisme (selon les normes OMS). Consciente à l’époque de ce problème, la Belgique a décidé de s’aligner sur la politique sectorielle du Sénégal qui privilégiait l’augmentation de l’accès à l’eau.

De plus, les sources de contamination bactériologique de l’eau entre le point d’approvisionnement et de consommation sont nombreuses. La population n’est pas suffisamment sensibilisée à ces problématiques de qualité de l’eau. Depuis lors, les projets qui ont suivi s’efforcent de trouver des solutions pour améliorer la qualité de l’eau.

Le projet PARPEBA fait suite à plusieurs interventions antérieures (depuis 1983) de la coopération belge dans le domaine de l’hydraulique dans le bassin arachidier. Le projet PARPEBA a été réalisé entre avril 2003 et décembre 2008, avec une enveloppe budgétaire belge de 14 976 444 euros (contribution sénégalaise de 363 591 euros).

L’objectif global est l’amélioration des conditions de vie des populations rurales dans le bassin arachidier en apportant un accès satisfaisant et durable à de l’eau d’une qualité acceptable.

L’objectif spécifique est d’assurer un accès durable à l’eau potable à 260.000 bénéficiaires dans les régions de Diourbel, Fatick et Kaolack.

Le projet vise la réalisation de 32 nouveaux systèmes d’accès à l’eau potable (AEP) multivillages dans les régions de Diourbel, Fatick et Kaolack, et à renforcer 14 AEP du projet précédent : le Projet de Réhabilitation, Réalisation et Equipement de Sites de Forage en Milieu Rural (PRRESFMR) dans les régions de Kaolack et Fatick. Une attention particulière était donnée aux aspects d’organisation (et de fédération) des Associations des Usagers du Forage (ASUFOR).

9

3/ Projet de petites et moyennes hydrauliques dans la région de Tiznit au Maroc (PMH)

L’évaluation montre que grâce aux opérations de réhabilitation du système d’irrigation de crues, le projet a eu un effet positif sur les superficies cultivées en période de stress hydrique, alors qu’aucune amélioration n’est observée en période de crue. Les agriculteurs bénéficiaires du projet tirent une plus grande partie de leurs revenus de l’activité agricole non seulement en période de sécheresse mais aussi en période de crue. Cette dernière conclusion est à prendre avec précaution car elle se base sur une appréciation du revenu par les répondants eux-mêmes. En outre, le projet a encouragé l’extension spontanée des réseaux d’irrigation surtout dans les périmètres en amont. De plus, il aurait permis de recharger la nappe phréatique.

Cependant, le projet ne semble avoir encouragé ni la diversification des cultures ni des changements de pratiques culturales. Les stratégies de diversification des revenus basées sur la migration persistent. Le projet aurait pu difficilement avoir un impact sur l’exode rural.

Le projet PMH-Tiznit est la deuxième phase d’un projet dont la première phase a démarré en 1996. La deuxième phase d’un montant de 960.000 € avait pour objet de compléter les résultats non atteints de la première phase.

L’objectif global du projet est d’assurer les revenus et la stabilité des agriculteurs en freinant l’exode rural.

L’objectif spécifique est que les ouvrages (barrages et canaux) permettent un bon fonctionnement du réseau traditionnel d’irrigation.

Le projet Petite et Moyenne Hydraulique (PMH) s’inscrit dans la politique de développement agricole mise en œuvre par les autorités marocaines. Le projet comprenait deux composantes principales  : la réhabilitation d’infrastructures d’irrigation et la conservation des sols contre l’érosion. Les deux phases successives du projet ont réalisé l’amélioration et l’extension de 11 réseaux traditionnels d’irrigation permettant de maintenir une agriculture par épandage des eaux de crues, de limiter leurs effets d’érosion et de consolider le bon fonctionnement des réseaux traditionnels d’irrigation à l’intérieur des périmètres.

10

Leçons sur la gestion des projetsLes évaluations ont mis en évidence les manquements qui existaient à l’époque au niveau de la conception, de la mise en œuvre et du suivi-évaluation des projets.

Ces projets présentaient d’importantes faiblesses de conception. La logique d’intervention était relativement faible avec des objectifs peu précis, mal définis, déconnectés des activités et irréalistes compte tenu des moyens mis en œuvre et du contexte local. Les faiblesses constatées révèlent que l’atteinte des « outcomes » et de l’impact n’était pas une priorité.

La question de l’alignement aux politiques du pays partenaire se pose également notamment lorsque les politiques nationales sont défavorables à l’atteinte des « outcomes » et de l’impact attendus. De plus, il faudrait pouvoir terminer ou reformuler une intervention qui ne remplit pas les conditions pour atteindre ses résultats.

La mise en œuvre des projets a privilégié le décaissement et les réalisations physiques. Cette gestion axée sur les « outputs » s’est faite au détriment d’une gestion axée sur les « outcomes » et l’impact. Elle reflètait sans doute un manque d’incitants à faire autrement au sein du système de l’aide bilatérale belge.

Les systèmes de suivi-évaluation étaient insuffisants et inadaptés. Ils n’ont permis ni le suivi ni l’évaluation des « outcomes » et de l’impact. Bien que définis ou cités dans le dossier de formulation, bon nombre d’indicateurs n’ont jamais été mesurés et lorsque des données existent pour le faire, elles ne sont pas exploitables quantitativement.

RecommandationsPromouvoir les évaluations d’impact dans le contexte plus large du cycle de l’aide, tenant compte des enjeux futurs de la coopération belge, de la multiplicité des acteurs et du rapport coût/bénéfice de telles évaluations.

Réaliser ces évaluations d’impact en combinant des méthodes quantitatives et qualitatives au sein d’un seul processus évaluatif et en se donnant le temps et les moyens nécessaires en termes de budget et d’expertise.

Concevoir le dispositif d’évaluation des « outcomes » et de l’impact lors de la conception des projets. Cela implique de revoir la conception, la mise en œuvre et le suivi-évaluation des projets afin que la poursuite et la mesure des « outcomes » et de l’impact deviennent des priorités au même titre que l’atteinte des « outputs ». Cela implique aussi d’utiliser le cadre logique comme véritable outil de formulation, de gestion axée sur les résultats et d’évaluation. Ceci permettrait aussi une prise en compte plus réelle des liens de causalité, une analyse de risques plus réaliste et in fine un projet réalisable.

Harmoniser la mise en œuvre du projet avec le dispositif d’évaluation afin de rendre possible à moindre frais et de façon éthique, l’utilisation de méthodes quantitatives.

11

Cette étude a été commanditée par le Service de l’Evaluation Spéciale (SES) de la Coopération au développement, entité chargée d’assurer l’évaluation stratégique des activités de l’Etat fédéral belge reconnues comme aide publique au développement. Ses objectifs : rendre des comptes sur l’utilisation des fonds publics et produire des enseignements en vue d’améliorer l’efficacité de l’aide belge au développement.

Le rapport de synthèse complet de l’évaluation et les rapports projets sont disponibles en français, néerlandais et anglais sur le CD-ROM joint, sur le site : http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation/ ou auprès du Service de l’Evaluation spéciale + 32 (0)2 501 38 34 - ses-dbe@diplobel.fed.be

Photos d’illustration : © ADE

12

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 (0)2 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • ses-dbe@diplobel.fed.be

ROYAUME DE BELGIQUE

Service public fédéral

Affaires étrangères,Commerce extérieur etCoopération au Développement

Service de l’Evaluation spéciale de la Coopération au développement

Editeur responsable : Dirk AchtenPrésident du comité de direction