LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des...

18
2 LE BUREAU DE L’ÉVALUATION Au sein de la DgCiD, le bureau de l'évaluation réalise un programme d'évaluations composite : • des évaluations géographiques qui permettent de juger la coopération française, tous secteurs confondus, avec un pays ou une zone pendant une période déterminée ; • des évaluations sectorielles qui permettent d'apprécier la coopération française dans un secteur, telle qu'elle est conduite dans l'ensemble des pays, dans une zone ou un pays déterminé ; • des évaluations d'instruments qui permettent d'évaluer les instruments techniques ou financiers de la coopération française ou l'action d'organismes agissant comme opérateurs du ministère ; • des évaluations de projets ou de programmes développés dans un pays ou un groupe de pays ; • des évaluations internationales, en liaison avec d'autres bailleurs ou des pays partenaires. Un comité de pilotage est formé pour chaque évaluation. Il est composé de personnes susceptibles d'apporter des éclairages complémentaires sur la coopération, l'instrument ou la thématique à évaluer ; les membres du comité viennent de différentes directions du ministère des Affaires étrangères et européennes, d'autres départements ministériels, d'institutions extérieures à l'administration (ex. instituts de recherche), de la société civile ou du secteur privé. Le comité élabore le cahier des charges de l'évaluation (termes de référence) et sélectionne, après mise en concurrence, les experts extérieurs et indépendants qui réaliseront l'évaluation. Il entretient un dialogue avec les experts sur l'orientation de leur étude, valide leur rapport et contribue à la diffusion de leurs conclusions et recommandations. Il veille également au suivi des recommandations. Le Bureau de l'évaluation contribue à la diffusion de la culture de l'évaluation : • au sein du ministère des Affaires étrangères et européennes : en apportant son appui méthodologique à la conduite d'évaluations par les postes ou les autres services, en donnant un avis sur les projets présentés au comité d'examen du FSP, en participant à la réflexion sur les indicateurs de suivi, en assurant des formations à l'évaluation ; • sur un plan interministériel : en participant à des évaluations conjointes et en ouvrant les comités de pilotage à des responsables d'autres ministères ; • sur le plan européen et dans le cadre d'organisations internationales comme l'OCDE : en participant notamment aux travaux du groupe des responsables européens de l’évaluation et du réseau “évaluation de l’aide” du Comité d’aide au développement (CAD). LES NOUVEAUX CHANTIERS DE L’ÉVALUATION L'évaluation est au centre des processus de décision et des modes de gestion et d'allocation de l'APD française. • La mise en œuvre de la LOLF implique une analyse de la performance des actions conduites au regard des moyens mobilisés. Les procédures prévues privilégient pour l'instant le contrôle de gestion sur l'évaluation. Cependant, la complémentarité entre les deux instruments devrait à terme s'imposer. En effet, seule l'évaluation s'intéresse au « pourquoi » et au « comment » améliorer la performance. Elle fait porter l'analyse sur la stratégie et les politiques, s'inscrit dans un cycle plus long que l'exercice budgétaire, et tient compte du point de vue des partenaires et des bénéficiaires de l'action publique. • Le rôle accru que le CICID entend faire jouer aux opérateurs (AFD, nouvelles agences, collectivités locales …) impose que l'on définisse avec ces derniers des modalités d'évaluation des projets conduits sur les crédits du MAEE. • L'agenda sur l'efficacité de l'aide, lié à la Déclaration de Paris adoptée en mars 2005, devrait nous amener à revoir et à enrichir les méthodes et critères d'évaluation traditionnels, en mettant l'accent sur les engagements des pays membres du CAD contenus dans la Déclaration : appropriation, alignement, harmonisation, responsabilité mutuelle. • La logique du partenariat, prônée par la Déclaration de Paris et illustrée par les nouveaux Documents Cadres de Partenariat conclus avec les pays de la ZSP, devrait conduire à une meilleure prise en compte du point de vue des bénéficiaires dans les travaux d'évaluation, voire au transfert de la conduite de ceux-ci sous leur responsabilité. Le bureau de l'évaluation de la DgCiD se consacrera donc davantage au renforcement des capacités en évaluation des partenaires du Sud et à l'appui méthodologique aux services et aux postes. Le guide de l’évaluation a fait l’objet en 2007 d’une réédition complétée et rénovée. Ce document est transmis par le bureau de l’évaluation sur simple demande (en version éditée et/ou en fichier électronique). Il existe également une version traduite en anglais. evalua tiondgcid@diploma tie.gouv .fr

Transcript of LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des...

Page 1: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

2

➔ LE BUREAU DE L’ÉVALUATION

Au sein de la DgCiD, le bureau de l'évaluation réalise un programme d'évaluations

composite :

• des évaluations géographiques qui permettent de juger la coopération française, tous secteurs

confondus, avec un pays ou une zone pendant une période déterminée ;

• des évaluations sectorielles qui permettent d'apprécier la coopération française dans un

secteur, telle qu'elle est conduite dans l'ensemble des pays, dans une zone ou un pays

déterminé ;

• des évaluations d'instruments qui permettent d'évaluer les instruments techniques ou

financiers de la coopération française ou l'action d'organismes agissant comme opérateurs

du ministère ;

• des évaluations de projets ou de programmes développés dans un pays ou un groupe de pays ;

• des évaluations internationales, en liaison avec d'autres bailleurs ou des pays partenaires.

Un comité de pilotage est formé pour chaque évaluation. Il est composé de personnes

susceptibles d'apporter des éclairages complémentaires sur la coopération, l'instrument ou la

thématique à évaluer ; les membres du comité viennent de différentes directions du ministère

des Affaires étrangères et européennes, d'autres départements ministériels, d'institutions

extérieures à l'administration (ex. instituts de recherche), de la société civile ou du secteur privé.

Le comité élabore le cahier des charges de l'évaluation (termes de référence) et sélectionne,

après mise en concurrence, les experts extérieurs et indépendants qui réaliseront l'évaluation.

Il entretient un dialogue avec les experts sur l'orientation de leur étude, valide leur rapport et

contribue à la diffusion de leurs conclusions et recommandations. Il veille également au suivi

des recommandations.

Le Bureau de l'évaluation contribue à la diffusion de la culture de l'évaluation :

• au sein du ministère des Affaires étrangères et européennes : en apportant son appui

méthodologique à la conduite d'évaluations par les postes ou les autres services, en donnant

un avis sur les projets présentés au comité d'examen du FSP, en participant à la réflexion sur

les indicateurs de suivi, en assurant des formations à l'évaluation ;

• sur un plan interministériel : en participant à des évaluations conjointes et en ouvrant les

comités de pilotage à des responsables d'autres ministères ;

• sur le plan européen et dans le cadre d'organisations internationales comme l'OCDE : en

participant notamment aux travaux du groupe des responsables européens de l’évaluation et

du réseau “évaluation de l’aide” du Comité d’aide au développement (CAD).

➔ LES NOUVEAUX CHANTIERS DE L’ÉVALUATION

L'évaluation est au centre des processus de décision et des modes de gestion et

d'allocation de l'APD française.

• La mise en œuvre de la LOLF implique une analyse de la performance des actions conduites

au regard des moyens mobilisés. Les procédures prévues privilégient pour l'instant le contrôle

de gestion sur l'évaluation. Cependant, la complémentarité entre les deux instruments devrait

à terme s'imposer. En effet, seule l'évaluation s'intéresse au « pourquoi » et au « comment »

améliorer la performance. Elle fait porter l'analyse sur la stratégie et les politiques, s'inscrit

dans un cycle plus long que l'exercice budgétaire, et tient compte du point de vue des

partenaires et des bénéficiaires de l'action publique.

• Le rôle accru que le CICID entend faire jouer aux opérateurs (AFD, nouvelles agences,

collectivités locales …) impose que l'on définisse avec ces derniers des modalités d'évaluation

des projets conduits sur les crédits du MAEE.

• L'agenda sur l'efficacité de l'aide, lié à la Déclaration de Paris adoptée en mars 2005, devrait

nous amener à revoir et à enrichir les méthodes et critères d'évaluation traditionnels, en

mettant l'accent sur les engagements des pays membres du CAD contenus dans la

Déclaration : appropriation, alignement, harmonisation, responsabilité mutuelle.

• La logique du partenariat, prônée par la Déclaration de Paris et illustrée par les nouveaux

Documents Cadres de Partenariat conclus avec les pays de la ZSP, devrait conduire à une

meilleure prise en compte du point de vue des bénéficiaires dans les travaux d'évaluation,

voire au transfert de la conduite de ceux-ci sous leur responsabilité. Le bureau de l'évaluation

de la DgCiD se consacrera donc davantage au renforcement des capacités en évaluation des

partenaires du Sud et à l'appui méthodologique aux services et aux postes.

Le guide de l’évaluation a fait l’objet en 2007 d’une réédition complétée et rénovée.

Ce document est transmis par le bureau de l’évaluation sur simple demande (en version éditée et/ou en fichier électronique).Il existe également une version traduite en anglais.

[email protected]

Page 2: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

3

➔ APPUI AU PARTENARIAT EN ÉVALUATION DE POLITIQUES PUBLIQUES DANS LA ZSP

Approuvé en mai 2005, le projet mobilisateur FSP n° 2004-39 est doté de 2,8 M€ ; il est destiné

essentiellement au renforcement de capacités en évaluation (commanditaires, opérateurs et

prestataires) et à la réalisation d’évaluations conjointes et partenariales.

État d’avancement 2006 et perspectives 2007Le projet FSP intervient selon trois modalités complémentaires :

1. Réalisation d’évaluations partenariales

Un premier exercice portant sur l’évaluation de la coopération maroco-française est en voie

d’achèvement en 2007.

D’autres évaluations conjointes et partenariales sont envisagées, notamment sur le Niger avec

la Commission européenne et la Belgique.

2. Soutien aux organisations associatives d’évaluation du Sud

Un séminaire avec une trentaine de participants membres de l’Afrea (Association africaine

d’évaluation) a eu lieu à Niamey en septembre 2006 afin de revoir les principes directeurs

établis en 1999. Il a été suivi de la quatrième conférence de l’Afrea qui s’est tenue en janvier

2007 à Niamey, avec près de 700 participants.

Le bureau de l’évaluation a accordé un soutien financier à ces manifestations et a également

permis à ces associations d’établir des liens avec la société française d’évaluation (SFE).

3. Mise en œuvre de formations-actions

Des formations-actions destinées à des experts locaux (ou à des commanditaires, chargés

d’évaluation, etc.) ont été organisées, sur la base de trois principes : une maîtrise d’ouvrage de

l’organisation par les SCAC (privilégiant une démarche de demande à celle d’offre), une

participation active des bénéficiaires (impliquant un accompagnement dans des évaluations

prolongeant la formation théorique), et un partage d’expériences dans le cadre d’un réseau

ad hoc en privilégiant l’évaluation des FSD.

Une vingtaine de SCAC avait manifesté leur intérêt à la prise en charge de formations-actions.

Pour l’instant, deux modules sont en cours de réalisation, avec le Togo et la Guinée Conakry.

D’autres opérations sont en cours d’identification, avec des SCAC, des ONG françaises ou des

assistants techniques (par exemple, évaluation de la coopération décentralisée au Maroc).

➔ TRAVAUX CONJOINTS AVEC LE MINEFI ET L’AFD

Une concertation interministérielle constante, et des travaux conjoints, sont menés

avec les services d’évaluation de la DGTPE (MINEFI) et de l’AFD, qui ont également la

responsabilité, dans leurs domaines respectifs et selon leurs propres procédures, de mener

des évaluations rétrospectives de leurs actions. Le bureau de l’évaluation de la DgCiD a ainsi

été associé en 2006 au lancement par la DGTPE de l’évaluation de l’Agence Internationale

de Développement (AID) et à plusieurs études engagées par l’AFD (état des lieux de

l’assistance technique, étalonnage des systèmes d’évaluation des principaux bailleurs de

fonds). Pour la plupart des grandes évaluations que le bureau de l’évaluation de la DgCiD

conduit, le MINEFI et l’AFD sont par ailleurs invités à participer aux comités de pilotage quand

ils ne sont pas directement associés à la conduite, voire au financement, de certaines

évaluations (pays, thématiques, sectorielles).

➔ ÉDITION DES RAPPORTS D’ÉVALUATION

Le bureau de l’évaluation mène depuis des années une politique de publication et de diffusion

des rapports réalisés par des consultants extérieurs. Les publications, une dizaine chaque

année, sont effectuées dans une perspective de capitalisation pour assurer une plus grande

efficacité de l’aide publique et de la coopération internationale. Ces publications imposent une

exigence de qualité, de transparence et d’indépendance.

Tous les rapports d’évaluation présentés dans cette brochure - ainsi que ceux des années

antérieures - sont accessibles sur le site du ministère des Affaires étrangères et européennes :

www.diplomatie.gouv.fr

Pour accéder à ces publications, il faut se rendre sur France Diplomatie : dans la colonne de

gauche de votre écran dans la rubrique “Le ministère”, suivre : Publications � Coopération

internationale et développement � Série “Évaluations”.

Seuls les rapports concernant les évaluations-pays ne sont pas mis en ligne car ils font l’objet

d’une diffusion restreinte. Les rapports antérieurs à 2003 ne sont pas disponibles sous forme

électronique. Ils peuvent être consultés dans les centres de documentation.

➔ SUR DIPLONET : FORUM “ÉVALUATION DE PROJETS DE DÉVELOPPEMENT”

Accessible uniquement aux agents du MAEE sur EOLE à l’adresse suivante :

http://forum.mae.diplomatie.gouv.fr/

Afin de favoriser les échanges entre les services de coopération et d’action culturelle (SCAC), et

avec les agents des services centraux, de manière à mutualiser les bonnes pratiques,

notamment en matière d’évaluation de FSP ou de FSD (mobilisation de l’expertise, partenariat,

renforcement des capacités, dispositifs de communication, etc.), un forum a été ouvert en 2007.

Pour y accéder, il suffit de s’inscrire auprès du modérateur en indiquant comme “Nom

d’utilisateur” et “Mot de passe” ceux de votre messagerie Diplonet.

Page 3: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

4

Créé en 1984, le Programme Solidarité Eau (PS-Eau) est à l’origine un espace de concertation etd’échanges entre les différents opérateurs intervenant sous forme d’appui/conseil et de renforcement descapacités dans le domaine de l’eau. Dispositif institutionnel sous tutelle du MAEE, il acquiert une relativeautonomie en 2003, gage d’une certaine neutralité, en même temps que se diversifient ses sources definancement.L’objectif général du programme est de “faciliter les initiatives locales de coopération internationale dansle secteur de l’hydraulique et de l’assainissement, et plus généralement de l’environnement et dudéveloppement”. Les objectifs spécifiques concernent l’appui/conseil, la recherche/action, la concertation,l’accès à l’information et la sensibilisation à la coopération internationale. Les objectifs opérationnels sontdéfinis dans le cadre des conventions de financement co-signées par le PS-Eau et ses financeurs.L’évaluation du PS-Eau résulte du souci de mesurer l’atteinte des objectifs définis dans le cadre du projetFSP “animation de la coopération non gouvernementale et décentralisée dans le domaine de l’eau”,

d’apprécier la plus-value du programme en terme de renforcement des capacités des acteurs et de voir formuler des recommandations sur l’amélioration du dispositif.

L’évaluation met en évidence la pertinence de l’objectif général du programme vis à vis de l’enjeu international de l’accès à l’eau et àl’assainissement (OMD N°7), ainsi que vis à vis des objectifs spécifiques affichés par divers acteurs institutionnels (DgCiD, CICID, MAAIONG).

Ses objectifs restent cependant encore mal connus par les partenaires. Le PS-Eau a pu démontrer une solide capacité d’expertise (appui/conseil, concertation des acteurs,gestion et diffusion de l’information) ainsi qu’une forte cohérence vis à vis de l’extérieur ; les ressources humaines et financières sont apparues néanmoins sousdimensionnées pour l’ensemble des tâches qui lui sont dévolues.Son efficacité réelle reste difficile à quantifier en raison de l’absence d’un outil de monitoring. S’il a pu élargir son audience et le nombre de ses partenaires et s’impliquerfortement auprès des cercles internationaux, il n’a pu être le vecteur d’une participation forte et active des ONG et des structures de coopération décentralisée dans lesdébats d’idée, souffrant de sa perception d’outil institutionnel du MAEE. Un rôle positif lui est reconnu dans l’émergence de la loi Oudin relative à la coopérationdécentralisée dans les domaines de l’alimentation en eau et de l’assainissement.

Les recommandations stratégiques de l’évaluation portent sur :

son fonctionnement :• améliorer sa lisibilité en procédant à une clarification des objectifs spécifiques et opérationnels, complétée par la définition d’une stratégie de communication adéquate ;• le doter d’un cadre de contractualisation mieux adapté à ses interventions.

ses moyens :• améliorer le recouvrement des cotisations et élargir la participation financière des bénéficiaires de ses services ;• renforcer le réseau de correspondants relais dans les pays du Sud.

ses réalisations :• mettre en place des indicateurs de suivi et d’avancement de la réalisation de ses actions ;• amplifier le retour d’informations et d’expériences vers le PS-Eau ; • revisiter les services proposés aux collectivités territoriales dans le prolongement de sa mission d’accompagnement de la loi Oudin afin de les faire participer plus

fortement à ses actions.

Depuis le constat établi sur l’année 2004 qui a servi de base à cette évaluation, plusieurs améliorations ont été mises en œuvre :

• une forte implication du PS-Eau dans la définition de nouvelles approches sectorielles ;• le développement des fonctions d’appui/conseil auprès des collectivités locales, la publication de documents sur les bonnes pratiques, des liens étroits tissés avec l’IGD,l’ISTED et le CME, un rôle nouveau d’appui aux associations de migrants dans le cadre des actions de co-développement ;• une diversification de ses sources de financement, les financements du MAEE n’excédant plus 25% d’un budget annuel qui est maintenant de 1,1 million €.

Évaluation (2000-2004)

SUITES

RECOMMANDATIONS

CONSTATS

PROGRAMME SOLIDARITÉ EAU (PS-EAU)

Page 4: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

5

Le projet mobilisateur du Fonds de solidarité prioritaire (FSP) “Programme de recherche urbaine pour ledéveloppement” a donné lieu à un appel à propositions de recherche selon les deux axes suivants :• les interventions sur la ville (thématiques liées à la "métropolisation", à l’environnement et au patrimoine, àla réalisation d’infrastructures, de services urbains et d’équipements collectifs) ;• les logiques et stratégies des divers acteurs qui font et gèrent la ville (questions de gouvernance, dedécentralisation, de démocratie locale ; fonctions d’expertise face aux savoirs professionnels et aux culturesurbaines).

Trente projets de recherche, relevant d’un champ géographique très vaste, ont bénéficié d’un appui financieret d’un soutien scientifique. Le travail réalisé dans le cadre de l’évaluation a donc été de regrouper les trenteprojets sous des domaines qui apparaissent déterminants pour chaque étude :

• les relations public/privé, avec comme sous thèmes les dispositifs gestionnaires des services urbains et les politiques publiques de l’urbain ;• la participation, avec comme sous-thèmes la décentralisation et la municipalisation ainsi que l’articulation du technique et du politique ;• les mutations de l’urbain, reprenant les questions de la métropolisation et de la notion “villes en conflit/réhabilitation” ;• les acteurs de la ville ;• le foncier ;• les coûts sociaux des projets urbains.

Les évaluateurs recommandent de concevoir une stratégie favorisant la réplication de ce type de programme scientifique, laquelle passe par lavalorisation des acquis scientifiques et opérationnels du PRUD et le lancement futur d’un nouveau programme de ce type.

La mise en œuvre de cette nouvelle stratégie nécessite :• une amélioration du management du programme en consolidant l’équipe de suivi et en exploitant mieux le savoir-faire de chacun des partenaires (opérateur scientifique

et opérateur technique) ;• une meilleure structuration du programme (décliné en trois phases : mise en place, réalisation, valorisation) et une augmentation de la durée ;• une définition plus stricte du partenariat : un véritable partenariat implique une collaboration effective dès la conception du projet entre équipes du Nord et du Sud ;• une diminution du nombre d’études pour se concentrer sur des projets de qualité optimale ;• une ouverture du programme du point de vue géographique et thématique (une interrogation critique des “objectifs du développement durable”, une perspective plus

directement économique, et une voie à caractère plus interdisciplinaire réfléchissant sur les dimensions technologiques du développement urbain dans les pays du Sud) ;• une valorisation du programme, un site Internet, des réunions régionales, etc ;• une opérationnalité de la recherche : une interaction beaucoup plus forte avec les milieux professionnels et ceux de la coopération doit être stimulée.

L’évaluation du PRUD a apporté un éclairage complémentaire sur des analyses déjà effectuées par la DgCiD, notamment dans le domaine de larecherche. L’initiation, la conception et la réalisation des opérations doivent s’effectuer au plus près des attentes et des moyens des acteurs concernés.

À cet égard, il est estimé que les projets États (préparés avec les pays bénéficiaires) répondent mieux aux objectifs de partenariat que les projets mobilisateurs (préparéspar les services centraux du ministère), et permettent d’éviter les difficultés de mise en œuvre.Il convient non seulement de s’interroger sur les objectifs en matière de recherche mais aussi sur les capacités des structures de recherche locales notamment à gérerdes fonds. Il s’agit donc d’accorder une attention particulière, dès le montage des projets, aux enjeux, aux modalités et procédures, ainsi qu’aux modes de suivi etd’évaluation, et de les partager avec les équipes et structures de recherche plurinationales.

PROGRAMME DE RECHERCHE URBAINE POUR LE DÉVELOPPEMENT (PRUD)Évaluation finale du projet mobilisateur FSP n° 2000-120 (2001-2004)

RECOMMANDATIONS

SUITES

Page 5: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

Évaluation du programme ECOS Nord et Sud (1992-2005)

6

PROGRAMME D’ÉCHANGES SCIENTIFIQUES ET UNIVERSITAIRES ENTRE LA FRANCE ET L’AMÉRIQUE LATINE

Le programme ECOS (“évaluation orientation de la coopération scientifique”) a été lancé en 1992 et 1993 auChili et en Uruguay puis s’est étendu au Mexique, à l’Argentine, à la Colombie et au Venezuela.Au départ orienté vers des projets de formation à la recherche et au renforcement des systèmes de formationdes pays latino-américains, il s’est ensuite tourné vers des projets conjoints de recherche de plus en pluspointus ; le programme finance aujourd’hui des projets pluriannuels de recherche conjointe permettant laréalisation de thèses (en co-tutelle), d’échanges, la publication d’articles et d’ouvrages scientifiques, desmissions d’enseignants chercheurs et des stages de jeunes chercheurs doctorants. ECOS trouve saparticularité dans plusieurs caractéristiques qui le distinguent des autres programmes (en particuliereuropéens) : une ouverture thématique large (approche bottom up), la réciprocité des échanges dans le cadred’un même projet scientifique, une coopération d’égal à égal fondée sur un réel partenariat, et une simplicitéde gestion.

L’évaluation d’ECOS s’est appuyée sur une analyse documentaire et un échantillon de soixante douze projets de recherche. Une enquête et des entretiens ont été menésauprès de responsables institutionnels français et sud-américains et de responsables de projets dans chacun des 6 pays visités.

Des résultats tangibles : un soutien apporté à 748 projets entre 1993 et 2005, répartis entre les 6 pays concernés ; sur la période 2000-2005,412 projets sélectionnés pour un appui financier du MAEE de 6,7 millions €.

Un programme apprécié par ses bénéficiaires pour son originalité, sa souplesse de fonctionnement, sa contribution au développement des programmes de recherche etson effet de levier sur la création et la consolidation de réseaux de recherche ; mais également jugé positivement par les acteurs “institutionnels” pour ses résultatsrapportés au coût du programme.Dans la majorité des 6 pays, les responsables institutionnels se sont déclarés prêts à accroître leur contribution financière pour accueillir des projets plus nombreux.

Des recommandations générales : • la poursuite du projet, avec une enveloppe accrue, et la formalisation d’un label “ECOS” sur les produits issus du programme.

Des recommandations à caractère stratégique : • maintenir l’ouverture du programme à l’ensemble des champs scientifiques ;• distinguer un domaine spécifique aux sciences de l’ingénieur ;• adopter des actions pour la valorisation industrielle des produits (comme dans le cas du programme de coopération post-gradué) ;• faciliter des projets régionaux de manière pragmatique et coordonnée avec le programme COFECUB (Brésil) et les programmes européens.

Des recommandations à caractère opérationnel : • améliorer la transparence du système de gestion du programme ;• mettre en place un outil de gestion et de valorisation sous forme d’une plate-forme web ;• adapter la structure de gestion du programme par fusion des deux secrétariats ECOS Nord et ECOS Sud.

Des recommandations à caractère institutionnel, plus spécifiquement en direction des SCAC : • leur faire jouer un rôle de pivot pour l’information, la communication et la promotion du programme dans les pays ;• les amener à mettre en place des actions post-ECOS (clubs, ateliers, séminaires) pour développer le partage d’expérience et valoriser les projets vis à vis des

responsables nationaux et des entreprises.

La mise en place d’une feuille de route pour les ministères de tutelle, déjà évoquée dans les conclusions du rapport et rediscutée lors de laréunion de restitution, constitue la prochaine étape : augmenter l’enveloppe budgétaire consacrée au programme, développer des actions de

valorisation des projets de recherche, promouvoir le modèle ECOS au niveau européen, et doter le programme d’un outil de gestion et de communication performant.

SUITES

RECOMMANDATIONS

CONSTATS

Page 6: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

Cette évaluation concerne quatre institutions financières multilatérales : la Banque mondiale (BM), la Banqueinteraméricaine de développement (BID), la Banque européenne pour la reconstruction et le développement(BERD) et la Banque asiatique de développement (BasD). L’étude couvre les périodes 1999-2004 pour la BM,la BERD et la BID et 1996-2004 pour la BAsD. Elle a été menée conjointement par les ministères del’Économie, des Finances et de l’Industrie (MINEFI) et des Affaires étrangères et européennes (MAEE). Leministère de l’Agriculture et de la Pêche (MAP) a été associé à cet exercice.Les fonds fiduciaires (FF) placés auprès de ces banques privilégient l’identification de projets de coopérationpour le développement des pays bénéficiaires et la promotion de l’offre nationale d’expertise. Les fonds sontavant tout des outils à la disposition des banques et non des outils à la disposition des consultants.La création de cet instrument par les administrations françaises s’est révélée pertinente, notamment pourappuyer la stratégie de lutte contre la pauvreté. Néanmoins, les procédures de sélection des consultants par

les banques étaient peu adaptées à la promotion de la consultance française.Les évaluateurs ont constaté que les orientations stratégiques développées par la France dans des domaines précis (agriculture, environnement, éducation) en faveur despays les plus démunis ont été appréciées dans les enceintes multilatérales. La coopération française a donc pu mettre en avant ses idées sur le développement,contribuant ainsi à influencer les orientations sectorielles et régionales, en particulier de la BM. La France s’est alors révélée chef de file des donateurs bilatéraux dansquelques secteurs (cf. propositions du MAEE et du MAP).Toutefois, l’impact commercial de la contribution de la France sur ces fonds paraît faible (l’analyse ne dégage pas de relation directe entre la mobilisation de l’assistancetechnique et les parts de marché de travaux et fournitures). Les évaluateurs estiment qu’il n’existe pas de lien apparent entre le développement des exportations de laFrance et l’intervention de ses consultants.Des enseignements ont été tirés sur la base d’une analyse comparative de l’utilisation des fonds fiduciaires par d’autres pays européens (Allemagne, Grande-Bretagne etPays-Bas) visités. Les résultats de l’évaluation permettent à la France de se positionner par rapport aux évolutions en cours.

• Pour une meilleure anticipation des évolutions ou des réformes des banques dans l’utilisation des fonds :1. adopter une stratégie de déliement des fonds fiduciaires afin de renforcer un partenariat opérationnel bi-multilatéral, sur des thèmes et des zones géographiques prioritaires

pour la France et sur lesquels les banques conduisent des actions de coopération et de développement ;2. se positionner sur des fonds thématiques multi-bailleurs pour préserver les intérêts de la France ;3. demander et obtenir un suivi détaillé pour chaque financement mobilisé par les banques et produire un rapport annuel de la France à destination de ces institutions ;4. la démarche de la BM, qui est de passer des accords dont la forme est standardisée, ne doit pas occulter les engagements attendus vis à vis de ses contributeurs.

• Pour l’administration par la France de ses fonds fiduciaires :5. articuler les fonds à la stratégie française, les administrer d’une manière rationnelle ; distinguer les fonds à objectifs d’influence des fonds à objectifs de valorisation de

l’offre ;6. identifier quelques secteurs de concentration selon les objectifs prioritaires, afficher clairement les objectifs de la France ;7. collecter en continu l’information sur ces secteurs pour lesquels la France apporte une contribution sur les fonds ;8. se donner les moyens d’un pilotage actif dans la gestion des fonds qui doit s’appuyer sur une capacité de proposition pour orienter leur utilisation sur des projets s’inscrivant

dans les objectifs des banques.

1. Les fonds fiduciaires d’assistance technique (CTF) ont été dissous à la BM. Le travail du MAEE et du MAP sur le partenariat bi-multilatéral avait donné de bons résultats.Cette réflexion - ainsi que celle sur l’expertise associée à celle des fonds fiduciaires - se poursuit dans le cadre du comité interministériel de suivi des fonds fiduciaireset de l’expertise.

2. Ces fonds CTF étant clos, la présence française se trouve désormais majoritairement placée dans des fonds multi-bailleurs.3. Des états financiers ainsi que des rapports d’activité sont envoyés par la BM.4. Les donateurs exigent de plus en plus de la BM qu’elle s’implique davantage et qu’elle ne perde pas ses objectifs face à la multiplicité des fonds fiduciaires.5. La coordination française est réalisée à travers le comité interministériel de suivi des fonds fiduciaires et de l’expertise, réuni pour la première fois le 9 mars 2007.

Le MAEE travaille à une stratégie globale par banque de développement.6. Outre une approche par institution, les fonds fiduciaires sont aussi considérés comme des outils parmi d’autres permettant d’agir dans un secteur (réflexion sur la

définition du ciblage des actions vers des fonds multilatéraux).7. La réflexion interministérielle sur les modes d’information débute tout juste après une première phase consacrée aux outils de suivi.8. Les circuits de partage de l’information se mettent en place à un niveau interministériel et avec l’AFD. Des outils de suivi des fonds ont été créés (fiches et tableaux).

Les bureaux sectoriels dialoguent avec les responsables des fonds fiduciaires de leur secteur, appuyés le plus possible par des experts français placés à la BM au seindes unités gérant les fonds fiduciaires.

ÉVALUATION “FONDS D’ASSISTANCE TECHNIQUEAUPRÈS DES BANQUES DE DÉVELOPPEMENT”

7

SUITES

RECOMMANDATIONS

Page 7: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

8

Cette évaluation, conduite en deux phases, porte un regard sur les actions et les projets mis en œuvre par lesONG bénéficiaires de l’aide publique française dans la zone touchée par le raz de marée, tout particulièrement auSri Lanka, en Indonésie et en Inde.La première phase de l’évaluation a fait l’objet d’un compte-rendu dans le bilan 2005. La seconde phase permetde compléter les conclusions tirées et met en évidence les caractéristiques de l’aide française post-Tsunami etleurs implications :• l’aide française post-Tsunami a touché une zone assez large, éloignée et hors des aires classiquesd’intervention française ;• les montants disponibles ont été alloués à une gamme assez diversifiée d’acteurs (agences des Nations-Unies,ONG françaises et nationales, hôpitaux…), ce qui s’est avéré pertinent tant en termes opérationnels qu’en termesde visibilité de l’aide publique française ;

• les montants alloués, bien qu’importants (l’aide française post-Tsunami a placé la France au 7e rang de la solidarité internationale), n’ont pas participé aux problèmes desurfinancement parfois observés, et leur taille relativement limitée a favorisé une réflexion de fond ; • une importance significative a été donnée aux questions de coordination, via notamment la création d’un dispositif interministériel original (DIPT) chargé de coordonner enamont l’utilisation des fonds ;• la coordination avec les autres bailleurs de fonds (Fondation de France, Croix-Rouge française, DG ECHO) a été relativement efficace et a permis d’éviter les doublons etd’assurer la transparence des co-financements ;• l’aide française s’est déployée sur l’ensemble du cycle de gestion des catastrophes.

Les évaluateurs s’attardent sur l’expérience de la DIPT (remplacée en juillet 2005 par la Coordination Post Tsunami, CPT), dont les leçons pourraient participer à la mise enplace d’un dispositif spécifique de gestion de crise. Ils considèrent que le dispositif français global a plutôt bien fonctionné, notamment en comparaison avec la coordinationinternationale. Les partenaires financés estiment ainsi que le dispositif de choix des projets a permis rapidité, flexibilité et transparence. La dynamique mise en place dans lesecteur de l’eau et de l’assainissement autour de la DAH, de la DIPT, du Ministère de l’Écologie et du Développement Durable et des Agences de l’eau s’est avéréeparticulièrement efficace.

Les évaluateurs relèvent néanmoins des faiblesses récurrentes dans les diagnostics des programmes, qui ont pu jouer sur la qualité des réalisations. Ils mettent égalementl’accent sur les contraintes importantes qui ont ralenti la mise en œuvre des programmes (ex : difficulté d’approvisionnement en matériaux).

Recommandations d’ordre opérationnel et visant les actions en cours :• assurer un suivi effectif des programmes dans le domaine de la gestion des catastrophes ;• planifier le financement de la reconstruction sur au moins deux ans, pour assurer la cohérence de l’engagement d’accompagnement sur la durée du processus complexe

de “sortie de crise” ;• développer les synergies possibles entre les différentes initiatives françaises sur la région en matière de prévision et de gestion des catastrophes.

Recommandation d’ordre stratégique et visant la région ciblée :• renforcer la présence française dans une région sensible et dynamique, en profitant des partenariats noués et de l’expérience acquise à l’occasion du Tsunami.

Recommandations visant à améliorer les capacités de réponse de l’aide française :• améliorer les diagnostics et systématiser la mise en place de mémoires opérationnelles ;• capitaliser sur l’expérience DIPT/CPT et sur certains secteurs d’interventions, comme l’eau et l’assainissement ;• prévoir une capacité de renforcement des équipes des ambassades en cas de catastrophe majeure.

Les évaluateurs ont effectué plusieurs restitutions des résultats de l’évaluation sur le terrain lors de conférences organisées avec les SCAC,les ONG françaises, les partenaires internationaux et locaux.

RECOMMANDATIONS

SUITES

ÉVALUATION DE L’AIDE PUBLIQUE FRANÇAISE AUX PAYS TOUCHÉS PAR LE TSUNAMI DU 26 DÉCEMBRE 2004

Page 8: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

9

ÉVALUATION RÉTROSPECTIVE DE COORDINATION SUD (1997-2005)

Dix ans après la création de la plate-forme nationale des associations de solidarité internationale (ASI), leministère des Affaires étrangères et européennes a souhaité faire le point sur son partenariat avec CoordinationSud (CS).

L’évaluation est organisée selon les 3 principales missions de Coordination Sud et précisée par critèresd’évaluation.• La mission “Appui aux membres pour la coopération non gouvernementale” est jugée particuliè-rement efficace. Une plus grande cohérence des interventions est indispensable pour optimiser le dispositif(mise en commun des compétences et des moyens, taille minimale des ASI nécessaire au montage de projetssignificatifs). L’efficience n’est pas facilement lisible, du fait de la diversité des opérations de CS.Les cofinancements de CS par le MAEE ont augmenté à un rythme inférieur que celui de l’activité de CS.

Les financements publics et privés sont sensiblement égaux, avec une diversification des ressources privées. L’impact de CS est d’autant plus significatif que son appuis’adresse aussi à des ASI non-membres.• La mission “Diplomatie non gouvernementale” consiste en une participation 1) aux réunions internationales chargées de s’attaquer aux causes structurelles de lapauvreté, et 2) aux alliances de plates-formes nationales qui cherchent à améliorer leur capacité d’influence dans les enceintes internationales. La pertinence de cettemission est appréciée, en particulier à l’occasion des consultations avec le Gouvernement (analyses de CS écoutées). Toutefois les membres de CS ont du mal às’approprier cette mission, dont ils craignent qu’elle ne prenne le pas sur les autres missions. La synergie avec les plates-formes du Sud et le travail conduit avec elles - même s’il est encore récent et inégalement développé - renforcent la pertinence et la cohérence de cette mission. Le partenariat avec les plates-formes régionales oucelles de certains pays a un impact certain, visible, conduisant à des succès diplomatiques.• La mission “Représentation des membres auprès des pouvoirs publics” est une mission essentielle de Coordination Sud. Le partenariat de Coordination Sudavec le MAEE s’appuie sur le cofinancement de programmes et projets, fondé sur une contractualisation, révisée en 2001. Sa pertinence réside en particulier dans laqualité des études produites (cf. rapport 2005 de CS sur l’analyse de l’APD française). La Commission Coopération Développement (CCD) est la principale instance dudispositif de concertation. Sur la période étudiée, celui-ci est émaillé de succès, mais aussi de difficultés (cf. retards dans les cofinancements du MAEE, réforme de 2004entraînant des transferts d’opérations à l’AFD, etc.).

Coordination Sud apparaît comme une organisation performante. Le Comité interministériel de coopération internationale et de développement(CICID) de 2006 a d’ailleurs confirmé le rôle grandissant donné aux ASI dans la coopération au développement et l’accroissement de la part

d’APD transitant par celles-ci. Si les fondements du partenariat avec l’État sont encore mal définis et a fortiori non consolidés, de nouveaux instruments de cofinancementdevraient contribuer à optimiser son efficience. Le dialogue, la collaboration et le soutien aux ASI sera également l’objectif de l’AFD. Quatre axes structurants devraient êtreprivilégiés : la communication et la transparence, la concertation sur les stratégies sectorielles, la capitalisation et la formation, les financements sur opérations à lacommande ou sur appels sectoriels à propositions.Des éléments de comparaison avec 2 pays d’Europe (Belgique, Royaume Uni) apportent un éclairage et des enseignements à tirer par Coordination Sud et les pouvoirspublics français.

Concernant le partenariat Coordination Sud-État :• mieux définir comment les ASI et Coordination Sud contribuent au service d’intérêt public en matière de coopération, de diplomatie et d’aide humanitaire, en garantissant

leur caractère “non gouvernemental” (à cet égard, le rapport propose un schéma de complémentarité) ;• restaurer la confiance entre les 2 partenaires en précisant les conditions de la concertation stratégique et simplifier le dispositif de cofinancement.

Concernant l’appui de Coordination Sud aux membres pour leurs actions de coopération :• soutenir l’équipe permanente sur le plan méthodologique pour renforcer la pertinence de son appui aux membres ; en gestion interne, structurer davantage le

management des pôles de Coordination Sud et mieux distinguer les différents types d’opérations dans ses comptes ;• encourager le regroupement d’ASI pour favoriser leur optimisation ; renforcer la fonction de gestion financière des ASI ; engager une analyse des emplois et ressources

humaines des ASI pour développer leur gestion des compétences ; engager une réflexion sur le développement des partenariats ASI-entreprises dans les pays du Sud.

Concernant la diplomatie non gouvernementale :• constituer une commission de travail pour favoriser l’appropriation de cette politique par les membres et anticiper les évolutions du partenariat avec l’État dans ce

domaine.

CONCLUSIONS ETPERSPECTIVES

RECOMMANDATIONS

Page 9: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

1) En dehors du CICID, les six autres études de cas ont porté sur : le programme d’action allemand 2015 ; la déclaration de politique de développement global suédoise ; le comité interministériel pour

la coopération internationale espagnol ; le comité de politique de développement finlandais ; le système de consultation inter-services de la Commission européenne ; le comité de développement du

Parlement européen (EP-DC).

10

ÉVALUATION DES MÉCANISMES DE COHÉRENCE DES POLITIQUES EN FAVEUR DU DÉVELOPPEMENT MIS EN PLACE DANS LES ÉTATS MEMBRESET LES INSTITUTIONS EUROPÉENNES

Évaluation conjointe 3C

En 2005, une série de six évaluations a été lancée par le groupe des responsables des servicesd’évaluation de la coopération au développement des États membres de l’UE et de la Commissioneuropéenne (UE-HES), afin de voir comment ont été appliqués les principes de coordination, decomplémentarité et de cohérence (“les 3C”) consacrés par le Traité de Maastricht en matière de politiquede développement. Chaque étude a été conduite de manière décentralisée et placée sous laresponsabilité d’un chef de file et d’un comité de pilotage :

Évaluation1. Utilisation de l’article 96 de l’accord de Cotonou et cohérence entre politique étrangère et

politique de développement.2. Coordination des initiatives sur le renforcement des capacités commerciales.3. Coordination et complémentarité de l’aide humanitaire.4. Mécanismes de promotion de la cohérence des politiques en faveur du développement.5. Coordination, cohérence et complémentarité pour l’établissement des documents stratégiques

pays (DSP).6. Coordination et complémentarité pour l’aide au développement au niveau local.

La France a été associée à l’ensemble des études et elle a financé et coordonné celle sur les mécanismes de promotion de la cohérence des politiques en faveurdu développement (PCD), avec l’appui de l’Allemagne, de la Belgique, des Pays-Bas et de la Commission européenne. Cette évaluation a été basée sur une étudeexploratoire, dont il a été rendu compte dans le bilan 2005, qui a permis de préciser le cadre conceptuel (cohérence intra-gouvernementale) et d’identifier troistypes de mécanismes pertinents pour l’évaluation (déclarations de politique générale, mécanismes institutionnels et administratifs, et dispositifs d’information,d’analyse et de conseil). L’évaluation a été réalisée à partir d’une étude documentaire, complétée par des entretiens avec des fonctionnaires, parlementaires,universitaires européens intéressés par ces questions, et par sept études de cas dont celle du CICID pour la France1.

Enseignements généraux tirés de l’évaluation :1/ Quinze ans après Maastricht et une longue période de tâtonnements, l’Europe est entrée dans une phase d’expérimentation de mécanismes concrets de PCD, maisavec des mandats et des objectifs encore imprécis et des modalités opérationnelles non stabilisées.2/ Plus que Maastricht, c’est l’attention portée par le CAD de l’OCDE à ce thème, à la fin des années 1990, qui semble avoir marqué le vrai tournant, avec la décisiond’introduire la cohérence des politiques dans la procédure de revue par les pairs.3/ Les interactions entre les différents acteurs (formels et informels) sont très importantes et il est nécessaire de combiner les mécanismes par une approche systémiquetenant compte du contexte de gouvernance politique (consensus ou majorité) propre à chaque pays.4/ Une approche inclusive, une bonne coordination institutionnelle, une inflexion politique forte et les échanges d’expériences sont essentiels à la promotion de la CPD.

Étude de cas CICID :1/ En France, le débat sur la CPD concerne encore surtout les spécialistes du développement. Les thèmes principaux (commerce, agriculture, pêche, immigration) sontperçus comme relevant de la compétence communautaire et devant donc être traités à ce niveau. Ce faisant, on oublie que la cohérence européenne dépend en dernierressort de ce que les États membres veulent en faire. Un débat national volontariste serait un moteur de changement décisif.2/ Outre les travaux du CAD et les progrès du consensus européen, le débat sur les biens publics mondiaux a beaucoup contribué, en France, à sensibiliser les esprits etl’opinion, en avançant la notion d’intérêts partagés. À noter aussi l’apport de la LOLF, avec les objectifs de cohérence mentionnés dans le Document de PolitiqueTransversale depuis 2006.3/ Le CICID est bien intégré au contexte institutionnel et administratif français mais son rôle est limité en l’absence de mandat spécifique pour traiter de CPD. S’il a traitédes questions d’immigration et de développement, c’est en raison de l’agenda politique national et il n’a traité que de manière évasive du commerce ou de la sécurité. Ilpourrait travailler plus efficacement sur ces questions avec le SGAE.

Chef de filePays-Bas

AIDCOECHO

France (MAEE)Royaume-Uni

Suède

PRINCIPAUX CONSTATS ET ENSEIGNEMENTS DE

L’ÉVALUATION

Page 10: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

4/ Les exemples concrets de CPD traités par le CICID dépendent d’une impulsion politique forte (la plupart du temps présidentielle) et de l’existence d’intérêts partagésou de l’absence de conflit. Les arbitrages sont rendus au cas par cas, en fonction du sujet, mais cette flexibilité est une arme à double tranchant. Le CICID est en mesurede s’adapter à une alternance politique mais il est aussi très dépendant des impulsions venant de la Présidence.5/ Les réseaux informels au sein des pouvoirs publics (commerce/développement ou agriculture/développement) ont contribué à élargir les débats sur la CPD. Les liensentre le CICID et d’autres mécanismes associés au débat sur la cohérence, comme le HCCI, devraient être renforcés. Le CICID devrait s’alimenter en permanence desanalyses et des avis d’instances consultatives, d’organismes de recherche et d’organisations de la société civile.

Recommandations générales :1/ L’UE et ses États membres devraient rapidement dépasser le stade expérimental actuel. Les efforts réalisés dans certains pays et au sein des institutions européennesdevraient nourrir la réflexion de ceux qui ne se sont engagés que plus récemment ou timidement dans cette voie.2/ Pour passer des engagements aux actes, il faut une volonté politique forte, large et soutenue dans la durée. Il faut que cette volonté politique soit bien ancrée dans ledébat parlementaire et qu’il existe un fort soutien de l’opinion en faveur de l’aide au développement ou que des mesures soient prises pour le susciter.3/ Il est essentiel de développer les trois types de mécanismes, de conjuguer leur action et de leur donner des mandats plus clairs, une stratégie de long terme et desressources adéquates. Il est impératif d’associer les parlements, la société civile, les universitaires et les médias.4/ Le regroupement des responsabilités de la coopération au développement au sein d’une seule entité ministérielle est de nature à faciliter la promotion de la CPD.

Recommandations de l’étude de cas CICID :1/ Inviter le CICID à traiter explicitement les questions de CPD dans ses délibérations et les faire éventuellement figurer dans son mandat ;2/ Réorganiser et renforcer les structures interministérielles appelées à traiter de CPD : le secrétariat conjoint du CICID pourrait assurer le suivi de la CPD en conduisantdes travaux d’analyse et de sensibilisation et en associant davantage les ministères non directement en charge du développement aux travaux du secrétariat. Le CICIDpourrait aussi se réunir plusieurs fois par an au niveau des directeurs de cabinet afin de devenir un mécanisme plus fonctionnel ;3/ Donner corps à l’engagement d’assurer la CPD dans le cadre des principaux outils existants de la coopération au développement que sont les “documents cadres departenariat” (DCP) et les stratégies sectorielles ;4/ Mettre en place des outils de supervision et d’évaluation de la CPD (RAP, évaluations et études de cas, ...) et faire du HCCI, en liaison avec d’autres acteurs (ONG,Parlement), un outil de production de connaissances, d’avis et de propositions sur ce sujet à l’intention du CICID.

L’étude sur la cohérence des politiques en faveur du développement a été mise en ligne, comme les six autres études “3C” sur le site Web :http://www.three-cs.net ouvert à cet effet. Un atelier de restitution de l’ensemble des études, destiné aux services opérationnels, a été organisé

à Bruxelles le 14 juin 2007 afin de commencer à examiner les implications politiques de l’initiative dans la perspective d’en saisir le Conseil des ministres de l’UE prévuen novembre sous présidence portugaise.

11

SUITES

RECOMMANDATIONS

Page 11: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

Le Programme pour le Développement Municipal (PDM-Ouest) a été créé en 1992 sous l’impulsion des bailleursde fonds (Banque mondiale et Coopération française) avec pour objectif de faciliter la préparation et l’exécutiondes politiques de décentralisation et de déconcentration en Afrique de l’Ouest, afin de renforcer la capacité desmunicipalités en matière de gestion urbaine.En 2001, le PDM devient le Partenariat pour le Développement Municipal avec un conseil d’administration élargimais composé exclusivement de représentants d’associations d’élus. Le PDM dispose d’une équipe d’une dizainede cadres de haut niveau qui gèrent et animent ses outils à travers huit programmes stratégiques en prise directeavec les problématiques de la décentralisation.Depuis sa création, le PDM a mobilisé des financements importants. Son budget exécuté s’élève à 7,654 milliardsde FCFA depuis son démarrage à 2005, et à environ 9 milliards de FCFA avec l’assistance technique française.Trois bailleurs contribuent à 90% des budgets exécutés, hors assistance technique : Agence canadienne de

développement international - ACDI (42%), MAEE (33%) et Commission européenne (15%).

La mise en place du PDM s’est révélée pertinente en tant qu’outil régional de promotion de la décentralisation. Le PDM a été le fer de lance de la structuration du mouvementmunicipal en Afrique de l’Ouest et du Centre (appui à la mise en place des associations nationales d’élus ou de collectivités locales, création de la CGLUA - Cités etgouvernements locaux unis d’Afrique). Il a également contribué à maintenir la décentralisation dans l’agenda politique notamment grâce aux rencontres d’Africités tous lestrois ans et a favorisé le dialogue politique entre élus et gouvernements.Si le PDM a bénéficié de moyens importants sur la durée et d’une équipe de cadres de haut niveau, par contre, malgré des orientations générales correctes, il n’a pas réussià assurer une cohérence et une synergie de ses actions tant au niveau interne (cloisonnement entre ses programmes, dispersion des actions, modes opératoires souventinadaptés) qu’au niveau externe (liens limités avec les programmes nationaux dans les différents pays). Son efficacité a été faible au niveau des différents programmes menés,même si des actions pilotes, ainsi que la qualité technique de certains produits, sont à souligner. Le PDM a été peu efficient au regard des moyens mobilisés.L’impact du PDM sur les processus de décentralisation et la capacité des municipalités est donc faible, voir marginal.Enfin, la pérennité du PDM en tant qu’organisation africaine portée par les élus est loin d’être assurée.

Recommandations du consultant• La mission du PDM serait à recentrer sur des fonctions simples et maîtrisables.• Le PDM serait à configurer comme un centre de ressources avec deux pôles permettant le décloisonnement des programmes :

- appui au renforcement des collectivités locales et à leurs capacités à rendre des services aux populations ;- accompagnement des processus de décentralisation.

• La nature du PDM devrait être débattue, en envisageant dans le contexte actuel une ouverture à une gestion collégiale.• Le champ géographique du PDM pourrait être limité à l’Afrique de l’Ouest, limitation nécessaire pour une meilleure efficience.

Recommandations du bureau de l’évaluation• Contribuer à une meilleure gouvernance du PDM ;• Prendre en compte les besoins et les attentes des associations de pouvoirs locaux ;• Renforcer le suivi-évaluation des appuis accordés.

12

RECOMMANDATIONS

Évaluation conjointe ACDI/MAEE (1991-2006)

PARTENARIAT POUR LE DÉVELOPPEMENT MUNICIPAL (PDM)

Page 12: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

13

La Commission européenne et la France, qui représentent respectivement 17% et 16% du montant total de l’aidepublique au développement au Mali entre 1996 et 2004, se sont associées pour mener conjointement l’évaluationde leurs coopérations avec ce pays.Le rapport estime que, si la réduction de la pauvreté constitue l’objectif global des coopérations communautaireet française, le ciblage des stratégies de la Commission et de la France sur cette dimension est insuffisant.L’évaluation constate que l’élaboration et la mise en œuvre des stratégies de la Commission et de la France ontfait l’objet d’une coordination dont l’intensité a substantiellement augmenté au fil du temps. La coordination n’estcependant pas encore suffisamment généralisée pour pouvoir faire état d’une stratégie visant à maximiser lescomplémentarités et les synergies potentielles entre les coopérations communautaire et française.

1. procéder à une analyse approfondie de la relation entre croissance et réduction de la pauvreté ;2. aborder la question du cadre temporel dans lequel s’inscrivent les stratégies de coopération française et communautaire, et hiérarchiser les secteurs d’interventionsen conséquence ;3. poursuivre et renforcer les appuis à la préparation et à la mise en œuvre du CSLP ;4. accorder une attention plus grande à la problématique du développement du secteur privé ;5. mettre en place un système d’appui budgétaire où les programmes macroéconomiques et les programmes sectoriels s’articulent et se complètent ;6. compléter l’appui budgétaire par des aides projet et des actions de proximité, en particulier vers les segments les plus pauvres de la population ;7. systématiser la recherche de complémentarités entre les interventions de la Commission et de la France au niveau des stratégies ;8. exploiter le plus possible les potentialités existantes.

(les numéros correspondent)

1. Participation à l’atelier de lancement de l’étude nationale sur la pauvreté (ELIM) et soutien accordé (AT auprès de la cellule technique du CSLP et à AFRISTAT) ;2. La distinction entre le moyen terme (CSLP) et le long terme (prospective) est déjà prise en compte sur une durée de cinq années dans le cadre du DCP. Des interventionsen faveur de l’éducation tertiaire et de la formation professionnelle démarrent en 2007 ;3. Actuellement, les assistants techniques français et de la Commission européenne auprès de la cellule du CSLP peuvent orienter leurs appuis dans le sens préconisépar l’évaluation ;4. L’appui au secteur privé est une priorité du DCP et un poste d’assistant technique conseiller du Ministre de la promotion des Investissements et des PME - PMI, doitêtre ouvert en 2007; 5. Un arrangement spécifique relatif à l’aide budgétaire générale en appui au CSLP doit être signé en juin 2007 ;6. Plusieurs instruments offrent des appuis directs et concrets aux populations les plus pauvres (Fonds Social de Développement, Programme Concerté Santé Mali,Programme de développement Social Urbain, Codéveloppement) et un nouveau FSP axé sur la jeunesse est en cours de préparation ;7. Un plan d’action pour l’efficacité et l’harmonisation de l’aide au Mali (Déclaration de Paris) a été accepté en 2007 et une feuille de route des bailleurs est en préparation ;8. Une réforme des groupes thématiques en réponse à l’exigence d’un suivi efficace du CSLP II est en cours.

SUITES

RECOMMANDATIONS

LA COOPÉRATION DE LA COMMISSION EUROPÉENNE ET DE LA FRANCEAVEC LE MALI

Évaluation conjointe stratégie pays (1995-2005)

Page 13: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

14

Cette évaluation est motivée par les importantes mutations intervenues dans le paysage audiovisuel et média-tique arabe depuis une dizaine d’année et par les réformes en cours dans plusieurs pays visant à renforcer ladémocratie et l’État de droit. Elle doit permettre à la France d’adapter sa politique audiovisuelle et médiatiqueaux nouveaux enjeux de cette zone d’influence traditionnelle.

L’évaluation met en évidence un déficit d’orientation stratégique de la politique audiovisuelle française dans lemonde arabe, alors que les financements limités et la multiplicité des objectifs rendent au contraire nécessairel’établissement de priorités pour faire des arbitrages. Elle souligne également les insuffisances dans le suivides actions entreprises et de leurs résultats, ce qui se traduit par un manque d’information systématique etfiable. Elle note aussi la participation limitée des acteurs français aux programmes de bailleurs de fondsinternationaux, et le manque de coordination entre les différents acteurs de la coopération audiovisuelle et

médiatique. Enfin, les évaluateurs pensent que le soutien de programmes francophones dans des pays non-francophones peut parfois s’avérer contre productif.

En revanche, les évaluateurs insistent sur l’atout que représente le réseau des attachés audiovisuels, qui facilitent la mise en place de partenariats entre acteurs locauxet opérateurs français. L’évaluation relève néanmoins la faible reconnaissance institutionnelle de ce rôle d’intermédiaire, ainsi que le turn-over des attachés audiovisuelsqui ne favorise pas la continuité des actions mises en œuvre.

Les évaluateurs soulignent enfin la qualité et la compétitivité des prestations françaises de formation et d’assistance technique offertes aux partenaires de la coopérationaudiovisuelle et médiatique.

• créer un comité consultatif de la politique audiovisuelle extérieure chargé d’élaborer un plan stratégique pluri-annuel fixant les objectifs généraux et opérationnels dansce domaine ;

• concentrer les financements sur les objectifs stratégiques définis ;• valoriser et institutionnaliser le rôle des attachés audiovisuels comme intermédiaires entre acteurs locaux et français/européens dans le domaine audiovisuel ;• mettre en place un dispositif de suivi des actions mises en œuvre et des résultats de ces actions ;• produire un “rapport diffusion” présentant les résultats d’audience des chaînes de télévision et des radios françaises à l’étranger ;• prendre en compte le degré d’implication des autorités des pays partenaires dans la sélection des actions de coopération à mener afin d’assurer la durabilité de

ces actions ;• déterminer clairement les instruments, acteurs et pays où l’audiovisuel doit être mis au service de la francophonie ;• mettre en ligne un site Internet et Intranet pour permettre aux différents attachés audiovisuels d’échanger ;• renforcer le rôle des missions audiovisuelles régionales ;• informer systématiquement les postes des activités de terrain des opérateurs et acteurs publics dans les pays correspondants.

RECOMMANDATIONS

ÉVALUATION DE LA COOPÉRATION AUDIOVISUELLE ET MÉDIATIQUE FRANÇAISE AU PROCHE-ORIENT, AU MOYEN-ORIENT ET AU MAGHREB

(1995-2005)

ASSOCIATIONS : LE PRINCIPE D’UNE ÉVALUATION EXTERNE

L’exercice d’évaluation, qui se distingue du contrôle (vérification de la légalité), de l’audit (conformité aux standards administratifs et professionnels), ou de l’inspection, a comme objectif

d’optimiser les résultats, d’apprécier les effets et les impacts, et d’expliquer les écarts.

Ainsi la pratique de l’évaluation de politiques publiques progresse dans une perspective d’amélioration du service public, de recherche d’efficacité et en vue d’instaurer la redevabilité

(rendre compte).

Le Secrétaire général du ministère des Affaires étrangères et européennes a décidé (par note circulaire du 16/12/05) que, dans le cadre de l’attribution de subventions aux associations,

il sera procédé à une évaluation externe, dans le cas des subventions supérieures à 300.000 €.

Le principe d’une évaluation tous les trois ans est retenu. Le comité des évaluations de décembre 2006 a décidé d’inscrire au programme des évaluations la réalisation des évaluations

suivantes : Bureau export ; TV France international (TVFI) ; UniFrance ; Cités Unies France (CUF) ; F3E.

Page 14: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

15

La politique française de coopération linguistique et éducative, qui se donne pour priorité stratégique la promotiondu plurilinguisme et du français comme langue de communication au sein de l’UE, s’est déclinée durant la période1995-2005 selon 5 axes principaux que l’on retrouve, à des degrés divers, dans tous les pays d’Europe médiane :appui aux sections bilingues des lycées, à la formation continue des enseignants, aux établissements de l’AEFE,aux Départements d’études françaises et aux filières universitaires, à l’enseignement du français aux fonctionnairesen charge des dossiers européens dans le cadre du Plan pluriannuel d’action pour le français. Les évaluateursproposent une analyse et des recommandations spécifiques pour chacun de ces secteurs.

De manière générale, ils estiment que :• Le dispositif mis en place est pertinent : il correspond bien à la volonté politique affichée d’accroître la partd’influence dans les nouveaux pays membres de l’UE.

• Le dispositif, historiquement cohérent, l’est moins aujourd’hui : sa “complétude” (qui lui conférait une grande cohérence interne et externe quand il s’agissait, dans les années 90,d’assurer la promotion du français comme langue de communication/LV2) constitue aujourd’hui une charge, dans la mesure où la demande se porte désormais surtout sur lefrançais comme langue de distinction et ne s’inscrit pas dans la logique de filière telle que conçue dans notre offre de départ.• L’efficacité du dispositif est mitigée : elle est réduite si l’objectif était de promouvoir le français comme LV2 “majeure”, puisque notre langue n’arrive qu’en troisième position,loin derrière l’anglais et l’allemand ; elle est importante si l’objectif est de promouvoir le français auprès des élites politiques, administratives, culturelles et économiques.• L’efficience du dispositif de coopération est forte : actuellement, les enveloppes et les effectifs sont calibrés au plus juste ; l’efficience pourrait encore être renforcée, à budgetglobal constant, en procédant à certaines réallocations sectorielles et géographiques au profit des pays et des activités où les avantages comparés sont les plus grands.

Compte tenu de cette analyse, il s’agirait donc à l’avenir, de :

• spécialiser la coopération dans les secteurs d’excellence où elle possède des avantages comparés et calibrer le dispositif pour répondre au mieux à la demande des élites ;• adapter la coopération à des demandes diversifiées : notamment allouer les budgets en fonction de l’importance géostratégique des partenaires et du nombre d’apprenants ;• mieux associer les coopérations linguistique et culturelle, la seconde participant du renforcement de la première ;• coordonner davantage les actions mises en œuvre avec les partenaires européens et francophones, pour des raisons évidentes de rationalisation des choix budgétaires mais

aussi pour tenir compte du nouveau contexte politique (UE, Francophonie).

PRINCIPALESRECOMMANDATIONS

ÉVALUATION RÉTROSPECTIVE DE LA COOPÉRATION ÉDUCATIVE ET LINGUISTIQUEFRANÇAISE AVEC LES NOUVEAUX PAYS MEMBRES DE L’UNION EUROPÉENNE

(1995-2005)

APPUI MÉTHODOLOGIQUE DU BUREAU DE L’ÉVALUATION

En 2006, le bureau de l’évaluation est intervenu sur plus de 70 actions d’appui et de conseil à différents services de la DgCiD et à certains SCAC. Le plus souvent, il s’agit de satisfaire une demande

concrète :

- préparation et lancement d’une évaluation, notamment par une aide à la rédaction de termes de référence ;

- identification d’une expertise (en lançant un appel à manifestation d’intérêt auprès des cabinets et consultants individuels répertoriés dans le fichier du bureau) ;

- conseils pour la sélection et la contractualisation.

Les demandes peuvent être adressées à : [email protected]

Ce service de questions-réponses vient en complément du guide de l’évaluation, du forum et des formations à l’évaluation. Il est également accessible à nos partenaires (et le cas s’est présenté

pour l’association F3E-ONG, la coopération japonaise, la Société française d’évaluation, etc.).

Dans certains cas, l’appui méthodologique s’est prolongé sur toute la durée de l’évaluation, jusqu’à la publication.

Page 15: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

16

Des stages de formation à l'évaluation ont été organisés à Paris en septembre 2006et à Dakar en février 2007.

• Le stage parisien relatif à la méthodologie et à la réalisation d'évaluations deprogrammes a été organisé avec la DRH, du 4 au 8 septembre 2006.

La formation était animée par un cabinet indépendant, avec la contribution desmembres du bureau de l'évaluation de la DgCiD et celle de partenaires du MAEE (AFD,F3E, présidents de Comités de pilotage…).

Réunissant une quinzaine de participants, dont des agents de Chine, du Laos et duVenezuela, la formation visait à clarifier les objectifs et le processus de l'évaluation, àfaire connaître les principes et les méthodes pratiquées notamment à la DgCiD, et àpréparer les participants au cycle de l'évaluation. Elle contribuait également àpositionner cet outil dans les pratiques de gestion de projets et celles de coopérationen partenariat. Par ailleurs, des ateliers autour de la construction des questionsévaluatives et des indicateurs de performance ont été organisés.

Ce type de formation pourra être renforcé en axant la réflexion sur l'évaluation en tantqu'outil méthodologique pour l'aide à la décision dans le travail quotidien. Ces stagespourront également être complétés par des actions d'information régulières surl'évaluation pour l'ensemble des agents, et par l'extension de stages au sein desAmbassades et pour les “nouveaux partants”.

• Le stage régional de cinq jours à Dakar a réuni une vingtaine de personnes(attachés de coopération, assistants techniques), en provenance de cinq pays de lasous-région : Guinée Conakry, Maroc, Mauritanie, Niger et Sénégal.

La formation, confiée à un prestataire extérieur avec l'appui technique du bureau del'évaluation, était subdivisée en deux phases : un séminaire de trois jours destiné àdélivrer les notions théoriques de l'évaluation, suivi d'un atelier pratique de deux joursportant sur des cas d'évaluations proposés par les stagiaires.

Les principales conclusions de l'évaluation “à froid” (trois mois après) sontencourageantes :

- une majorité des participants a eu l'occasion de s'impliquer - à la marge - dans desévaluations (le guide de l'évaluation est un complément utile au stage) ;

- les participants estiment avoir désormais une meilleure compréhension des concepts,une plus grande maîtrise des méthodes, et une plus grande confiance entre évaluateurset évalués s'est établie ;

- la formation à l'évaluation ne forme pas uniquement sur l'évaluation stricto sensu,elle déborde sur d'autres champs de la réflexion car la méthode évaluative oblige àconceptualiser, à problématiser, à organiser, à planifier...

➔ FORMATION À L’ÉVALUATION

À la suite de la validation du rapport d’évaluation par le Comité de pilotage, la restitutionest l’occasion d’un débat sur les orientations de la coopération évaluée. Elle a pourambition de rendre compte, à l’ensemble des partenaires, des conclusions et desrecommandations de l’évaluation qui seront retenues ou non par le MAEE. Elle devraitainsi concourir à l’harmonisation de nos politiques de coopération.

S’agissant d’études réalisées par des cabinets indépendants, leurs résultats ne vontpas forcément dans le sens des analyses et des orientations de l’administration. Aussi,sont-elles soumises, en amont, à l’avis des services et des postes concernés, etpeuvent dès lors servir de base à la décision finale de la DgCiD sur la coopération àconduire. La décision du MAEE est souvent annoncée, lors de la séance de restitution,mais parfois seulement esquissée. Dans ce cas, la séance de restitution est suivie deréunions de réflexion et/ou de groupes de travail : poursuite ou réorientation d’unepolitique sectorielle, définition d’une stratégie sectorielle, généralisation ou interruptiond’une action ou d’un instrument…

La DgCiD fonde sa démarche de coopération sur l’exigence de partenariat qui induitdes objectifs conjoints, des responsabilités partagées, des engagements réciproqueset une obligation de rendre des comptes de manière claire. Les restitutions s’adressentdonc aux représentants d’organisations qui collaborent à cette coopération pouratteindre des objectifs convenus en commun.

La restitution de l’évaluation de la coopération française avec la République deGuinée équatoriale (RGE) dans son contexte régional illustre ce cas de figure.

Une restitution de niveau interne à la coopération française - les partenaires habituelsfrançais y étaient invités, dont le MINEFI et les administrations techniques - a décidé queles principaux bailleurs bi et multilatéraux de la RGE devaient, sinon partager, du moinsconnaître les analyses et recommandations de l’évaluation. Des réunions de restitutionont donc été organisées notamment avec la RGE, l’Espagne et l’Union européenne.

Dans un souci de transparence et de concertation, les responsables équato-guinéens ont été informés des conclusions de l’évaluation. L’objectif était de favoriserune coopération rénovée, dont les charges et les responsabilités devraient êtrepartagées. L’évaluation a ainsi permis de redynamiser le dialogue entre nos deux payset a servi de base à l’élaboration du DCP.

L’Espagne a été approchée tant à Malabo qu’à Madrid (MAEC). La volonté detransparence manifestée par la France a permis de renforcer le dialogue avec lacoopération espagnole. Il a donc été procédé à un échange d’informations sur lesdifférentes stratégies adoptées ou à préciser dans les secteurs considérés commeprioritaires par chaque coopération, les resituant dans le contexte européen. Lesentretiens ont privilégié les thèmes susceptibles de conduire à une, voire plusieursactions complémentaires ou conjointes en RGE1. L’Espagne a par ailleurs tenu comptede la restitution française pour préparer son DCP avec la RGE.

La concertation avec les autre multilatéraux représentés en RGE et à l’échelonrégional (UE, NU, BM2) s’avérait d’autant plus nécessaire que l’UE n’avait pas reprisofficiellement sa coopération avec la RGE. Le partage des analyses françaises sur cepays a conduit l’UE à rétablir les liens avec la RGE et à envisager de reprendre certainsprojets interrompus. L’UE a d’ailleurs décidé de préparer le programme du 10ème FEDavec la RGE, avec la gouvernance comme secteur de concentration.

Grâce à l’information apportée dès le démarrage à l’ensemble des partenaires,l’échange sur la restitution de l’évaluation a été perçu très favorablement, allant dansle sens de la recherche de cohérence, de coordination et de complémentarité (3C)entre les coopérations bi et multilatérales.

1) Cf. la réflexion sur l’état de l’apprentissage de deux “langues officielles”, face à l’entrée en force de l’anglais (qui deviendrait une “seconde langue” sur l’île), l’utilité du français comme langue d’ouverture commerciale avec la sous-région francophone, etc.2) La RGE envisageait d’élaborer un DSRP avec le soutien de la Banque mondiale, aussi certains des points soulignés par l’étude pouvaient avoir leur utilité -les coopérations multilatérales y étaient d’ailleurs sensibles.

➔ LA RESTITUTION, UNE ÉTAPE IMPORTANTE DU PROCESSUS D’ÉVALUATION

Page 16: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

17

Evalunet (réseau du CAD-OCDE sur l’évaluation du développement) a engagé uneréflexion sur la qualité des évaluations. Un groupe de travail au sein d’Evalunet aproposé d’adopter des standards de qualité. Il s’agit, dans une phase de test, deconforter l’utilisation de bonnes pratiques par les agences d’aide en matièred’évaluation de politiques publiques. Un questionnaire comportant 32 questionsclassées en 10 rubriques permet d’apprécier, tant au regard du processus que sur leproduit (rapport), le respect de normes, de principes déontologiques et deprésentation des résultats.

Le bureau de l’évaluation, qui s’efforce d’appliquer ces standards de qualité dans lecadre des évaluations qu’il conduit directement, a mené une étude sur un échantillond’évaluations finales de projets FSP (18) qui sont conduites par les services et lespostes. Les principaux résultats de cette étude, qui a été réalisée par des étudiant(e)sde Master, témoignent d’une diffusion progressive de la culture de l’évaluation au seinde la DgCiD et d’un soin tenace des experts pour systématiquement appliquer lescritères de l’évaluation. Cependant, la qualité des évaluations de projets reste encored’un niveau moyen et de sérieux efforts sont nécessaires pour l’améliorer.

• La justification (pourquoi et pour qui), la finalité (pour les acteurs, les décideurs oules bénéficiaires) et les objectifs, ne sont pas toujours repris dans le rapport final. Lestermes de référence se contentent le plus souvent de renvoyer aux principes del’évaluation en fin de projet et à l’application des critères du CAD.

• Le contexte (stratégique, institutionnel et sociopolitique) est généralement bienprésenté, mais parfois le projet lui-même n’est pas exposé de sorte qu’un lecteurprofane ne dispose pas des principaux éléments sur les actions prévues et réalisées.

• Les méthodes d’évaluation ne témoignent pas d’une grande originalité, secontentant de retenir un exercice en trois phases (consultation de documents, visiteset interviews, rédaction), d’autant que le rapport ne reprend pas les propositionsinitiales et ne met pas en annexe des éléments présentant les modes d’investigation(visites, réunions de groupes, données statistiques, échantillonnage, situationscontrefactuelles, indicateurs, etc.). La fiabilité et la précision des sourcesd’information ne sont pas garanties, les limites ou lacunes rarement rappelées.

• Les méthodes d’analyse des résultats sont surtout limitées par l’absenced’indicateurs. Les distinctions entre les conclusions, les recommandations et lesenseignements dégagés n’apparaissent pas toujours de manière explicite.

• L’indépendance des évaluateurs et le respect des principes déontologiquessemblent correspondre aux normes en vigueur, mais il est difficile de juger de cesaspects à la seule lecture du rapport d’évaluation.

• Les rapports ne font qu’exceptionnellement référence à un dispositif de contrôle dela qualité. À noter que la mise en place d’un comité de pilotage ou d’un groupe deréférence peut jouer ce rôle. D’ailleurs, on doit signaler aussi que les élémentsempruntés au guide de l’évaluation et reportés dans les termes de référence(notamment les annexes requises) sont généralement omis dans le rapport final.

➔ LA QUALITÉ DES ÉVALUATIONS

1) http://www.oecd.org/dataoecd/34/21/37854171.pdf

La qualité d’une évaluation procède de trois étapes essentielles :

(i) le soin apporté à la rédaction des termes de référence (questionnement, expertise, adéquation des moyens et des attentes) ;

(ii) le suivi vigilant de l’exercice par un groupe de référence, et

(iii) la vérification des normes attendues avec la grille contrôle qualité (cf. annexe 12 du guide de l’évaluation).

Page 17: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

1. Évaluations conduites directement par le bureau EVA

• évaluation de la coopération française avec le Maroc (*, en cours d’édition)

• évaluation du Centre culturel André Malraux de Sarajevo (*)

• évaluation de la coopération française avec le Brésil (1997-2006) (*)

• évaluation des interventions de la coopération et des ONG françaises dans lescontextes de crise et de fragilité institutionnelle, notamment en Afghanistan, Guinéeet Haïti (2000-2007) (*)

• évaluation de l’aide alimentaire française (**)

• évaluation du programme DUO-France en Asie du Sud-Est (programme de mobilitéenseignante et étudiante) (**)

• évaluation des relations partenariales franco-camerounaises (1996-2006) (**)

• évaluation du projet FSP mobilisateur bi-multi “Protection de l’enfance”, réalisé enpartenariat avec l’UNICEF (**)

• évaluation conjointe (France, Belgique, Communauté européenne) de l’aideextérieure apportée au Niger (***)

• évaluation du domaine des technologies de l’information et de la communicationpour l’enseignement (TICE) dans la ZSP (2001-2007) (***)

• évaluation de la coopération artistique, culturelle et audiovisuelle avec Taiwan(1994-2006) (***)

• évaluation des projets financés sur le FSD (2001-2002) au Vietnam (***)

• évaluation de l’année culturelle du Brésil en France (***)

• évaluation de la coopération française avec le Mozambique (***)

• évaluation de l’assistance technique au Cambodge (***)

2. Évaluations auxquelles le bureau EVA est ou sera associé

• évaluation de l’AID 13 et 14 (DGTPE) (*)

• état des lieux de l’assistance technique (AFD) (*)

• évaluation de la mise en œuvre de l’agenda sur l’efficacité de l’aide, Déclaration deParis (CAD, OCDE) (**)

• évaluation de CUF (AECL) (**)

• évaluation d’UniFrance (DAE) (***)

• évaluation de F3E (MAAIONG) (***)

Sont en cours (*), lancées (**) ou vont l’être prochainement (***), lesévaluations suivantes :

Le bureau de l’évaluation fonctionne avec un programme établi en liaison avec les postes et les services. Ce programme, arrêté par le Comité desévaluations présidé par le Directeur général de la Coopération internationale et du Développement, fournit le cadre de travail du bureau.

➔ ÉVALUATIONS EN COURS, LANCÉES ET À LANCER

18

Évaluations finales

• FSP 1999-21 “Appui à la réforme juridique et judiciaire à Madagascar”

• FSP 1999-34 “Gestion durable des ressources halieutiques et aménagement del’environnement marin en Mauritanie”

• FSP 2000-65 “Khuluma, développement des radios communautaires en Afrique duSud”

• FSP 2000-78 “Programme d’appui à la professionnalisation de l’enseignementsupérieur au Gabon (PAPESGA)”

• FSP 2000-90 “Projet d’appui aux réformes du droit en Éthiopie”

• FSP 2000-91 “Appui à la modernisation et au renforcement des capacités de lafonction publique togolaise”

• FSP 2000-107 “Centre de formation en maintenance industrielle à Hanoi”

• FSP 2000-112 “Appui au programme décennal de développement de la justice au Mali”

• FSP 2000-123 “Développement d’une démarche qualité dans le réseau africain etmalgache des établissements de formation à la gestion des entreprises (RAMEGE)”

• FSP 2000-131 “Appui au développement de l’enseignement du français au Vietnam”

• FSP 2000-137 “Recherche pour la mise au point de systèmes de cacao culturecompétitifs et durables en Afrique”

• FSP 2000-157 “Jeunesse et vie associative pour l’insertion sociale (JEVAIS)”

• FSP 2001-12 “Formation des inspecteurs et cadres éducatifs au Vietnam (FICEV)”

• FSP 2001-19 “Appui au Centre national de formation aux métiers de l’eau et del’environnement”

• FSP 2001-20 “Recherche industrielle, évaluation du programme ’Valorisation de larecherche et mise à niveau de l’entreprise marocaine’”

• FSP 2001-74 “Appui à l’audiovisuel congolais”

• FSP 2001-81 “Appui à l’enseignement secondaire technique et à la formationprofessionnelle au Tchad”

• FSP 2001-84 “Décentralisation et déconcentration au Mali”

• FSP 2001-99 “Projet d’appui à la gestion durable des zones humides du sud Benin,lagunes côtières”

• FSP 2001-107 “Codéveloppement au Mali”

• FSP 2001-109 “Gestion décentralisée des ressources naturelles à Madagascar”

• FSP 2001-129 “Appui à la rénovation de l’enseignement du français dans lesystème éducatif nigérian”

• FSP mobilisateur 2001-149 “Amélioration de la qualité et de l’accès aux soinsobstétricaux d’urgence dans les pays en développement (AQUASOU)”

• FSP 2001-157 “Appui à l’enseignement technique et à la formation professionnelleen République centrafricaine”

• FSP mobilisateur 2002-118 “Soutien à la société civile et aux organisations dedéfense des droits de l’homme”

• FSP 2003-18 “Projet d’appui au développement culturel du Rwanda”

• FAC 1999-57 “Appui à la lutte contre le sida au Mozambique”

• Projet GDRN “Gestion décentralisée des ressources naturelles”

• Évaluation de la convention entre le MAEE et le PDM portant sur la mise en œuvreen Afrique Subsaharienne d’actions prévues dans le FSP mobilisateur “Appui aurenouveau des politiques d’aménagement du territoire dans la ZSP”

• Évaluation du dispositif de prévention et de gestion des crises alimentaires au Nigerdurant la crise 2004/2005

Évaluations à mi-parcours

• FSP 1999-88 “Projet d’appui à la filière du livre au Mali (AFLAM)”

• FSP 2001-24 “Appui à la valorisation culturelle de la Mauritanie”

• FSP 2001-128 “Développement des ressources humaines du système national derecherche agricole malien”

• FSP 2001-135 “Développement du réseau des bibliothèques de lecture publique auTogo”

• FSP 2002-5 “Gestion des risques naturels et protection civile au Cameroun (GRINP)”

• FSP 2002-52 “Projet d’appui à la modernisation et à la professionnalisation del’Université de Nouakchott (AMPRUN)”

• FSP 2002-56 “Appui à la modernisation de l’État vietnamien en matière degouvernance économique”

• FSP 2002-92 “Projet d’appui à l’enseignement supérieur en Centrafrique (SUPCA)”

• FSP 2002-127 “Appui à la réhabilitation de la police judiciaire congolaise”

• FSP 2002-157 “Jeunesse et vie associative pour l’insertion sociale au Cameroun”

• FSP 2003-14 “Projet d’appui au PRODEC, modernisation de l’enseignementsupérieur malien”

• FSP 2003-57 “Projet d’appui à la déconcentration et à la décentralisation enMauritanie”

• FSP 2003-64 “Appui au développement des activités socio-éducatives et sportives(PAASES)”

• FSP 2003-90 “Projet d’appui à la diffusion du français en Guinée Équatoriale(PADIF)»

• FSP 2004-72 “La langue française au Cap Vert, vecteur du développement”

➔ ÉVALUATIONS MENÉES PAR LES SERVICES DE LA DgCiD EN 2006

Page 18: LE BUREAU DE L’ÉVALUATION LES NOUVEAUX … · les indicateurs de suivi, en assurant des formations à l'évaluation ; ... Elle fait porter l'analyse sur la stratégie et les politiques,

➔ SIGLES et ACRONYMES

ACDI : Agence Canadienne de Développement International

AECL : Délégation à l'Action Extérieure des Collectivités Locales

AEFE : Agence pour l'Enseignement Français à l'Étranger

AFD : Agence Française de Développement

AFLAM : Projet d'Appui à la Filière du Livre au Mali

AFREA : Association Africaine d'Évaluation

AFRISTAT : Observatoire Économique et Statistique d'Afrique Subsaharienne

AID : Agence Internationale de Développement

AIDCO : Office de Coopération EuropeAid

AMPRUN : Projet d'Appui à la Modernisation et à la Professionnalisation de l'Université de Nouakchott

APD : Aide Publique au Développement

AQUASOU : Amélioration de la Qualité et de l'Accès aux Soins Obstétricauxd'Urgence

ASI : Association de Solidarité Internationale

AT : Assistance Technique

BasD : Banque Asiatique de Développement

BERD : Banque Européenne pour la Reconstruction et le Développement

BID : Banque Interaméricaine de Développement

BM : Banque Mondiale

CAD : Comité d'Aide au Développement

CCD : Commission Coopération Développement

CGLUA : Cités et Gouvernements Locaux Unis d'Afrique

CICID : Comité Interministériel de la Coopération Internationale et du Développement

CME : Conseil Mondial de l'Eau

COFECUB : Comité Français d'Évaluation de la Coopération Universitaire et Scientifique avec le Brésil

CPD : Cohérence des Politiques de Développement

CPT : Coordination Post-Tsunami

CSLP : Cadre Stratégique de Lutte contre la Pauvreté

CS : Coordination Sud

CTF : Fonds Fiduciaires d'Assistance Technique

CUF : Cités Unies France

DAE : Direction de l'Audiovisuel Extérieur

DAH : Délégation à l'Action Humanitaire

DCP : Document Cadre de Partenariat

DgCid : Direction générale de la Coopération internationale et du Développement

DG ECHO : Direction Générale pour l'Aide Humanitaire de la CommissionEuropéenne

DGTPE : Direction Générale du Trésor et de la Politique Économique

DIPT : Dispositif Interministériel Post-Tsunami

DRH : Direction des Ressources Humaines

DSP : Document Stratégique Pays

ECOS : Programme d'Échanges Scientifiques et Universitaires entre la France et l'Amérique Latine

ELIM : Enquête Légère Intégrée auprès des Ménages

F3E : Fonds pour la promotion des Études préalables,Études transversales et Évaluations

FCFA : Francs CFA

FF : Fonds Fiduciaires

FICEV : Formation des Inspecteurs et Cadres Éducatifs au Vietnam

FSD : Fonds Social de Développement

FSP : Fonds de Solidarité Prioritaire

HCCI : Haut Conseil de la Coopération Internationale

IGD : Institut de la Gestion Déléguée

ISTED : Institut des Sciences et des Techniques de l'Équipement et de l'Environnement

JEVAIS : Jeunesse et Vie Associative pour l'Insertion Sociale

LOLF : Loi Organique relatives aux Lois de Finances

LV2 : Langue Vivante 2

MAEE : Ministère des Affaires Étrangères et Européennes

MAEC : Ministère des Affaires Étrangères et de la Coopération (Espagne)

MAAIONG : Mission d'Appui à l'Action Internationale des ONG

MAP : Ministère de l'Agriculture et de la Pêche

MINEFI : Ministère de l'Économie et des Finances

OCDE : Organisation de Coopération et de Développement Économiques

ONG : Organisations Non Gouvernementales

OMD : Objectifs du Millénaire pour le Développement

PADIF : Projet d'Appui à la Diffusion du Français

PAPESGA : Programme d'Appui à la Professionnalisation de l'EnseignementSupérieur au Gabon

PCD : Promotion de la Cohérence des politiques en faveur du Développement

PDM : Partenariat pour le Développement Municipal

PME-PMI : Petites et Moyennes Entreprises - Petites et Moyennes Industries

PRODEC : Programme Décennal de Développement de l'Éducation

PRUD : Programme de Recherche Urbaine pour le Développement

PS-EAU : Programme Solidarité Eau

RAMEGE : Réseau Africain et Malgache des Établissements de formation à la Gestion des Entreprises

RAP : Rapport Annuel de Performance

RGE : République de Guinée équatoriale

SAFU : Service Administratif et Financier Unique

SCAC : Service de Coopération et d'Action Culturelle

SFE : Société Française d'Évaluation

SUPCA : Projet d'Appui à l'Enseignement Supérieur en Centrafrique

TICE : Technologies de l'Information et de la Communication pour l'Enseignement

TVFI : TV France International

UE : Union Européenne

UNICEF : Fonds des Nations Unies pour l'Enfance

ZSP : Zone de Solidarité Prioritaire

Ministère des Affaires étrangères et européennesDirection générale de la Coopération internationale et du Développement - Bureau de l’évaluation

244, boulevard Saint-Germain - 75303 Paris 07 [email protected] - Tél : + 33 (0)1 43 17 83 74 / Fax : 85 17 - www.diplomatie.gouv.fr

ISBN : 978-2-11-096724-4ISSN : 1249-4844

19

Le bureau de l’évaluation s’efforce de rassembler les évaluations menées par tous les services du ministère.

N’hésitez pas à nous faire parvenir une copie de vos rapports.