Évaluation formative de la gouvernance et des outils de … · 2020-04-29 · d’evaluation, les...

Évaluation formative de la gouvernance et des outils de programmation de la première phase du Fonds Français Muskoka (FFM 2011-2017)

Rapport d’évaluation Soumis au :

Groupe de référence de l’évaluation du FFM

UNICEF Bureau Régional pour l'Afrique de l'Ouest et du Centre Dakar, Sénégal (WCARO)

Préparé par :

ACT for Performance

31 decembre 2019

https://www.google.ca/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwje3J69xf3XAhVE9IMKHQLhCDYQjRwIBw&url=https://ceowatermandate.org/resources/child-rights-global-supply-chains/&psig=AOvVaw27kZ-JcsceJPB554zrjXJu&ust=1512929899344422

ACT FOR PERFORMANCE BV

HNK Ede Horapark Bennekomseweg 41 6717 LL, Ede Pays-Bas + 31 (0)615094443 + 31 (0)8008098

ACT FOR PERFORMANCE SARL

16, Immeuble le Palmier Avenue Lukusa, Commune de Gombe Kinshasa République Démocratique du Congo + 243 819009055 + 243 990065532

ACT FOR PERFORMANCE INC

1330 av Lajoie Montréal (QC) Canada H2V 1P5 + 1 514 923-4992

Rapport d’évaluation de la gouvernance et des outils de programmation de la première phase du Fonds Français Muskoka (FFM 2011-2017) ii

TABLE DES MATIERES

Table des matières ii Liste des acronymes iv Remerciements 5 Résumé Exécutif 6 1. Contexte 12 2. Buts et Objectifs de l’évaluation 15 3. Méthodologie 19 4. Constats et Conclusions préliminaires 24

4.1 Pertinence 25 4.2 Efficacité 34 4.2 Efficience 42 4.4 Coordination 50 4.5 Égalité des genres et réduction des inégalités 64

5 Leçons apprises 68 6 Conclusions 70 7 Recommandations (stratégiques et opérationnelles) 74 Annexe 77

ANNEXE A – MANDATS DES STRUCTURES DE GOUVERNANCE 77 ANNEXE B – THEORIE DU CHANGEMENT 81 ANNEXE C – SCORE CARD 83 ANNEXE D – TABLEAU DE COHERENCE ENTRE LES CRITERES, LES QUESTIONS

D’EVALUATION, LES CONSTATS, LES CONCLUSIONS PRELIMINAIRES, LES CONCLUSIONS FINALES ET LES RECOMMANDATIONS 85

ANNEXE E – STRUCTURE RAPPORTS ANNUELS 92 ANNEXE F – TABLEAU 3 EXEMPLES D’HARMONISATION DE L’APPUI TECHHNIQUE 93 ANNEXE G – CADRE D’EVALUATION 95 ANNEXE H – LISTE DES ENTREVUES 104 ANNEXE I – LISTE DES DOCUMENTS CONSULTES 105 ANNEXE J – OUTILS DE COLLECTE DE DONNEES 109 ANNEXE K – TERMES DE REFERENCE 115

Rapport d’évaluation de la gouvernance et des outils de programmation de la première phase du Fonds Français Muskoka (FFM 2011-2017) iii

Liste des tableaux

Tableau 1 : Utilisateurs et usages de l’évaluation................................................................................. 17 Tableau 2 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 3 .......................... 29 Tableau 3 : Sondage en ligneꟷ Question 5, Commentaires des répondants ........................................ 93 Tableau 4 : Budget et bilan financier 2011-2016 ................................................................................. 46 Tableau 5 : Fonds utilisés par composante et par agences 2011-2016 .............................................. 46 Tableau 6 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 16 ........................ 57 Tableau 7 : Sondage en ligneꟷ Question 20 Conclusions, Commentaires des répondants ................ 60

Liste des Figures

Figure 1 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 5 35 Figure 2 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 6 ............................. 38 Figure 4 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 11 ........................... 45 Figure 5 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 13 ........................... 47 Figure 6 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 4 ............................. 48 Figure 7 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 15 ........................... 51 Figure 8 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 17 ........................... 52 Figure 9 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 12 ........................... 52 Figure 10 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 14Error! Bookmark not defined. Figure 11 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 18 ......................... 56 Figure 12 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 19 ......................... 65 Figure 13 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 19 ......................... 66 Figure 14 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 19 ......................... 66

Rapport d’évaluation de la gouvernance et des outils de programmation de la première phase du Fonds Français Muskoka (FFM 2011-2017) iv

LISTE DES ACRONYMES

AFD Agence française de développement BRAOC/WCARO Bureau Régional de l’UNICEF pour l'Afrique de l'Ouest et du Centre COP Communauté des Professionnels COPIL Comité de Pilotage COTECH Comité technique Fonds mondial Fonds mondiale de lutte contre le sida, la tuberculose et le paludisme FFM Fonds Français Muskoka GFF Mécanisme de financement mondial (Global Financing Facility) HHA Harmonisation pour la santé en Afrique MEAE Ministère de l'Europe et des Affaires étrangères OCDE Organisation de coopération et de développement économique ODD Objectifs de développement durable OMD Objectifs du millénaire pour le développement OMS Organisation mondiale de la Santé ONG Organisation non gouvernementale ONU FEMMES Entité des Nations unies pour l'égalité des sexes et l'autonomisation des femmes PCIMNE Prise en Charge Intégrée des Maladies du Nouveau-né et de l'Enfant PTA Plan de travail annuel interagence PTF Partenaires techniques et financiers RPC Recommandations pour la pratique clinique RMM Ratio de mortalité maternelle S&E Suivi et évaluation SSRAJ Santé sexuelle et reproductive des jeunes et des adolescents SRMNIA Santé reproductive maternelle, néonatale, infantile et des adolescents SSRMNIA Santé sexuelle, reproductive, maternelle, néonatale, infantile et des adolescents SONUB/UC Soins obstétricaux et néonataux d’urgence de base / soins obstétricaux et néonataux d’urgence complémentaires. ToR Termes de référence ToC Théorie du changement UNFPA Fonds des Nations unies pour la population UNICEF Fonds des Nations unies pour l'enfance

Rapport d’évaluation de la gouvernance et des outils de programmation de la première phase du Fonds Français Muskoka (FFM 2011-2017) 5

REMERCIEMENTS

ACT for Performance a été contracté par le Bureau régional de l’UNICEF pour l’Afrique de l’Ouest et du Centre (BRAOC/WCARO) en juin 2019 au nom des quatre agences partenaires du Fonds Français Muskoka (FFM) : OMS, ONU Femmes, UNFPA et UNICEF, pour évaluer les mécanismes clés de la gouvernance et des outils de programmations du FFM.

M. Franke Toornstra, président de la firme, expert institutionnel et en modalités de l’aide, ancien membre de la diplomatie néerlandaise et ancien staff de la Banque mondiale, a mené l’évaluation conjointement avec Mme Madeleine Guay, économiste et évaluatrice séniore. Mme Élizabeth Dyke, titulaire d’un doctorat en santé publique, a été impliquée en tant qu’experte en santé. M. Malick Diop, expert en technologie de l’information, a géré le sondage en ligne.

L’équipe d’évaluation tient à remercier chaleureusement le ministère de l’Europe et des Affaires étrangères Français, l’OMS, ONU Femmes, UNFPA et UNICEF, les Groupes de Coordination et les gouvernements de pays du FFM ainsi que tous les autres participants à cette évaluation qui ont généreusement accepté de partager leur temps et leurs connaissances. La rédaction de cette étude n’aurait pu être possible sans la contribution éclairée de l’ensemble des partenaires du programme.

Nous remercions spécialement les membres des Comités, le Comité technique (COTECH), son Secrétariat et le Comité de pilotage (COPIL) pour leur accueil à Dakar, au Sénégal. Nous gardons un excellent souvenir de notre mission et de nos multiples discussions enrichissantes, et nous saluons l’engagement du groupe de référence de l’évaluation et de ses experts en suivi-évaluation.


RESUME EXECUTIF

1. Introduction

Entre 2011 et 2017, la France a financé une première phase du Fonds Français Muskoka (FFM) à hauteur de 110,250 M€ pour contribuer à « la réduction de la mortalité et de la morbidité maternelles, néonatales et infanto-juvénile dans les pays par la mise en œuvre d’interventions à fort impact dans le cadre de la continuité des soins ». L’objectif principal était « de contribuer au renforcement des systèmes de santé des pays francophones d’Afrique subsaharienne pour lutter contre la mortalité maternelle, néonatale et infantile. »

Quatre agences des Nations unies ont été impliquées dans la mise en œuvre du FFM : l’OMS, ONU Femmes, UNFPA et UNICEF, lesquelles travaillent en partenariat et étroite concertation au sein de mécanismes de coordination existants pour mettre en œuvre des interventions à haut impact, selon les avantages comparatifs de chacune et en vue du renforcement systématique des systèmes de santé.

L’Évaluation formative de la gouvernance et des outils de programmation de la première phase du Fonds français Muskoka (2011-2017) vise à démontrer la performance des mécanismes de gouvernance et de processus et des outils de programmation du Fonds. Les bénéficiaires du FFM sont les femmes en âge de procréer, les nouveau-nés, les enfants de moins de 5 ans, les adolescents, leurs familles et leurs communautés, mais aussi les gouvernements, notamment les ministères de la santé et les autres ministères impliqués (Famille, Jeunesse, etc.) ainsi que les écoles de formation. Un accent particulier est mis sur l’équité, en ciblant notamment les familles les plus démunies, celles vivant dans les zones rurales et les adolescentes.

2. Le but de l’évaluation

Le but de l’évaluation est de favoriser l’apprentissage entre les entités de mise en œuvre engagées dans la conception, mise en œuvre et suivi/évaluation (S&E) des interventions financées par le FFM, spécifiquement le Comité technique du FFM (COTECH) et le Secrétariat, le Comité de pilotage (COPIL) ainsi que les équipes de pays interagences des Nations Unies. Les utilisateurs de l’évaluation sont le COTECH, le COPIL et les équipes de pays interagences des Nations Unies.

3. Les objectifs de l’évaluation

Les objectifs de l'évaluation sont les suivants:

• Réaliser une description critique des processus en place et analyser la structure et les processus actuels du programme avec le donateur et aux niveaux régional et national;

• Analyser le niveau et l'efficacité de la représentation des organisations impliquées; évaluer la qualité des outils utilisés; et évaluer les principaux facteurs favorables à la mise en œuvre et les goulots d'étranglement;

• Identifier les causes des faiblesses observées; identifier les enseignements tirés, les bonnes pratiques et les opportunités d'amélioration de la coopération entre les quatre partenaires;

• Formuler des recommandations sur les moyens d'améliorer la gestion et proposer une structure de partenariat et des outils de gestion en conséquence.


• Évaluer la pertinence des outils programmatiques par rapport aux objectifs et à l'approche; • Évaluer l'efficacité et l'efficience des outils de programme pour mesurer, évaluer et démontrer les

résultats du FFM liés à la fourniture d'un ensemble complet de services de SRMNIA; • Élaborer une théorie du changement pour la deuxième phase du FFM, y compris des outils de

suivi et de production de rapports permettant d'optimiser l'obtention des résultats par rapport aux objectifs et à l'approche du FFM.

4. Portée de l’évaluation

Portée Thématique

La portée thématique de l'évaluation a été double: (i) elle s‘est concentrée sur la gouvernance/coordination de la dimension multilatérale interagences (coordination, programmation conjointe et partenariats) de l'engagement du G8 français envers le FFM ; (ii) l'évaluation a estimé la pertinence et l'efficacité des outils programmatiques existants (cadre de résultats, outils de suivi, outils de reportage, etc.) par rapport aux objectifs et à l'approche du FFM.

Portée Géographique

L’évaluation a couvert les 8 pays financés par le Fonds Français Muskoka, soit le Bénin, la Côte d’Ivoire, la Guinée, le Mali, le Niger, le Sénégal, le Tchad et le Togo, ainsi que sa dimension régionale. Un sondage en ligne a été administré au niveau régional et des pays (dans les 8 pays, ainsi qu’auprès des équipes régionales). Cette couverture pour la collecte de donnée primaire a fourni des informations valables et fiables de données illustrant les caractéristiques de l'ensemble de la programmation-pays et régionale. En raison des limites de temps et de budget, l’équipe d’évaluation a limité la revue de littérature à 3 des 8 pays (Sénégal, Tchad et Guinée).

Portée Chronologique

L'évaluation couvrira la première phase de la mise en œuvre du FFM de 2011 à 2017.

5. Critères de l’évaluation

L’évaluation a été guidée par cinq critères : trois critères de l’OCDE/DAC (la pertinence, l’efficacité, l’efficience) ainsi que deux autres critères (la coordination et l’égalité des genres, l’équité et droits humains). La portée de l’évaluation couvre les huit pays cibles, ainsi que la dimension régionale de l’initiative. La première phase de la mise en œuvre du FFM et couvre la période de janvier 2012 à décembre 2017.

6. Méthodologie

L’approche de l’évaluation a été participative et réaliste (Realist evaluation). L’équipe a utilisé des méthodes de collecte de données qualitatives et quantitatives : i) la revue documentaire, ii) le sondage en ligne et iii) les entrevues semi-structurées avec les groupes impliqués dans le FFM. Les données ainsi collectées ont été analysée par le biais de deux logiciels (qualitatif et quantitatif). L’analyse des données quantitatives a été pour la plupart descriptive alors que celle qualitative s’est fondée sur l’analyse du contenu ainsi que le codage et la synthèse des données autour des thèmes communs. La mission des experts de la firme ACT for Performance s’est déroulée du 8 au 19 juillet 2019 à Dakar, au Sénégal, et du 22 au 24 juillet à Paris, en France. Le sondage a été mis en ligne du 29 juillet au 13 août. Trois groupes de participants ont été sollicités, soit 176 participants : les


représentants du FFM des équipes régionales et des équipes pays des agences des Nations unies, leurs vis-à-vis gouvernementaux dans les pays d’intervention ainsi que le ministère de l’Europe et des Affaires étrangères (MEAE) et des experts et ONG. Le taux de réponse a été de 45 %, un bon résultat compte tenu de la période estivale.

En matière de contraintes rencontrées durant cette évaluation, étant donné que la période de sondage a été raccourcie, l’équipe d’évaluation a dû intensifier les rappels aux participants pour les inviter à répondre au sondage en ligne, ce qui a bien fonctionné. De plus, comme il n’a pas été possible de rencontrer directement l’AFD, l’équipe d’évaluation a rencontré la firme d’évaluation Technopolis, à Paris, pour obtenir leur analyse sur cet important acteur de l’intervention.

7. Constats et Conclusions clés (par critère)

7.1. Pertinence

Les résultats de l’évaluation démontrent la pertinence du dispositif de gouvernance et des outils de programmation du FFM d’autant plus sous sa forme originale, c’est-à-dire avec une portée stratégique et catalytique, pour répondre aux besoins des parties prenantes (Conclusion préliminaire #1).

Le mécanisme de coordination, d’appui technique harmonisé et de mise en œuvre concertée du dispositif Muskoka cadre avec le processus UNIS pour la réforme qui a été réitéré en 2018 par le Secrétaire général de l’ONU pour renforcer l’approche commune des agences (Delivering as one). L’avantage de sortir du cadre de travail habituel des agences et de penser à la « façon Muskoka » a été considéré comme une grande plus-value du dispositif par les équipes régionales (Constat #1).

Les structures de gouvernance, le Comité de Pilotage (COPIL), le Comité technique (COTECH) et son Secrétariat permanent et les Groupes de Coordination des partenaires, ainsi que les outils de programmation, ont été instrumentaux pour le succès de l’approche du FFM. Cependant, les comités n’ont pas toujours réussi à remplir leur mandat et à maintenir la vision stratégique du FFM. Par exemple le COPIL a eu des difficultés à préserver l’action catalytique qui était visée au départ, et le COTECH, pour assurer aux équipes des pays un solide accompagnement technique et de communication.

Les outils de gestion ont été indispensables pour servir l’approche du FFM, mais insuffisants pour remplir les objectifs du projet. Le cadre logique était trop large et peu contraignant pour orienter les plans d’action des pays, les indicateurs trop nombreux pour le suivi, les rapports annuels longs et peu orientés sur les résultats et le suivi-évaluation était inégal. Les outils de gestion et le dispositif de suivi ont mal servi pour cerner et faire apprécier les résultats et les succès du FFM. Ceci a nui à la visibilité du FFM, un des objectifs clés du bailleur, et plus globalement aux objectifs de reddition de compte (Constat #2).

Certaines contraintes ont affaibli l’appropriation du FFM qui a parfois été utilisé pour compléter les financements des programmes réguliers en SRMNIA ou « pour boucher des gaps », comme ont rapporté certaines agences (Constat #3). Par exemple, l’imposition par le bailleur d’une liste de pays prioritaires, l’ajout d’un plus grand nombre de thématiques (d’où une dilution des fonds) et l’accent toujours plus grand sur la première composante du FFM concernant la mise en œuvre d’interventions en SRMNIA dans les pays. Ceci s’est fait au détriment des deux composantes régionales, soit l’harmonisation de l’appui technique au niveau régional et le financement d’études stratégiques, du suivi-évaluation et du renforcement des capacités. Ces orientations ont diminué la portée catalytique


du FFM qui avait été visée à l’origine (avec le financement de projet pilote, d’appui stratégique et d’études spécifiques pour générer des données probantes).

7.2. Efficacité

L’efficacité du dispositif du FFM a reposé sur les structures de gouvernance, notamment le Secrétariat et le Comité technique (COTECH) avec les agences lead, qui ont réussi ensemble à mobiliser les équipes régionales et des pays (Groupe de Coordination des pays), à harmoniser l’appui technique et la coordination des interventions au niveau de la région et des pays grâce aux différents outils de programmation. Le dispositif Muskoka a ainsi contribué aux résultats en matière de SRMNIA (Conclusion préliminaire #2). La concertation interagence nationale et régionale, jusqu’au niveau global, a été perçue comme un facteur positif inattendu, ainsi que l’impact de l’initiative régionale C’est la vie mis en œuvre par l’ONG RAES dans la région (Constat #5).

Les acquis du dispositif du FFM sont toutefois fragiles (Constat #4). Notons les exigences du bailleur citées auparavant (et l’influence sur les orientations stratégiques du COPIL) et les procédures administratives des différentes organisations qui ont presque fait stopper le seul projet régional d’envergure C’est la vie); les avantages comparatifs des agences qui ont été parfois mal utilisés (pour le volet Recherche qui a été géré par UNICEF au lieu de l’OMS qui possède pourtant les infrastructures); un suivi-évaluation inégal au cours des ans (qui a échoué à bien faire connaître les résultats stratégiques du FFM et à contribuer à un effet levier) ; et le manque de ressources et de temps de la part du staff des agences (Constat #4).

7.3. Efficience

Le dispositif du FFM n’a pas été suffisamment efficient malgré la forte mobilisation des agences des Nations unies pour la gestion du FFM depuis le démarrage en 2011 (Conclusion préliminaire #3). Le Secrétariat et le COTECH ont été très engagés dans leur mission, mais n’ont pas bénéficié d’un leadership technique assez fort et d’un président assez visible et disponible auprès des autorités des pays et des autres PTF. De façon générale, les ressources humaines ont manqué pour assurer la bonne gouvernance du dispositif, spécialement pour conduire les revues des plans d’action annuels et le suivi-évaluation (Constat #6). Les ressources financières du FFM, quoiqu’insuffisantes pour atteindre les objectifs en matière de SRMNIA, ont fait une différence pour les agences dans un secteur sous-financé en Afrique. Au niveau pays, la faiblesse du financement dans certains cas a été vue parfois comme « un saupoudrage » (Constat #7). Les quotas thématiques, l’allocation annuelle et l’imprévisibilité des allocations ont posé des contraintes de plus en plus importantes au fil des ans en matière d’exécution.

7.4. Coordination

L’approche commune du FFM a manifestement amélioré la coordination entre les partenaires du FFM. Le FFM et ses outils de programmation ont permis l’appui conjoint aux stratégies nationales, la planification commune ainsi qu’une mise en œuvre concertée, notamment d’approches intersectorielles et de suivi et évaluation coordonnés (Constat #8). Le potentiel du dispositif reste toutefois sous-exploité, notamment vis-à-vis les autres PTF, dont l’AFD (Constat #11).

Le Gouvernement français et les agences des Nations unies étaient bien représentés dans les


structures de gouvernance et les processus du FFM, mais les gouvernements des pays n’ont pas été associés au dispositif du FFM au niveau régional. Or le FFM aurait gagné à mieux se faire connaître (Constat #10). Les rôles et responsabilités n’ont pas été suffisamment clairs et bien définis au démarrage; la charge de travail était trop lourde et les capacités limitées pour assurer l’efficience et l’efficacité de la coordination (Constat #9).

Selon les parties prenantes, les solutions pour améliorer le fonctionnement et la coordination reposent sur le renforcement du dispositif établi : des structures de gouvernance avec des rôles et responsabilités mieux définis, des outils de programmation et des procédures plus efficaces, mais aussi des gouvernements plus engagés afin de renforcer et de démontrer la valeur ajoutée du FFM auprès des autres PTF et accroître la visibilité du programme (Constat #13).

7.5. L’égalité de genre, les droits de la personne et la réduction des inégalités

Enfin, l’approche du FFM promeut l’égalité de genre, l’approche par les droits et la réduction des inégalités (Constat #14). Au cours des dernières années, le dispositif Muskoka a contribué à l’atteinte des objectifs qui y sont dédiés dans les pays en renforçant les synergies produites par la coordination entre les agences et les autres partenaires, notamment entre ONU Femmes et UNFPA (Conclusion préliminaire #5).

8. Leçons apprises

Lors de la collecte et de l’analyse des données, l’équipe d’évaluation ainsi que les parties prenantes et les agences ont tiré des leçons d’ordre stratégique et opérationnelle qui méritent d’être prises en compte plus attentivement dans le futur, pas seulement dans le cadre de ce programme mais aussi d’autres programmes régionaux présentant les mêmes caractéristiques en termes d’ objectifs et zones d’intervention. Ci-dessous quelques exemples :

• L’implication des responsables politiques et stratégiques de plus haut niveau (représentants des agences, ministres de la Santé des pays) est nécessaire pour accroître la portée du FFM, l’appropriation des parties prenantes et l’effet de levier en matière de SRMNIA;

• La rotation systématique des agences au niveau des pays est essentielle pour assurer l’efficacité du dispositif et répartir la charge de travail entre les agences;

• Les rapports annuels étaient trop longs et n’ont pas été très utiles pour faire ressortir l’aspect catalytique du FFM et rendre le FFM plus visible;

• Les changements d’orientation et les différents outils du COPIL/COTECH ont créé des ralentissements;

• Selon certains membres du COTECH, les missions interagences de suivi entreprises par le COTECH doivent être mieux préparées et standardisées pour qu’elles soient plus efficaces; un autre membre estime que la standardisation n’est pas forcément souhaitable comme la gouvernance du mécanisme et les appuis techniques diffèrent d’un pays à l’autre. Dans ce cas, l’élaboration d’un canevas de mission peut être recommandée;

• L’organisation d’une plateforme régionale interagences SRMNIA (unique dans la région) a demandé beaucoup d’effort de la part du COTECH lors de la première phase. Conséquemment, la deuxième phase devra se concentrer sur l’accompagnement technique et de communication orienté vers les pays;

• L’engagement est essentiel à la gestion du FFM, un programme commun de 10 millions d’euros par an, avec quatre partenaires, ciblant huit à neuf pays, a un coût important en termes d’effort des ressources humaines, d’accompagnement, de temps, de logistique, de communication et de


voyages. Il faut assurer la continuité de l’engagement de l’équipe de coordination, le secrétariat et l’implication des 4 agences;

• Selon les intervenants, la coordination avec l’AFD n’a pas eu lieu ou de façon très limitée dans le cadre de la phase du FFM, malgré les efforts des intervenants. Cette coordination est essentielle au niveau des pays pour respecter les engagements internationaux de l’efficacité de l’aide (Déclaration de Paris, Global Partnership for Effective Development Cooperation). Les agences de concert avec les conseillers régionaux en santé mondiale (CRSM) et l’AFD ainsi que tous les autres intervenants devront être mis à contribution pour relancer cette collaboration;

• L’implication progressive des conseillers régionaux en santé mondiale dans le dispositif Muskoka a permis d’améliorer la communication entre les équipes pays et les Ambassades et a permis de réaliser des événements d’envergure dans les pays avec le soutien de la France;

• Les Communautés de Pratiques (CdP) financées par le FFM ont permis de mobiliser et faire interagir 6 000 professionnels de la santé de 65 pays. L’efficacité potentielle des CdP (difficile à mesurer) est due aux échanges d’informations et d’expérience, à la richesse des débats et à toute la connaissance ainsi générée par la mise en réseau de tous ces cerveaux. Elles ont réussi aussi à établir un modèle interactif d’échanges et de partage de connaissances et d’expériences. Elles ont fait face à de nombreux challenges, dont l’hétérogénéité des groupes de discussion, la nécessité d’avoir un manager/facilitateur à plein temps (donc « salarié »), la domination de certains groupes ou organisations et les difficultés de financement (procédures).

9. Recommandations

La mission d’évaluation a formulé les recommandations suivantes, qui ont été aussi validée par le Groupe de Reference au mois de janvier 2020 :

9.1 Recommandations stratégiques

Recommandation #1 aux COPIL et COTECH : A la lumière du nouvel agenda mondial pour l’atteinte des ODD, revoir les composantes stratégiques du FFM pilotées par le niveau régional notamment les composantes : (i) thématiques prioritaires et modalité d’intervention ; (ii) apprentissage et gestion des connaissances; (ii) partenariats et mobilisation des ressources en SSRMNIA ; (iv) de visibilité dans le but de renforcer le caractère stratégique et catalytique du FFM (Priorité haute). Recommandation #2 : au MAEA et aux Agences des Nations Unies Accroitre l’effet de levier financier du FFM en cadrant, structurant le volet catalytique vis-à-vis des donateurs, des partenaires et des gouvernements (Priorité faible).

9.2. Recommandations Opérationnelles

Recommandation #3 au COPIL : Renforcer la gouvernance des organes de gestion qui sont bien structurés, mais qui doivent être mieux définis, par un document constitutif détaillant les mandats, les rôles et les responsabilités, notamment du COPIL, du COTECH, du Secrétariat au niveau régional et des Groupes de Coordination interagences et des Agences leader au niveau du pays (Priorité haute). Recommandation #4 au COTECH et au Secrétariat : Renforcer la planification et le suivi du FFM (priorité moyenne). Recommandation #5 au COTECH, au Secrétariat, et aux Groupes de Coordination interagences au niveau des pays : Développer un agenda d’apprentissage pour le FFM et toutes ses parties prenantes (Priorité moyenne).


1. CONTEXTE

1.1 Introduction

En 2010, au Sommet de Muskoka, à Huntsville, au Canada, les pays du G8 se sont engagés à investir une somme de 5 milliards de dollars sur cinq ans pour accélérer l’atteinte en 2015 des objectifs millénaires pour le développement (OMD) 4 « Réduire la mortalité infantile » et 5 : « Améliorer la santé maternelle. » Le Fonds français Muskoka (FFM) a été créé en réponse à cet appel urgent à l’action pour réduire la mortalité maternelle, néonatale et juvénile en renforçant les systèmes de santé dans les pays francophones d’Afrique occidentale et centrale.

Après la fin de la première période de l’engagement présidentiel du G8 (2011-2015) du Fonds français Muskoka et les deux années d’extension (2016-2017), le gouvernement français a renouvelé l’investissement multilatéral du FFM sur une base annuelle. Une évaluation à mi-parcours publiée1 en avril 2015 démontrait que l’aspect multilatéral du financement avait créé un mode de collaboration régionale efficace entre les agences. Vu comme novateur, le mécanisme de coordination, d’appui technique et de mise en œuvre de la structure de gouvernance présentait : « un modèle permettant une meilleure coordination des stratégies régionales et nationales, l’harmonisation de l’appui technique dans les pays concernés et la mobilisation de partenaires et des fonds pour la Santé reproductive maternelle, néonatale, infantile et des adolescents (SRMNIA) dans la région. » La valeur ajoutée au FFM a été décrite comme suit :

• Programmation conjointe aux niveaux régional et national; • Assistance technique harmonisée et basée sur des éléments de preuve; • Reddition de compte et transparence du financement aux niveaux régional et national; • Suivi conjoint des dépenses, activités et résultats; • Documentation des meilleures pratiques et stimulation de la coopération Sud-Sud; • Communication externe et visibilité; • Développement conjoint de stratégies régionales; • Effet de levier : mobilisation des partenaires et des ressources.

En vue de reconduire le FFM, le Comité de pilotage du FFM, formé par le ministère de l’Europe et des Affaires Étrangères (MEAE) Français et les agences des Nations unies, a entrepris d’évaluer les principaux mécanismes de gouvernance et des outils de programmation du FFM avec l’objectif d’améliorer la mise en œuvre de la prochaine phase.

Le MEAE et l’Agence française de développement (AFD) mènent également une évaluation conjointe des initiatives multilatérales et bilatérales financées dans la foulée du sommet de Muskoka. Cette évaluation, qui couvre la période entre 2011 et 2017, vise principalement à i) appréhender les changements induits par le FFM sur les pratiques des agences onusiennes et la mise en œuvre de la réforme UNIS2 et ses prolongements ; ii) analyser les progrès enregistrés depuis l’évaluation à mi-

1 Ernst & Young (EY), Évaluation conjointe des interventions du MAEDI et de l’AFD en matière de santé maternelle et infantile pour mettre en œuvre les engagements pris par la France à Muskoka, avril 2015, ministère des Affaires étrangères et du Développement international- DGM, en ligne : https://www.diplomatie.gouv.fr/fr/photos-videos-publications-infographies/publications/enjeux-planetaires-cooperation-internationale/evaluations/evaluations-2015/article/la-contribution-francaise-en-matiere-de-sante-reproductive-maternelle-neonatale 2 En 2017, le Secrétaire général de l’ONU, António Guterres, a présenté des propositions pour réformer les Nations unies (UNIS pour la réforme) dans les domaines du développement, de la gestion et de la paix et la sécurité : https://reform.un.org/fr

https://www.diplomatie.gouv.fr/fr/photos-videos-publications-infographies/publications/enjeux-planetaires-cooperation-internationale/evaluations/evaluations-2015/article/la-contribution-francaise-en-matiere-de-sante-reproductive-maternelle-neonatale



https://reform.un.org/fr


parcours de 2014-2015 et en tirer des enseignements ; iii) évaluer la capacité de la France à valoriser ses engagements financiers internationaux.

Les deux évaluations qui se veulent complémentaires donneront une occasion d’apprentissage en vue de dynamiser la plateforme de coordination existante pour tenir compte des nouveaux acteurs, comme le Danemark, qui sont intéressés par un mandat d’appui à la mise en œuvre de la Stratégie mondiale pour la santé des femmes, des enfants et des adolescents jusqu’à la fin de 2030.

Considérant le grand chantier en cours : UNIS pour la réforme (pour placer le développement au cœur de l’agenda des Nations unies), les agences sont d’autant plus encouragées à améliorer le mécanisme actuel du FFM.

Le rapport d’évaluation décrit premièrement le FFM de façon succincte, les objectifs de l’évaluation, l’approche et la méthodologie utilisées pour cette évaluation, les constats par critère d’évaluation, les leçons apprises, les grandes conclusions sur les mécanismes de gouvernance et les outils de programmation ainsi que les recommandations. Annexés se trouvent les mandats des structures de gouvernance proposés, une théorie du changement du FFM, les gabarits de score card et de rapport annuel ainsi que les outils de l’évaluation suivants : le cadre d’évaluation, les outils de collectes de données, la liste des entrevues, les documents consultés ainsi que les termes de référence.

1.2 Fonds français Muskoka

Le Fonds Français Muskoka (FFM) est un financement de la France qui a été octroyé, à partir de 2011, pour contribuer, en Afrique de l’Ouest et du Centre à : « la réduction de la mortalité et de la morbidité maternelles, néonatales et infanto-juvénile dans les pays par la mise en œuvre d’interventions à fort impact dans le cadre de la continuité des soins. »

Doté d’un mécanisme de coordination, d’appui technique et de mise en œuvre aux niveaux régional et national, le FFM a versé un total de 110,250 M€ de 2011 à 2017 et 21,606 M€ pour la période 2018-2019 à quatre agences spécialisées : : l’OMS, ONU Femmes, UNFPA et UNICEF, initialement dans 113 pays puis 8 actuellement : Bénin, Côte d’Ivoire, Guinée, Mali, Niger, Sénégal, Togo et Tchad.

Plus spécifiquement, le FFM vise à soutenir les domaines clés suivants : Santé maternelle et néonatale ; santé infantile ; nutrition, santé sexuelle et reproductive des adolescents et jeunes; planification familiale ainsi que les domaines transversaux du renforcement des systèmes de santé et l’approche fondée sur les droits de la personne pour l’égalité entre les femmes et les hommes.

Le Danemark a rejoint le dispositif du FFM en 2019 et s’est engagé à l’appuyer à hauteur d’environ 3M€ sur la période 2018-2020.

Les bénéficiaires du FFM sont des « femmes en âge de procréer, les nouveau-nés, les enfants de moins de 5 ans, les adolescents, leurs familles et leurs communautés, mais aussi les gouvernements,

3 Outre les 8 pays ciblés par l’évaluation,3 autres pays : le Burkina Faso, la République démocratique du Congo et Haïti ont été inclus comme bénéficiaires du fonds au démarrage.


notamment les ministères de la santé et les autres ministères impliqués (Famille, Jeunesse, etc.) ainsi que les écoles de formation. Un accent particulier est mis sur l’équité, en ciblant notamment les familles les plus démunies, celles vivant dans les zones rurales et les adolescentes4. »

L’approche du FFM est fondée sur le partenariat existant entre les agences des Nations unies, leur complémentarité selon leurs avantages comparatifs et le renforcement systématique des systèmes de santé, comme l’OMS l’a proposé, sur les piliers du système de santé selon les thématiques : santé maternelle, santé infanto-juvénile, espacement des naissances, en synergie avec des interventions transversales (gouvernance, genre, ressources humaines, approvisionnement en médicaments et produits de santé, etc.).

En effet, le programme visait à ce que les agences travaillent en concertation au sein de mécanismes de coordination existants, comme le HHA (Harmonisation pour la santé en Afrique5), pour accélérer la réduction de la mortalité et de la morbidité maternelles et infanto-juvéniles. L’OMS, UNFPA et UNICEF sont les membres fondateurs du mécanisme de coordination interagences en santé maternelle et néonatale au niveau mondial auquel s’est ajoutée ultérieurement ONU Femmes (H4+). Fondé en 2018, le H4+ est le principal partenaire technique de la Stratégie mondiale pour la santé des femmes et des enfants, lancée en 2010 par l’ancien Secrétaire général de l’ONU, Ban Ki-moon. Ces plateformes regroupent d’autres importants partenaires techniques et financiers (PTF), tels que la Banque mondiale et la Banque Africaine de Développement.

Le FFM suit les principes d’alignement avec les politiques nationales, appuie les mécanismes de coordination, assure la synchronisation des activités interpays et offre des synergies avec les initiatives régionales. Le cadre logique du FFM qui a été conçu conjointement par le Gouvernement français et les quatre agences des Nations unies a beaucoup évolué depuis 2011 et comprend trois éléments clés :

Composante 1 : Renforcement des systèmes de santé et SRMNIA : Santé maternelle néonatale et infantile ; santé sexuelle et reproductive des jeunes et des adolescents - ou SSRAJ ; Nutrition ;

Composante 2 : Harmonisation de l’appui technique et stratégique au niveau régional dans les domaines prioritaires (Appuis COP, technique, C’est la vie ; Recommandations pour la pratique clinique - RPC/SONU ; Amélioration à l’accès aux médicaments et aux Ressources humaines pour la santé ; Santé communautaire ; Qualité des soins ; Nutrition) ;

Composante 3 : Gestion, Suivi-évaluation, documentation et visibilité. Le FFM est dirigé par le Comité de pilotage (COPIL) chargé de fournir et d’approuver les orientations stratégiques et par le Comité technique (COTECH) chargé de mettre en œuvre les orientations du COPIL et de surveiller les interventions. Plus spécifiquement, le COPIL est composé des directeurs régionaux des 4 agences impliquées ; des directeurs des départements impliqués du siège de l’OMS et du sous-directeur au développement humain du MEAE qui préside le Comité de Pilotage.

4 Ministère des Affaires Étrangères et Européennes, Direction générale de la mondialisation et des biens publics mondiaux, Fonds de solidarité prioritaire, Chapitres Communs aux 4 agences UNFPA, UNICEF, ONU Femmes, OMS, Appui à la réduction de la mortalité maternelle et infantile en Afrique francophone et Haïti, FFM, Final Draft, p.31. 5 Créé en 2006, HHA est un mécanisme régional d’appui opérationnel au renforcement des capacités des pays qui a mis en place des Communautés des Pratiques (COP) pour ressembler tous les experts et porteurs de connaissances dans des domaines spécifiques relatifs au renforcement des systèmes de santé.


Le Comité se réunit chaque année pour faire le point sur l’état d’avancement du projet, définir la vision et les priorités à moyen terme, et arrêter les orientations stratégiques.

Le COTECH est composé du staff des quatre agences et du MEAE et organise systématiquement son travail autour des orientations stratégiques. Le COTECH est présidé par un représentant des agences, sur la base d’une présidence tournante, et se réunit au moins 2 fois par an.

Au niveau des pays, les Groupes de Coordination des partenaires font le suivi des activités au niveau national. Ces Groupes sont formés des membres de comités nationaux déjà existants et fonctionnels (comité HHA, comité H4+, UNCT, comité des partenaires, comité santé, etc.).

CARTE DES PAYS APPUYES PAR LES FF MUSKOKA

2. BUTS ET OBJECTIFS DE L’EVALUATION

2.1 Buts de l’évaluation

ACT for Performance a été contracté par le Bureau régional de l’UNICEF pour l’Afrique de l’Ouest et du Centre (BRAOC/WCARO) en juin 2019 au nom des quatre agences partenaires du Fonds Français Muskoka (FFM) : l’OMS, ONU Femmes, UNFPA et UNICEF, pour évaluer les mécanismes clés de la gouvernance et des outils de programmations du FFM.

L’évaluation couvre la fin de la première phase du FFM 2011-2015 et des deux années d’extension 2016-2017. Elle est formative et vise à démontrer la performance des mécanismes de gouvernance et des processus et des outils de programmation.

Comme indiqué dans les termes de référence, le but de l’évaluation est de favoriser l’apprentissage entre les entités engagées dans la conception, mise en œuvre et suivi/évaluation des interventions financées par le FFM.


Plus spécifiquement, cette évaluation vise à : Recommander un nouveau design des mécanismes de gouvernance, gestion et de coordination

du FFM qui devront être mis en place dans le mandat renouvelé du FFM. Plus spécifiquement, les conclusions de l’évaluation contribueront à améliorer le mécanisme actuel, y compris avec l’entrée du Danemark dans le dispositif, et dans la perspective d’être un mécanisme structurant dans la coordination régionale en faveur de la santé sexuelle, reproductive, maternelle, néonatale, infantile et des adolescents (SSRMNIA) en Afrique de l’Ouest et du Centre ;

Recommander le développement des outils nécessaires, tant au niveau régional que national, afin d’améliorer la programmation, le suivi et l’évaluation, la redevabilité et l’alignement avec les cadres globaux (en particulier avec les Objectifs de Developpement ODDs) au cours des quatre prochaines années d’exécution du FFM. Élaborer une nouvelle théorie du changement (ToC) et des outils de suivi et d’évaluation correspondants.

2.2 Objectifs de l’évaluation

Plus spécifiquement, les objectifs de l’évaluation par domaine sont les suivants :

Domaine A : Analyse de la Gouvernance et processus du FFM

Objectif 1 : Réaliser une description critique des processus en place (flux d’informations, flux des opérations, acteurs, etc.) ; Analyser la structure et les processus actuels du programme avec le donateur et aux niveaux régional et national (rôles, responsabilités et missions des comités et des groupes de travail, tels que le comité de pilotage, le comité technique, les groupes de travail interagences, les processus décisionnels, etc.) ; Analyser le niveau et l’efficacité de la représentation des organisations impliquées ; Évaluer la qualité des outils utilisés ; et évaluer les principaux facteurs favorables à la mise en œuvre et les goulots d’étranglement

Objectif 2 : Évaluer la (les) cause (s) des faiblesses observées ; Objectif 3 : Identifier les enseignements tirés, les bonnes pratiques et les opportunités

d’amélioration de la coopération entre les quatre partenaires (et au-delà) ; Objectif 4 : Formuler des recommandations sur les moyens d’améliorer la gestion et l’organisation

(plus d’efficacité, une qualité améliorée, etc.) du Fonds français Muskoka et de proposer une structure de gouvernance et des outils de gestion en conséquence en alignement avec le cadre global des ODD et l’environnement de la SRMNIA dans la région.

Domaine B Analyse et développement des Outils de programmation

Objectif 1 : Évaluer la pertinence des outils programmatiques existants (cadre de résultats, outils de suivi, outils de rapportage, etc.) par rapport aux objectifs et à l’approche du FFM ;

Objectif 2 : Évaluer l’efficacité et l’efficience des outils de programme pour mesurer, évaluer et démontrer les résultats du FFM ;

Objectif 3 : Élaborer une théorie du changement pour la prochaine phase du FFM, y compris des outils de suivi et de production de rapports permettant d’optimiser l’obtention des résultats par rapport aux objectifs et à l’approche du FFM.

Selon les définitions données par le Comité d’aide au développement de l’OCDE 6 :

6 https://www.oecd.org/fr/cad/evaluation/criteres-cad-evaluation.htm

https://www.oecd.org/fr/cad/evaluation/criteres-cad-evaluation.htm


• La pertinence est le degré d’adéquation d’une activité d’aide avec les besoins du groupe cible et les priorités et politiques du bénéficiaire et du donneur ;

• L’efficacité est le degré de réalisation des objectifs d’une activité d’aide ; • L’efficience est la mesure du rapport entre les produits – qualitatifs et quantitatifs – et les

ressources mises en œuvre pour les obtenir.

2.3 Utilisateurs de l’évaluation

Le Tableau 1 ci-dessous donne un aperçu de la façon dont l’évaluation sera utilisée et ceci par groupe d’utilisateurs :

Tableau 1 : Utilisateurs et usages de l’évaluation Utilisateurs Usage

COTECH • Proposer au COPIL une nouvelle structure de gouvernance et de coordination du FFM, incluant les structures et processus, comme une théorie du changement (ToC), garantissant une gestion efficace et efficiente;

• Une fois approuvée par le COPIL, mettre en place et opérationnaliser cette nouvelle structure de gouvernance et de coordination du FFM;

• Programmer, suivre et rendre compte des progrès réalisés aux niveaux régional et national.

COPIL • Arbitrer les différentes options proposées par le COTECH et adopter une nouvelle structure de gouvernance et de coordination et les outils programmatiques et de suivi-évaluation correspondants.

Équipes de pays interagences

• Améliorer l’efficacité du fonctionnement de l’équipe pays Muskoka et des mécanismes de coordination existants de la SRMNIA sur la base des constats/conclusions de l’évaluation

• Programmer, surveiller et rendre compte des progrès accomplis au niveau des pays.

2.4 Portée de l’évaluation

Portée Thématique

La portée thématique de l’évaluation est double. Elle se concentre sur A. la gouvernance et la coordination de la dimension multilatérale interagences (coordination, programmation conjointe et partenariats) et l’articulation entre le niveau pays et régional du FFM. ; et sur B. la pertinence et l’efficacité des outils programmatiques existants (cadre de résultats, outils de suivi, outils de reportage, etc.) par rapport aux objectifs et à l’approche du FFM.

Portée Géographique

La portée géographique est l’ensemble des pays qui ont bénéficié du FFM entre 2011 et 2017, c’est-à-dire les huit pays actuellement actifs au sein du FFM, soit le Bénin, la Côte d’Ivoire, la Guinée, le Mali, le Niger, le Sénégal, le Togo et le Tchad. Trois pays qui faisaient initialement partie du FFM, soit Haïti, la République Démocratique du Congo et le Burkina Faso, ont été exclus de l’évaluation, tels qu’indiqué dans les termes de référence de l’évaluation. Les décaissements qui ont été effectués dans ces trois derniers pays n’ont jamais été significatifs et ils ne font plus partie des bénéficiaires du FFM.


Portée Chronologique

L’évaluation couvre la première phase de la mise en œuvre du FFM de janvier 2012 à décembre 2015, et les deux années subséquentes d’extension, en 2016 et 2017, ainsi que les pays cibles du FFM et la dimension régionale de l’initiative.

2.5 Critères et questions de l’évaluation

L’évaluation est guidée par trois des cinq critères d’évaluation de l’OCDE/DAC (pertinence, efficacité, efficience) ainsi que par deux critères additionnels qui sont : la coordination et l’égalité entre les sexes, l’équité et les droits de la personne. Les critères habituels d’impact et de durabilité n’ont pas été pris en compte puisqu’il s’agit d’une évaluation qui vise plutôt à étudier les structures organisationnelles et les outils de programmation du dispositif Muskoka. Ces derniers n’étaient d’ailleurs pas inclus dans les Termes de référence.

Les questions d’évaluation par critère d’évaluation qui ont été définies pour la mise en œuvre de l’évaluation sont les suivantes :

Pertinence 1.1 Dans quelle mesure la structure et les processus actuels du FFM ont-ils répondu aux besoins du gouvernement français, des agences des Nations unies au niveau régional et des équipes de pays (agences des Nations unies + gouvernements des pays du FFM) ? 1.2. Dans quelle mesure les outils programmatiques existants (le cadre logique, le plan d’action (planification), le rapportage annuel, le cadre de performance avec les indicateurs à renseigner) ont-ils répondu aux besoins des gestionnaires du FFM et à ceux du principal donateur ? 1.3 Dans quelle mesure la structure et les processus du FFM ont-ils contribué à l’appropriation partagée du FFM au niveau régional et national ? Efficacité 2.1 Quels sont les facteurs (internes et/ou externes à la COTECH) qui ont contribué / ont nui au succès de la structure de gouvernance du FFM ?

2.2 Quels ont été les résultats imprévus du FFM et de son mécanisme de coordination et d’appui technique et la mise en œuvre des interventions au niveau régional et national ?

Efficience 3.1 Les ressources humaines pour réaliser les interventions du FFM ont-elles été suffisantes en quantité et en qualité ? 3.2 Les ressources financières pour réaliser les interventions du FFM ont-elles été suffisantes ? 3.3 Les cadres de performance et les outils de suivi et de rapportage apportent-ils une valeur ajoutée dans l’atteinte des objectifs du FFM ?

Coordination


4.1 Dans quelle mesure le Gouvernement français, les agences des Nations unies et le gouvernement bénéficiaire ont été suffisamment représentés dans les structures de gouvernance et les processus du FFM ? 4.2 Dans quelle mesure les rôles et responsabilités des partenaires du FFM ont-ils été clairement définis ? 4.3 Quels sont les facteurs qui ont le plus contribué au flux d’informations et au flux de travail entre les niveaux régional et national, parmi les quatre agences des Nations unies et entre les agences des Nations unies et le principal donateur ? 4.4 Dans quelle mesure l’approche commune « Unis dans l’action », adoptée par les quatre agences de l’ONU, a contribué à améliorer la coordination entre les partenaires du FFM et les autres partenaires techniques et financiers extérieurs au FFM pour livrer les services en SRMNIA dans les pays visés ? 4.5 quelles sont les meilleures solutions pour améliorer le fonctionnement du FFM et la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM ? Genre, équité et droits de la personne 5.1 Dans quelle mesure le FFM contribue-il à la promotion de l’égalité de genre et à la réduction des inégalités et tient-il compte de la question des droits humains ?

3. METHODOLOGIE

3.1 Approche

L’approche de l’évaluation a été participative et réaliste (Realist evaluation)7. L’évaluation réaliste est une approche factuelle qui va au-delà des modèles d’évaluation axés sur les intrants et extrants, en se concentrant sur les mécanismes et facteurs contextuels qui mènent (ou non) au succès d’une intervention spécifique. L’Annexe F de ce rapport présente la matrice d’évaluation qui a été développée sur la base des questions fournies par les termes de référence.

Les méthodes de collecte et d’analyse de données ont été conçues pour générer des éléments de preuve pour répondre aux questions de l’évaluation, comme indiqué dans le cadre d’évaluation.

L’évaluation a utilisé des méthodes de collecte de données qualitatives et quantitatives telles que : (1) étude documentaire des documents-clé au niveau du FFM, de la région et de l’échantillon des 3

7 Westhorp, G. (2014) Realist Impact Evaluation: An Introduction. Accessed at: http://www.odi.org/sites/odi.org.uk/files/odi-assets/publications-opinion-files/9138.pdf Marchal, B. et al (2012). Is realist evaluation keeping its promise? A review of published empirical studies in the field of health systems research. Evaluation; 18:192


pays sélectionnés : Guinée, Sénégal, Tchad (voir la liste des documents consultés en annexe H) ; (2) sondage en ligne au niveau régional et des 8 pays ; (3) entrevues semi-structurées au niveau régional ; (4) entrevues semi-structurées au niveau national au Sénégal ; (5) entrevues semi-structurées avec le gouvernement français et d’autres donateurs et partenaires.

Le sondage en ligne a été administré aux parties prenantes de tous les pays bénéficiaires du FFM : les 4 pays prioritaires que sont le Niger, le Tchad, le Mali et la Guinée et les pays non prioritaires : le Sénégal, le Togo, le Bénin et la Côte d’Ivoire. Puisque le budget de l’évaluation ne permettait de conduire qu’une seule mission dans un pays du FFM, le Sénégal a été sélectionné afin que l’équipe puisse rencontrer les agences régionales qui y sont basées. Les autres pays de l’échantillonnage ont été sélectionnés avec les membres du groupe de référence de l’évaluation avec l’objectif de diversifier la couverture géographique et de couvrir différents états d’avancement de la mise en œuvre du FFM.

En raison des limites de temps et de budget, l’équipe d’évaluation a limité la revue documentaire à 3 des 8 pays ciblés par le FFM : soit le Sénégal, le Tchad et la Guinée, pour des raisons logistiques, de diversité géopolitique (Afrique de l’Ouest, du Centre ; Sahel) et de performance de la mise en œuvre. Plus spécifiquement, le Sénégal a été sélectionné en raison de la présence des bureaux-pays et régionaux (qui ont été visités par l’équipe d’évaluation du 10-19 juillet 2019) et de sa très bonne performance en matière de mise en œuvre du FFM (notons seulement le ratio de mortalité maternelle (RMM) de 300 décès maternels pour 100.000 nouvelles naissances, très inférieur à la moyenne). Le Tchad, un pays de l’Afrique du Centre, a été sélectionné en raison des difficultés de mise en œuvre (notons que le ratio de mortalité maternelle y est le plus élevé du monde : à 910 décès maternels pour 100.000 nouvelles naissances). La Guinée, un pays de l’Afrique de l’Ouest, a été sélectionnée en raison de sa performance moyenne de sa mise en œuvre (notons un ratio de mortalité maternelle de 600 décès maternels pour 100.000 naissances vivantes).

L’échantillonnage des répondants clés a été réalisé de façon raisonnée par les équipes régionales qui nous ont fourni les noms et les adresses pour les contacter. Les parties prenantes qui ont été sondées et interviewées au cours de l’évaluation sont les suivantes :

• Comité de pilotage (COPIL) : Directeurs régionaux des 4 agences des Nations unies ; avec le Directeur du développement durable du MEAE ; Directeur de UNICEF ; ONU FEMMES France ;

• Comité technique (COTECH) : chargé de la mise en œuvre des orientations du COPIL et du suivi de toutes les interventions du FFM. Représentants des quatre agences des Nations Unies et du MEAE ; Représentants des 4 agences des NU pour le suivi régional ; Représentants des 4 agences des NU pour le suivi pays ;

• Secrétariat du FFM : Spécialiste de programme UNICEF WCARO (Partenariats SRMNIA UNICEF) ; Chargé de communication visibilité UNICEF ; Chargé de suivi-évaluation UNICEF ;

• Les Groupes thématiques : les représentants des pays et un coordonnateur par pays ; • Les donateurs et les autres principaux acteurs impliqués dans les mêmes domaines thématiques :

Banque Mondiale et Canada ; • Autres partenaires de mise en œuvre du FFM (l’ONG RAES) ; • Cabinet de consultants Technopolis responsables de l’évaluation formative de l’engagement

français Muskoka8.

8 Technopolis group, Évaluation formative sur l’engagement français Muskoka (2010-2017), Rapport final, Août 2019


3.2 Collecte des données et analyse

L’équipe d’évaluation a conduit une mission de démarrage et une première collecte de données au Sénégal, à Dakar, et en France, à Paris, pour rencontrer les membres des équipes régionales, l’équipe pays Sénégal et des représentants du MEAE ainsi que la firme Technopolis en charge de l’évaluation formative de l’engagement français Muskoka en cours de réalisation. À la fin de la visite au Sénégal, une réunion de restitution a été tenue au bureau régional de l’UNICEF avec des représentants des parties prenantes afin de valider les observations et les conclusions préliminaires de l’équipe d’évaluation. Des entrevues ont été menées à distance avec des représentants d’autres groupes impliqués dans le FFM, comme les représentants de l’OMS à Genève.

L’équipe a géré un sondage en ligne destiné aux parties prenantes : équipes régionales et équipes pays, les représentants du MEAE, les membres des gouvernements impliqués dans le FFM des 8 pays ciblés. Cette couverture pour la collecte de donnée primaire a fourni des informations valables et fiables de données illustrant les caractéristiques de l’ensemble de la programmation-pays et régionale.

L’équipe a ensuite mené une revue documentaire des documents fournis (voir la liste en Annexe H) afin de dresser un état des lieux des composantes A (gouvernance) et B (outils de programmation). Cet exercice a constitué une base d’analyse complémentaire à la visite terrain.

Le sondage qui a été construit sur la base des questions des termes de référence et du cadre d’évaluation a été mis en ligne du 29 juillet au vendredi 9 août 2019 avec un prolongement jusqu’au 13 août 2019. Trois groupes de participants ont été sollicités, soit 176 participants : les représentants du FFM des équipes régionales et des équipes pays des agences des Nations unies, leurs vis-à-vis gouvernementaux dans les pays d’intervention ainsi que le MEAE et des experts/ONG. Le taux de réponse a été de 45 % en un peu plus de deux semaines de campagnes, ce qui est excellent compte tenu de la période estivale9 et suffisamment représentatif de façon générale.

Le taux de réponse des parties prenantes nationales a été toutefois très faible, soit quatre réponses des ministères de la Santé 10 et quatre réponses d’experts d’ONG nationales sur une quarantaine de ces profils auxquels le sondage a été envoyé.

Les outils de collecte de données et d’analyse ont été conçus pour générer les éléments de preuve par rapport aux critères d’évaluation et en fonction des questions telles qu’énoncées dans la matrice d’évaluation. Trois catégories de données probantes ont été collectées successivement afin de graduellement construire la base de connaissance de l’équipe d’évaluation 1) les données primaires collectées au Sénégal, à Paris et à distance, issues des interviews ; 2) les données primaires collectées avec le sondage en ligne 3) les données secondaires collectées avec la revue documentaire. Deux unités principales d’analyse ont été développées, soit le domaine A : la gouvernance et les processus du FFM ; et le domaine B : outils de programmation. Les données ont été colligées pour permettre l’analyse et leur

9 De façon générale, les enquêtes internes recevront généralement un taux de réponse de 30 à 40% en moyenne, contre un taux de réponse moyen de 10 à 15% pour les enquêtes externes. 10 Les répondants proviennent des gouvernements de la Guinée, du Bénin, du Sénégal et la Côte D’Ivoire.


triangulation d’où l’équipe a tiré des constats pour chaque question d’évaluation, des conclusions préliminaires pour chaque critère d’évaluation et des conclusions pour les deux unités d’analyse.

Le processus de triangulation a consisté à examiner les résultats des questions recueillis par les différentes méthodes qualitatives et quantitatives, des différentes personnes (hommes et femmes) des populations ciblées par l’intervention. Chaque résultat a été examiné, puis validé à l’aide des réponses fournies lors des focus group de discussion avec les membres des structures communautaires bénéficiaires. Cette corroboration des données reçues de ces trois différentes sources, a réduit ainsi l'effet des erreurs systématiques et erreurs aléatoires qui pouvaient être présents.

Plus précisément, les évaluateurs ont rédigé des notes d’entrevue qui ont été partagées parmi les trois membres de l’équipe d’évaluation. Ces notes, l’aide-mémoire qui a été préparé au terme de la mission au Sénégal, le résumé de la revue documentaire ainsi que les résultats du sondage, ont fait l’objet d’une analyse du contenu, ensuite ils ont été codés et, enfin, synthétisées autour des thèmes communs. Cela a permis de répondre aux questions de l’évaluation et de formuler des conclusions préliminaires par critère (Pertinence ; Efficacité ; Efficience ; Coordination et Genre, équité et droits humains) et de tirer des conclusions par composante dont : a) les mécanismes et processus de gouvernance et b) les outils de programmation. Enfin, l’équipe d’évaluation a formulé des recommandations à partir de ces constats et conclusions, conformément aux buts et aux objectifs de l’évaluation.

3.3 Assurance-qualité

Pour ce qui concerne l’assurance qualité, la politique d’ACT for Performance suit les normes établies par l’OCDE telles que spécifiées dans ses publications Principles for the Evaluation of Development Assistance (1991), et Quality Standards for Development Evaluation (2010) et les objectifs et standards de qualité UNICEF (Global Evaluation Reports Oversight System GEROS).

L’équipe d’ACT for Performance a travaillé sous la supervision des sections Santé et Évaluation du Bureau régional de l’UNICEF en Afrique de l’Ouest et du Groupe de référence de l’évaluation formé des membres du COTECH et mis en place par UNICEF pour cette évaluation.

Deux types d’assurance qualité ont été exercés, l’assurance qualité interne et l’assurance qualité externe. Les membres du groupe ont exercé une assurance qualité externe lors des étapes clés, notamment lors de la soumission du plan de travail, de l’aide-mémoire et des rapports préliminaires d’évaluation.

Conformément aux bonnes pratiques, les parties prenantes ont eu la possibilité de discuter et de valider les données recueillies lors de la mission d’évaluation. La méthode participative a facilité les contributions des parties prenantes. La rencontre de restitution à la fin de la mission à Dakar a permis l’exercice d’un contrôle de validité externe et a aidé à l’interprétation des données.

Les versions des rapports préliminaires, provisoires et le rapport final ont été rédigés conformément aux dispositions contenues dans la Liste de Contrôle de Qualité des rapports d’évaluation de l’UNICEF (GEROS) afin d’obtenir l’approbation du rapport d’évaluation et des autres livrables par le groupe de référence.


3.4 Principes éthiques

Rappelons que l’évaluation a été guidée par les principes d’éthique UNEG tels que l’indépendance, l’impartialité, la crédibilité et la transparence. Les évaluateurs n’ont pas de conflit d’intérêts liés à cette évaluation.

L’équipe d’évaluation a respecté la confidentialité des participants interrogés et ne les a pas cités directement. Les marques d’identification directe (par exemple les informations personnelles telles que le nom et l’adresse) ont été retirées.

En vertu de son indépendance, l’équipe se réserve le droit d’inclure ou non les commentaires du groupe de référence en fournissant une explication. En cas de réponse du groupe de référence, le document sera annexé au rapport d’évaluation.

Notons que l’équipe d’évaluation a intégré la dimension des droits de l’homme et d’égalité du genre lors du processus d’évaluation pour répondre aux recommandations de l’UNICEF conformément à la question 21 du processus GEROS.

3.5 Contraintes et mesures de mitigation

Certaines contraintes ont ralenti la mise en œuvre de l’évaluation, pour lesquelles nous avons adopté des mesures de mitigation, comme nous résumons ci-dessous :

Le secrétariat du FFM a fourni à l’équipe d’évaluation la liste des participants au sondage en ligne seulement à la fin du mois de juillet 2019, alors qu’elle était attendue au démarrage de l’évaluation, en juin 2019. Par conséquent, la période active du sondage en ligne a été réduite de moitié : à deux semaines au lieu d’un mois. L’équipe a dû ainsi retarder la date de remise du rapport compte tenu du retard occasionné (la date de remise du rapport d’évaluation avait été fixée le 31 août).

• La mesure de mitigation adoptée (puisque la période de sondage a été raccourcie) a été d’intensifier les rappels aux participants de répondre au sondage en ligne, ce qui a bien fonctionné.

La prise de rendez-vous avec les partenaires extérieurs comme AFD et le Danemark a été gérée par le MEAE. L’équipe d’évaluation n’a pas pu donc communiquer directement avec les participants. Finalement, ces partenaires n’ont finalement jamais été rencontrés par l’équipe d’évaluation alors que l’aspect de la coordination avec AFD était un aspect important de la revue.

• La mesure de mitigation adoptée a été de rencontrer la firme d’évaluation Technopolis à Paris pour obtenir leur analyse sur l’AFD. L’équipe s’est donc basée sur les interviews et sur les constats de l’Évaluation (2019) de Technopolis, ce qui a été très instructif par ailleurs pour valider certains constats de la mission d’évaluation obtenus auparavant au Sénégal auparavant.


4. CONSTATS ET CONCLUSIONS PRELIMINAIRES

Cette section présente les constats et conclusions préliminaires de l’évaluation, regroupés par critère d’évaluation. L’équipe d’évaluation a répondu à toutes les questions évaluatives et a numéroté tous les paragraphes concernant les constats. Les conclusions préliminaires, qui ont été numérotées aussi, sont éparpillées tout au long du texte et dument encadrées. Afin d’assurer la pertinence et crédibilité des conclusions préliminaires, l’équipe d’évaluation a référencié les numéros exacts des paragraphes des constats sur lesquelles se fonde chacune dédites conclusions.


4.1 Pertinence

Question 1 : Dans quelle mesure le FFM et son mécanisme de coordination, d’appui technique et de mise en œuvre répondent-ils aux besoins des parties prenantes ? Question 2 : Dans quelle mesure le dispositif du FFM et son cadre de performance et les outils de suivi et de rapportage sont-ils utiles pour répondre aux besoins des parties prenantes ? Question 3 : Dans quelle mesure le mécanisme de coordination, d’appui technique et de mise en œuvre du dispositif a contribué à l’appropriation partagée du FFM au niveau régional et national ?

4.1.1 Pertinence du FFM pour les parties prenantes

Question 1 : Dans quelle mesure le FFM et son mécanisme de coordination, d’appui technique et de mise en œuvre répondent-ils aux besoins des parties prenantes ?

1. L’engagement de la France à mettre en œuvre les promesses en matière de santé des mères, des nouveau-nés, des enfants et des adolescents prises à l’issue du Sommet G8, tenu à Muskoka, au Canada, en 2010, est à l’origine de la création du FFM en 2011. Depuis, le FFM est devenu un des outils qui permet au MEAE de respecter à la fois les engagements vis-à-vis les Objectifs de développement durable11 (ODD) et envers ses multiples stratégies sectorielles (voir Encadré 1), notamment la mise en œuvre de l’égalité entre les femmes et les hommes comme il a été démontré dans l’évaluation de mi-parcours (EY, 2015) ainsi que l’Évaluation formative sur l’engagement français Muskoka (2019) de Technopolis.

2. L’initiative Muskoka correspond également aux mandats des quatre agences des Nations unies en matière de santé sexuelle, reproductive, maternelle, néonatale et infantile et s’inscrit dans la nouvelle Stratégie mondiale pour la santé de la femme, de l’enfant et de l’adolescent (2016-2030), adoptée par le Secrétaire général des Nations unies, en 2015, afin d’appuyer la mise en œuvre des ODD.

3. Depuis 2018, le dispositif Muskoka répond d’une façon congrue au nouvel appel du secrétaire général des Nations Unies sur l’initiative ‘’UNIS pour la réforme’’, lancée en avril 2018, qui poursuit la réforme Unis dans l’action (Delivering as one) des Nations unies (2006).

Cela, d’autant plus que le Comité interministériel pour la Coopération et le Développement du Gouvernement français a pris la décision de reconduire le FFM (en février 2018). Le dispositif du FFMꟷ construit comme un mécanisme de coordination, d’appui technique et de mise en œuvre réunit les mandats complémentaires et les avantages comparatifs distincts des quatre agencesꟷ, et cadre parfaitement avec le réaménagement du Programme de l’ONU 2030

11 Soit les ODD 3.1 : diminuer le taux de mortalité maternelle, et ODD 3.2 : arrêter les décès évitables des nouveau-nés et des enfants de moins de 5 ans.

Encadré 1 : Alignement du FFM avec les politiques et stratégies sectorielles de la France - La Stratégie de la France en santé mondiale (2017-2021) ; - L’action extérieure de la France sur les enjeux de population, de droits et santé sexuels et reproductifs (2016-2020) ; - La Feuille de route pour l’action de la France à l’international en matière d’amélioration de la nutrition des populations vulnérables (2016-2020) ; - La Stratégie internationale de la France pour l’égalité entre les femmes et les hommes (2018-2022) Source : FFM, Rapport consolidé 8 juin 2018, p. 58-59


comme plateforme d’appui avec une mission de coordination au service des pays pour la mise en œuvre.

4. Les agences des Nations unies impliquées dans la mise en œuvre du FFM travaillent selon les approches participatives sur la base de données probantes, la réduction des inégalités, l’égalité entre les femmes et les hommes et le respect des droits humains (voir Chapitre 5.5 Genre et Droits humains).

Chaque année, les plans d’action sont planifiés selon les priorités des pays. Par exemple, dans les pays d’échantillonnage de l’évaluation, le FFM a appuyé les stratégies nationales suivantes :

• Au Sénégal, la Stratégie SRMNIA 2016-2020 (y compris les Soins obstétricaux et néonataux d’urgence (SONU) et la Planification familiale (PF)) et son Plan intégré SRMNIA, le Plan d’urgence santé, mère et nouveau-né ; la stratégie GFF; la Stratégie nationale de l’équité et de l’égalité de Genre; et le Plan d’action national de lutte contre les violences faites aux femmes et aux filles.

• En Guinée, le Plan stratégique SRMNIA; la Stratégie nationale de repositionnement de la Planification familiale; le Plan stratégique ado/jeunes; le plan stratégique de la nutrition, le plan national de développement sanitaire et la politique pharmaceutique;

• Au Tchad, la Politique nationale de Santé et ses plans quinquennaux de développement ; le Plan stratégique du nouveau-né.

5. Au démarrage, le Fonds Muskoka a financé des analyses d’identification des besoins nationaux ou s’est basé sur des études existantes. Il s’agissait entre autres de présenter et d’analyser les situations nationales en matière de santé de la mère, du nouveau-né et de l’enfant ainsi que les forces et faiblesses du système de santé et des services de santé offerts à la mère et à l’enfant dans chacun des pays participants, comme il a été constaté dans les pays de l’échantillonnage (Guinée12, Sénégal13 et Tchad14, voir Encadré 2).

6. Selon les parties prenantes aux niveaux régional et national qui ont été interviewées au Sénégal, les programmes-pays des agences répondent aux priorités du pays telles que définies dans les plans nationaux, mais doivent toutefois respecter les exigences posées par le MEAE qui ont beaucoup évolué année après année. C’est-à-dire que les plans annuels des agences qui ont été définis avec les autorités peuvent diverger de la planification initiale après avoir été revus par le bailleur.

12 Ministère du Plan Institut National de la Statistique, ministère d’Etat de la Santé et de l’Hygiène publique MEASURE DHS, ICF International, Enquête Démographique et de Santé et à Indicateurs Multiples (EDS-MICS-IV) en Guinée 2012, Rapport Préliminaire, 2012. 13 Dr Birahime Diongue, Analyse initiale de situation de la santé maternelle néonatale et infantile (SMNI) dans le cadre des Fonds français MUSKOKA au Sénégal, Rapport Final, Avril 2013. 14 Ministère de la Santé Publique, Direction de la Santé de la Reproduction et de la Vaccination (DSRV), Analyse de la situation de la santé maternelle, néonatale et infantile au Chad, Février 2013.

Encadré 2 : Des études pour identifier les besoins des pays du FFM en matière de SRMNIA Au Sénégal, l’Analyse initiale de situation de la santé maternelle néonatale et infantile (SMNI) a été publiée en 2013. En Guinée, la planification s’est basée sur l’Enquête Démographique et de Santé et à Indicateurs Multiples (EDS-MICS-IV), menée par ICF International en 2012. Au Tchad, UNICEF a financé une Analyse de situation de la santé maternelle, néonatale et infantile, conduite conjointement par le Gouvernement du Chad avec une aide technique et financière de l’UNICEF, en février 2013. Source : Revue documentaire, rapports du FFM


7. À partir de 2014, le MEAE a été plus précis dans ses directives pour la planification annuelle du FFM en précisant des niveaux d’allocations selon les thèmes et les pays prioritaires. Selon le compte rendu du COPIL de 2014, quatre nouvelles priorités thématiques ont été introduites en 2014 dont la nutrition15. En 2018, les priorités étaient sur le renforcement des activités spécifiques pour l’égalité femme–homme, les interventions intégrées sur les adolescents et les interventions de changement des comportements nutritionnels16. En 2015, le MEAE a demandé de recentrer les fonds vers la mise en œuvre (Composante I), puis a attribué des cibles les années subséquentes. Par exemple, en 2018, 70% des fonds devaient être alloués aux quatre pays prioritaires que sont la Guinée, Mali, Niger, Tchad. Au fil des ans, le FFM a porté de plus en plus l’accent sur la première composante qui reçoit maintenant 85% des fonds pour l’ensemble des pays, et ce, au détriment du financement des composantes 2 et 3 de son programme.

8. Ces contraintes ont pu faire en sorte de diminuer l’appropriation du FFM, (autant par les agences que par les pays) en plus d’altérer l’esprit catalytique du fonds en perturbant le processus de planification (voir Chapitres 5.1.3 Appropriation et 5.2.1 Efficacité pour plus de détails).

9. Selon le sondage en ligne, les parties prenantes estiment de façon générale que le FFM répond adéquatement aux objectifs des pays (Question 1). La majorité des répondants considèrent également que le FFM répond de façon adéquate aux besoins de leur propre organisation, soit 75% des répondants des ministères de la Santé, 85,6% des répondants d’ONU Femmes, 88%, de l’OMS, 94%, de l’UNICEF et 100%, de UNFPA. Les répondants estiment que le FFM répond également aux objectifs et priorités des autres parties prenantes, mais dans une moindre mesure, surtout lorsqu’il est question d’ONU Femmes17.

Constat #1 : Le Fonds français Muskoka s’inscrit dans les plans nationaux des pays et répond aux besoins des quatre agences des Nations Unies impliquéesꟷ en lien avec la réforme onusienne en coursꟷ, et selon les limites posées toutefois par le MEAE (Paragraphes 1 à 9)

4.1.2 Pertinence des structures de gouvernance et des outils de programmation

Question 2 : Dans quelle mesure le dispositif du FFM et son cadre de performance et les outils de suivi et de rapportage sont-ils utiles pour répondre aux besoins des parties prenantes ?

10. Les principales structures de gouvernance : le Comité de Pilotage (COPIL), le Comité technique

15Aussi la violence basée sur le genre, la planification familiale (utilisation des plans d’action du partenariat d’Ouagadougou), le renforcement des systèmes de santé (accessibilité aux soins de qualité) et la soutenabilité financière (Compte rendu du Comité de pilotage, 27 mars 2014, p.5). 16 Compte rendu de la réunion du Comité de Pilotage du Fonds Français Muskoka (FFM), 11 juin 2018, p. 3 17 Les représentants des ministères de la Santé, 75 % d’entre eux, estiment que le projet répond à leurs propres priorités nationales ; 63% estiment que le FFM répond également aux priorités du MEAE (63%), puis dans une moindre mesure aux agences de l’ONU (50% aux objectifs de l’UNICEF, OMS et UNFPA et un peu moins, 38%, à ceux d’ONU Femmes.); Les répondants de l’OMS, 88 % d’entre eux, estiment que le FFM répond aux priorités de leur organisation, tandis que la moitié d’entre eux, 53%, estime que le FFM répond également aux besoins des gouvernements, et dans une moindre mesure, aux besoins des autres agences (37% à ceux de l’UNICEF; 31% de UNFPA; 25% de ONU Femmes) ainsi que du gouvernement français (33%); Les répondants de l’UNICEF, 94% d’entre eux, estiment que le FFM répond aux priorités de leur organisation, 56% estiment que le FFM répond aux besoins des gouvernements et du MEAE, puis à ceux des autres agences (50% de l’OMS; 50% de UNFPA et 44% d’ONU Femmes); Les répondants de UNFPA estiment à 100% que le FFM répond aux priorités de leur organisation, 66,7% estiment que le FFM répond aux besoins des gouvernements, UNICEF et l’OMS et un peu moins de ceux d’ONU Femmes (60%); Les répondants d’ONU Femmes estiment à 85,6% que le FFM répond aux priorités de leur organisation, 43% estiment que le FFM répond aux besoins gouvernements et dans une moindre mesure aux besoins des autres organisations (moins de 25%)


(COTECH), le Secrétariat et les Groupes de Coordination interagences au niveau des pays, ont été indispensables pour mettre en place le dispositif Muskoka au niveau régional et des pays : le COPIL pour assurer la reddition de compte, la gouvernance décisionnelle et impulser une dynamique aux partenaires et le COTECH pour organiser la coordination des agences au niveau régional, le suivi des activités et l’exécution des budgets et travailler en partenariat avec les groupes de coordination des pays (voir aussi le Chapitre 5.4 pour plus de détails sur la Coordination).

11. Cependant, les structures n’ont pas toujours réussi à remplir leur mandat et à maintenir la vision stratégique du FFM, que ce soit le COPIL pour diriger les agences vers une action catalytique ou le COTECH, pour assurer aux équipes pays un solide accompagnement technique et de communication.

12. Le COTECH a réussi à organiser une plateforme régionale interagence SRMNIA qui est unique dans la région, mais il n’est toutefois arrivé à remplir son rôle que partiellement au cours des ans, selon ses membres. Une alliance d’experts en SRMNIA de différentes parties prenantes s’est bel et bien formée, lesquels ont joué un énorme rôle d’influence de connaissances et plus particulièrement dans les domaines de la santé maternelle, de la santé néonatale et des adolescents.

13. De façon générale, il semble que les membres du COTECH n’avaient que très peu de temps à allouer au FFM, que ce soit pour le contrôle de qualité des plans annuels et des études ou pour le suivi de la mise en œuvre du FFM. Selon le Secrétariat du COTECH, l’absence systématique d’une revue interagence de qualité des plans d’action, par exemple, a pu avoir pour conséquence de laisser mettre en œuvre des mini-activités qui sont restées fragmentées et non structurantes.

En résumé, la fonction de président du COTECH était peu visible, pas assez reconnue et l'exercice peu proactif faute de temps et de moyens qui ont été reconnus pour l’exercice de cette fonction. Le Secrétariat du COTECH a été très engagé, mais la structure manquait d’effectifs, de pouvoir de décision et de notoriété en matière d’expertise technique.

Dans certains pays, les équipes ont souffert du manque de soutien des représentants résidents des 4 agences des Nations unies, lesquels n’ont pas toujours semblé donner une priorité forte au FFM. La réussite du FFM au niveau pays dépendait disproportionnellement du dynamisme et de la volonté des points focaux dans les bureaux-pays.

14. Un mécanisme de suivi de résultats qui était prometteur, exécuté par un consortium formé par deux organisations, a été abandonné en cours de route. Les résultats de cette activité ont été jugés trop coûteux et insuffisants par le MEAE qui n’a pas renouvelé l’appui financier. Les données étaient colligées, mais l’analyse technique faisait défaut, selon le MEAE et l’OMS. Les agences ainsi que le Secrétariat ont déploré néanmoins l’arrêt de ces activités qui étaient contractées à une firme externe. Les comptes rendus du COTECH ne sont pas clairs sur cette question, et les interlocuteurs se contredisent. Selon le Secrétariat, cette décision a contribué au fait que le FFM ait failli à démontrer ses résultats ces trois dernières années. Notons que le MEAE a accepté de financer un nouveau poste dédié au S&E qui deviendra effectif en 2019 (voir Chapitre 5.3 sur l’Efficience.)

15. Différents outils ont été élaborés pour la gestion du FFM (cadre logique, cadre de performance, plan d’action annuel, rapport annuel et rapportage financier). Ils ont tous été pertinents, que ce soit pour la planification commune entre les 4 agences, la mise en œuvre et le suivi et le rapportage, cela en raison de l’approche de concertation du FFM. Ils ont dû toutefois être régulièrement révisés et adaptés pour les rendre plus faciles à utiliser.

Les interviews menées à Dakar ont pointé certaines insuffisances de ces outils, entre autres :


Un cadre logique trop large et peu contraignant pour orienter les plans d’action des pays;

Un trop grand nombre d’indicateurs pour le suivi;

Des rapports annuels trop longs, très narratifs et diffus, peu orientés sur les résultats;

Le manque de liens entre les rapports techniques et

financiers;

Suivi-évaluation inégal.

Selon les interviews, la faiblesse de ces outils de gestion a également contribué à la difficulté de bien cerner et faire apprécier les résultats et les succès du FFM. Une donne qui a nui à la visibilité du dispositif Muskoka, un des objectifs clés du MEAE, et plus globalement aux objectifs de reddition de compte.

Les participants au sondage ont aussi pointé certaines lacunes des outils de gestion (voir Encadré 3). Ces derniers restent néanmoins généralement satisfaits des outils mis à leur disposition.

Ainsi, la plupart des répondants, ont estimé assez adéquat le cadre logique, le plan d’action, le rapportage annuel, le cadre de performance ainsi que le rapportage financier.

Les outils jugés moins adéquats que les autres sont le cadre logique et le cadre de performance et les indicateurs, comme le montrent les réponses à la question 3 du sondage présenté ci-dessous dans le Tableau 2.

Tableau 2 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 3

Sondage, question 3 : Les outils du FFM sont-ils adéquats pour assurer une bonne gestion ?

Tout à fait adéquat

Assez adéquat

Pas très adéquat

Pas du tout adéquat

Ne sais pas

Le cadre logique du FFM 23% 55% 20% 0 2%

Le plan d’action (planification) 28% 63% 8% 0 1%

Le rapportage annuel 24% 57% 13% 3% 3%

Le cadre de performance & indicateurs 26% 26% 39% 3% 4%

Le rapportage financier 31% 51% 7% 1% 10%

16. D’après l’analyse documentaire, le cadre logique et ses indicateurs, comme présenté à la Table 2.2 du document de programme Chapitres communs aux 4 agences UNFPA, UNICEF, ONU

Encadré 3 : Les outils de planification, de suivi et de rapportage ꟷ « Le cadre des performances pourrait être simplifié et mettre l’accent sur les domaines d’interventions et non sur les activités » ꟷ « Il y a beaucoup d’indicateurs qui sont difficiles à renseigner et qui ne sont pas mesurés. » ꟷ « Les outils permettent une planification conjointe et donc une synergie dans les actions et un suivi et rapportage de façon concertée. » ꟷ « Les indicateurs ne sont pas identiques d’un pays à l’autre pour permettre de consolider les réalisations globales. » ꟷ « Le rapportage annuel laisse une flexibilité aux pays pour ressortir leurs spécificités, bien que le FFM soit multipays. » ꟷ « Le rapportage ne décrit pas assez les changements et décrit plutôt les activités des acteurs. » ꟷ « Les outils de suivi devraient être alignés aux outils nationaux pour ne pas créer un double travail. » ꟷ « L’appropriation du cadre du FFM a été longue par les parties prenantes. » Source : Commentaires des participants, Sondage en ligneꟷ Question 3.


Femmes, OMS du MEAE18, s’étale sur une dizaine de pages et est long et complexe. Il comporte trop d’indicateurs vérifiables qui ne sont pas nécessairement pertinents au niveau des pays, spécifiquement des indicateurs d’impact, et il n’y a pas suffisamment d’indicateurs régionaux.

17. La revue des différents outils de gestion a montré que les cibles des indicateurs ne sont pas clairement définies et harmonisées.

Sous la composante 1, les indicateurs visent à renseigner des nombres ou des proportions (par exemple, Nombre d’écoles de formation des sages-femmes qui ont intégré des modules genre, droits humains et violences faites aux femmes dans leurs programmes de formation ; Proportion d’accouchements assistés par du personnel qualifié), sans indications quant aux cibles attendues en termes quantitatifs.

Le cadre de suivi et ses indicateurs sont concentrés sur l’impact au niveau national sans porter aucunement d’attention sur les effets au niveau régional. Étant donné la structure du FFM qui est échafaudée à ces deux niveaux, le processus de suivi échoue nécessairement à rapporter l’envergure des résultats du FFM.

Le cadre logique mélange de plus certaines hypothèses avec des conditions préalables ou des résultats potentiels (par exemple, Personnel du secteur pharmaceutique national disponible pour la réalisation de l’évaluation ; Volonté politique et des partenaires existe).

Les rapports ne font pas ressortir clairement les résultats. Ils listent les activités et donnent des renseignements, principalement sur les activités, mais n’expliquent pas les liens avec les programmes ou ne démontrent pas la portée ainsi que les résultats stratégiques du FFM année après année.

Par exemple, le rapport du Sénégal 2016-2017 indique que le taux d’accouchement dans les établissements de santé a légèrement changé, passant de 75% en 2015 à 76%, en 2016, tandis que le nombre d’accouchements assistés par du personnel qualifié est passé de 53%, en 2015, à 59%, en 2016. Ce texte n’explique pas quelle est la contribution du FFM au résultat ni la signification de cette variation d’un pour cent, à savoir si elle est significative ou pas.

Constat #2 : Les structures de gouvernance ont été instrumentales, mais incomplètes pour réaliser la mission du FFMꟷ comme les outils de gestion qui sont utiles, mais insuffisants pour remplir les objectifs selon l’approche du FFM (par. 10-17).

4.1.3 Appropriation du FFM

Question 3 : Dans quelle mesure le mécanisme de coordination, d’appui technique et de mise en œuvre du dispositif a contribué à l’appropriation partagée du FFM au niveau régional et national ?

18. Perçu comme un dispositif unique, le FFM a été investi par les agences des Nations unies, plus particulièrement par celles qui ont obtenu une plus large part de financement (OMS, UNFPA et UNICEF) ainsi que par les bureaux au niveau régional. Selon le COTECH, les membres des bureaux régionaux se sont particulièrement approprié le FFM du fait que le dispositif correspondait à un besoin

18 Ministère des Affaires Étrangères et Européennes, Direction générale de la mondialisation et des biens publics mondiaux, Fonds de solidarité prioritaire, Chapitres Communs aux 4 agences UNFPA, UNICEF, ONU Femmes, OMS, Appui à la réduction de la mortalité maternelle et infantile en Afrique francophone et Haïti, FFM, Final Draft.


de coordination (auparavant ils se réunissaient rarement, en comparaison avec les équipes-pays qui bénéficiaient déjà de plateformes nationales pour se concerter). L’avantage « de sortir des agences et de penser à la façon Muskoka », selon ONU Femmes, est d’ailleurs considéré comme une grande plus-value du dispositif des équipes régionales (voir Chapitre 5.2 sur l’Efficacité).

19. Comme discuté auparavant, des réserves concernent les contraintes imposées par le MEAE qui affaibliraient l’appropriation envers le FFM, en raison des pays focus et des thématiques qui se sont ajoutées à la programmation. Selon le COTECH, les directives annuelles et les revues des plans d’action des agences réalisées par le bailleur ont pu faire dévier les fonds des besoins des pays qui avaient été exprimés sinon les éparpiller, alors que les allocations étaient de plus en plus restreintes chaque année.

Ainsi, selon ONU Femmes, l’équipe en Côte d’Ivoire aurait refusé un octroi de 65 000 dollars américains en 2017 en raison : « d’un saupoudrage qui n’en vaudrait plus la peine ».

Selon le MEAE, l’ajout de nouveaux objectifs prioritaires, en termes géographiques ou thématiques, comme la nutrition ou la santé des adolescentes visait à se pencher sur des problèmes pressants en Afrique de l’Ouest et du Centre. Selon les agences, l’évolution des orientations du FFM répondait à des visées de meilleure visibilité pour la France. En définitive, l’allocation budgétaire fléchée a pu disperser les orientations du programme et, par conséquent, affecter les résultats qui se voulaient catalytiques et stratégiques, comme il avait été prévu à la création du FFM.

20. Le caractère stratégique et innovateur du FFM n’a pas été affirmé depuis le démarrage, puisque les deux autres composantes régionales du FFM (l’harmonisation de l’appui technique et stratégique au niveau régional ; et le financement d’études stratégiques, suivi-évaluation et le renforcement des capacités) sont devenus moins prioritaires au fil du temps par rapport à la première composante thématique SRMNIA (concernant la mise en œuvre d’interventions pour les pays).

21. Le manque d’harmonisation des procédures des agences ainsi que la faiblesse du financement (laquelle a été souvent discutée lors des interviews et commentée dans le sondage en ligne) démontrent les limites de l’appropriation du FFM par les agences. En effet, malgré la bonne collaboration, les agences n’ont pas harmonisé leurs procédures opérationnelles, par exemple, pour gérer le projet régional C’est la vie mis en œuvre par RAES (voir Chapitre 5.4 Coordination). Les agences n’ont pas réussi généralement à générer de nouveaux investissements pour le FFM en provenance d’autres d’organisations (sauf UNFPA qui affirme avoir mobilisé un autre financement interne pour C’est la vie).

22. Au niveau des pays, le FFM a fait une différence en raison de la rareté des fonds dédiés à la mise en œuvre d’interventions en SRMNIA, mais le Fonds n’a pas été une force de levier financier de façon générale (sauf au Tchad, selon un participant du sondage). Le FFM n’a pas non plus créé beaucoup de synergies. Outre la France, seul le Danemark a souhaité investir dans le FFM. Le FFM n’a pas vraiment influencé les plans d’investissements GFF à l’exception des pays où il se trouve une plateforme SRMNIA comme au Sénégal ou un point focal dynamique et proactif comme au Togo. Un grand programme de santé reproductive au Sénégal mis en place récemment et financé par le Canada, et exécuté par UNFPA en collaboration avec le Gouvernement du Sénégal, a été élaboré conformément à l’engagement avec Affaires Mondiales Canada sans consultation avec les 3 autres agences du FFM, selon les entrevues avec les PTF et UNFPA. De l’avis de certains membres du COTECH (de l’UNICEF et du Secrétariat), les représentants résidents n’ont pas été suffisamment impliqués et n’ont pas démontré un réel intérêt pour le FFM. Notons aussi que l’appui donné au début à la Communauté de professionnels mise en place par le mécanisme HHA ne s’est pas poursuivi.


23. L’appropriation de la partie nationale, des gouvernements et des ministères sectoriels a aussi été jugée insuffisante par la plupart des parties prenantes interviewées à Dakar. Certains membres des agences au niveau régional et pays ont affirmé que les décideurs au sein des gouvernements des pays n’ont pas été suffisamment informées et ne connaissent pas ou peu le Fonds français Muskoka. Puisque les fonds des agences sont fongibles, ces derniers ignorent souvent la provenance des fonds et de ce fait, le dispositif Muskoka, selon l’OMS. Selon UNFPA, les acteurs techniques sont plutôt impliqués au quotidien dans la mise en œuvre des activités, mais le niveau politique gagnerait à être plus informé de la provenance des fonds. Il faut aussi signaler le fait que les décideurs au sein des gouvernements ne participent pas actuellement au dispositif, bien que leur présence au sein du Comité de Pilotage (COPIL) ait été discutée (voir Chapitre 5.4.1 Représentations des parties prenantes dans le FFM).

Les commentaires des répondants à la question sur l’adéquation du FFM aux objectifs et aux priorités des parties prenantes sont révélateurs de ces constats (voir Encadré 4).

La majorité des participants (82%) au sondage estiment néanmoins que les autorités gouvernementales (c’est-à-dire les ministères de la Santé) ont été suffisamment impliquées dans le design et les décisions qui ont été prises au cours de la mise en œuvre du FFM (Question 2).

Si on prend en compte seulement les réponses des parties prenantes nationales, les participants jugent également que le gouvernement est assez impliqué (79%). Toutefois, comme discuté au Chapitre 4, peu de participants des gouvernements et d’experts nationaux ont répondu au sondage en ligne, soit 4 membres des ministères de la Santé de 4 pays et 4 ONG19 sur une quarantaine de ces profils (sondage envoyé dans les huit pays du FFM). Ce faible taux de réponse des gouvernements peut également démontrer une méconnaissance du dispositif Muskoka ou un désintérêt pour ceux qui n’ont pas répondu.

Les interviews menées avec les PTF à Dakar ont dévoilé que ces derniers connaissaient peu le FFM. La Banque mondiale ignorait le dispositif Muskoka alors qu’elle coordonne actuellement le mécanisme de financement mondial, ou le GFF (Global Financing Facility), qui se définit comme un des plus grands fonds catalytiques dont l’objectif est de mettre à l’échelle des programmes de SRMNIA.

Constat #3 : Les parties prenantes se sont appropriées le FFM pour collaborer sur le thème de la SRMNIAꟷ les agences régionales des Nations unies les premièresꟷ mais avec certaines limites, surtout au niveau des pays où les agences participaient au sein d’instances de coordination existantes. Les décideurs au sein des gouvernements des pays ne participent pas aux structures de

19 Les répondants proviennent des gouvernements de la Guinée, du Bénin, du Sénégal et la Côte D’Ivoire.

Encadré 4 : L’adéquation du FFM aux objectifs et aux priorités des parties prenantes ꟷ « Les autorités sont impliquées parce qu’il existe une coordination au sein du ministère de la santé. » ꟷ « Les parties nationales sont impliquées, mais pas suffisamment, car il serait très intéressant d’impliquer les leaders religieux, communautaires et les bénéficiaires. » ꟷ Les autorités ne sont pas suffisamment impliquées. Au début de l’initiative, seules les agences des Nations unies étaient suffisamment impliquées. » ꟷ « Outre la Santé, les autres ministères sectoriels tels que les finances et la planification ne sont pas visibles dans le projet » Source : Commentaires des participants, Sondage en ligneꟷ Question 1


gouvernance du FFM et ont une connaissance limitée du Fonds Français Muskoka (par. 18-23).

Conclusion préliminaire #1 sur la Pertinence : Cadrant avec le processus UNIS pour la réforme du Secrétaire général de l’ONU, le FFM est plus pertinent que jamais pour renforcer la mission en SRMNIA des agences des Nations unies qui peinent à se coordonner depuis des années en Afrique de l’Ouest et du Centre. Pourvu que les parties prenantes renforcent le dispositif et leur appropriation du Fonds sous sa forme originale, c’est-à-dire plus stratégique et catalytique.

Les résultats de l’évaluation démontrent la pertinence du dispositif de gouvernance et des outils de programmation du FFM d’autant plus sous sa forme originale, c’est-à-dire avec une portée stratégique et catalytique, pour répondre aux besoins des parties prenantes (Conclusion préliminaire #1). Le mécanisme de coordination, d’appui technique harmonisé et de mise en œuvre concertée du dispositif Muskoka cadre avec le processus UNIS pour la réforme qui a été réitéré en 2018 par le Secrétaire général de l’ONU pour renforcer l’approche commune des agences (Delivering as one). L’avantage « de sortir des agences et de penser à la façon Muskoka » a été considéré comme une grande plus-value du dispositif par les équipes régionales (Constat #1).

Les structures de gouvernance, le Comité de Pilotage (COPIL), le Comité technique (COTECH) et son Secrétariat permanent et les Groupes de Coordination des partenaires, ainsi que les outils de programmation, ont été instrumentaux pour le succès de l’approche du FFM. Cependant, les comités n’ont pas toujours réussi à remplir leur mandat et à maintenir la vision stratégique du FFM. Par exemple le COPIL a eu des difficultés pour diriger les agences vers l’action catalytique qui était visée, et le COTECH, pour assurer aux équipes pays un solide accompagnement technique et de communication. Les outils de gestion ont été indispensables pour servir l’approche du FFM, mais insuffisants pour remplir les objectifs du projet. Par exemple, le cadre logique était trop large et peu contraignant pour orienter les plans d’action des pays, les indicateurs trop nombreux pour le suivi, les rapports annuels longs et peu orientés sur les résultats et le suivi-évaluation était inégal. Les outils de gestion et le dispositif de suivi ont échoué à bien cerner et faire apprécier les résultats et les succès du FFM. Ceci a nui à la visibilité du FFM, un des objectifs clés du bailleur, et plus globalement aux objectifs de reddition de compte (Constat #2).

Les contraintes qui ont été imposées par les organisations ont affaibli l’appropriation du FFM, dont l’imposition par le bailleur d’une liste de pays prioritaires, l’ajout d’un plus grand nombre de thématiques (d’où une dilution des fonds) et l’accent toujours plus grand sur la première composante du FFM concernant la mise en œuvre d’interventions en SRMNIA dans les pays. Ceci s’est fait au détriment des deux composantes régionales, soit l’harmonisation de l’appui technique au niveau régional et le financement d’études stratégiques, du suivi-évaluation et du renforcement des capacités. Ces orientations ont diminué la portée catalytique du Fonds qui avait été visée à l’origine (avec le financement de projet pilote, d’appui stratégique et d’études spécifiques pour générer des données probantes). Ceci malgré que le FFM ait parfois servi à compléter les financements des programmes réguliers en SRMNIA ou « pour boucher des gaps », comme ont pu rapporter certaines agences (Constat #3).


4.2 Efficacité

Question 4 : Quels sont les facteurs clés qui ont contribué au succès ou au ralentissement du dispositif du FFM ? Question 5 : Quels sont les résultats imprévus, positifs et négatifs, de la mise e place de la structure de gouvernance, tant au niveau régional que national ?

4.2.1 Facteurs-clés de succès ou de ralentissement du FFM

Question 4 : Quels sont les facteurs clés qui ont contribué au succès ou au ralentissement du dispositif du FFM ?

24. Depuis 2011, le FFM a mené diverses interventions qui ont attiré l’attention sur les questions de SRMNIA. Celles-ci, très variées, allaient du renforcement des capacités des administrations (formations des sages-femmes dans les pays), à la mise en œuvre d’activités de nutrition ou de planification familiale, à l’appui pour l’élaboration de politiques et de production télévisuelle, radiophonique et d’outils de communication et de changements de comportement (projet régional C’est la vie) (voir Encadré 5).

25. La participation dynamique des parties prenantes et des comités régionaux ou groupes de coordination nationaux au sein des structures et du processus du FFM a été un facteur clé du succès du dispositif autant au niveau régional qu’au niveau des pays.

Le FFM a réussi à mobiliser les Groupes de Coordination des partenaires dans tous les pays qui se sont concertés comme le programme le prévoyait. Comme l’a confirmé l’équipe régionale, les pays, où les groupes étaient déjà actifs et suffisamment financés (comme au Sénégal ou en Côte d’Ivoire), ont beaucoup mieux travaillé en commun que les autres pays, comme le Tchad ou le Mali qui partaient de beaucoup plus loin dans la démarche d’harmonisation des structures.

26. La presque totalité des répondants au sondage au niveau pays (92%) et au niveau régional (89%) s’accordent d’ailleurs sur le fait que le dispositif ait harmonisé l’appui technique et stratégique des agences. Une minorité seulement de répondants n’était pas vraiment d’accord à propos de cet effet d’harmonisation au niveau pays (surtout au Niger et au Tchad) et au niveau régional (Figure 1 ci-dessous).

Encadré 5 : Intervention régionale C’est la vie Financé par les quatre agences des Nations unies impliquées dans le FFM, le feuilleton télévisuel C’est la vie raconte des histoires liées à la SRMNIA de manière très positive. Le producteur (l’ONG RAES), grand partenaire de la coopération française, a mis en onde 62 épisodes de 26 minutes, en a fait une adaptation radio à RFI et a produit des guides de discussion dans toutes les langues d’Afrique de l’Ouest et du Centre. L’ONG travaille à l’échelle communautaire avec la société civile et forme les intervenants des bureaux pays sur les produits. Source : Interview avec l’ONG RAES, Dakar.


Figure 1 Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 5

27. Les participants ont fait part de plusieurs exemples concernant l’harmonisation de l’appui technique et stratégique liés au FFM. Nous les avons présentés, par pays, au Tableau 3, placé en annexe E.

28. L’octroi des nouvelles ressources financières du FFM ainsi que la fongibilité des fonds pour les thématiques en SRMNIA ont été déterminants pour mobiliser les groupes et les bureaux-pays dans les groupes sectoriels Santé. L’allocation budgétaire pluriannuelle et sécurisée entre 2011-2016 a d’ailleurs été un facteur clé de succès, selon les interviews et les réponses au sondage, puisqu’elle a permis d’engager les agences et les pays à plus long terme dans le domaine. Comme le rappelle le rapport annuel du FFM 2018, pour certains pays comme le Togo, cette enveloppe pluriannuelle et sécurisée a été cruciale, car il s’agissait de l’unique contribution de PTF dévolue à la SRMNIA. La diminution des enveloppes financières octroyées au FFM depuis 2018, réduites de moitié, crée certainement moins d’incitatives pour les équipes, comme en témoigne l’exemple en Côte d’Ivoire d’ONU Femmes (voir Chapitre 5.1.3).

29. Selon l’approche qui avait été définie à l’origine, le potentiel du FFM repose particulièrement sur l’encadrement stratégique du COPIL et opérationnel du COTECH et la gestion de son Secrétariat, les pierres angulaires du dispositif Muskoka pour assurer les orientations, la coordination et le suivi rapproché du FFM. Selon les parties prenantes, les structures de gouvernance du FFM ont réussi à créer une vraie équipe de coordination interagence avec une vraie collaboration au niveau régional et à divers stades d’avancement au niveau pays (sauf peut-être au Sénégal, en Guinée et en Côte d’Ivoire qui étaient déjà plus avancés dans l’approche harmonisée).

30. Le dispositif Muskoka avait prévu faire reposer le travail d’équipe et la concertation entre les agences sur des groupes déjà opérationnels dans les pays, notamment le HHA au niveau régional. Or le groupe HHA sur lequel le FFM comptait pour soutenir le leadership et l’appropriation du FFM auprès des gouvernements n’a pas fonctionné comme il avait été prévu, selon le COTECH, ce qui a freiné le rayonnement du dispositif et les résultats.

31. Comme expliqué en introduction (Chapitre 2), le HHA est un mécanisme régional d’appui opérationnel au renforcement des capacités des pays qui est géré par les directeurs régionaux de l’OMS ainsi que le Haut-Commissariat des Nations unies pour les réfugiés (en charge de la codirection). Le FFM y a financé pendant cinq ans les Communautés de Pratiques (CoP) par piliers

7%

0%

4%

46%

43%

5%

3%

57%

36%

Je ne sais pas

Pas du tout d'accord

Pas trop d'accord

Assez d'accord

Tout à fait d'accord

% des répondants

Sondage, question 5: Êtes-vous d’accord avec le fait que le FFM a contribué à l’harmonisation de l’appui technique et

stratégique

au niveau des pays au niveau régional


de systèmes de santé20. Or cet appui n’a pas été concluant, selon les membres du COTECH qui déplorent le manque de dynamisme du HHA. Si l’OMS est d’accord sur le fait que l’appui n’a pas donné de résultats probants, l’organisation estime néanmoins que le FFM devrait poursuivre sa collaboration avec la plateforme régionale existante, mais en ciblant mieux son approche. C’est-à-dire en ne supportant plus ce genre d’activités techniques opérationnelles, mais en finançant directement le HHA et son sous-groupe SRMNIA pour la coordination régionale 21. Selon le Rapport consolidé du FFM (2018), le financement du FFM a appuyé notamment la fédération des sages-femmes francophones d’Afrique (l’intégration des écoles de formation des sages-femmes dans le cursus universitaire), ainsi que pour la Communauté des Pratiques (CoP) sur les Médicaments Essentiels et Politiques Pharmaceutiques e-med.

32. Un facteur porteur a été l’influence et les activités de dissémination des connaissances réalisées par le COTECH pour les pays dans les domaines de la santé néonatale et santé maternelle et des adolescents. Ceci a notamment été fait grâce aux missions conjointes interagences menées dans les pays en matière de SRMNIA ou grâce aux ateliers d’échange d’expériences et de renforcement des capacités menées de façon conjointe. Un exemple est l’atelier SSRAJ interagence, organisé en décembre 2017 et sa production de documents d’orientations techniques et stratégiques développés conjointement (par exemple, les Recommandations pour la pratique clinique des soins obstétricaux et néonataux d’urgence en Afriqueꟷ RPC/SONU). Le COTECH a également fait plusieurs visites de terrain officielles avec les ambassades de France : au Bénin, Mali, Sénégal, Tchad et Togo, selon le Rapport du FFM consolidé (2018).

33. En raison du manque de temps et de ressources, le COTECH n’a pas toujours été en mesure toutefois de revoir en détail et de manière inter-agences les plans d’action annuels des pays comme il avait été prévu, ni d’accompagner les équipes-pays comme il aurait fallu pour répondre aux visées catalytiques du FFM.

34. Développer des interventions nichées et concertées entre quatre agences des Nations unies demande plus de réflexion et de temps que de simplement financer des activités dans des programmes déjà conçus. Or les premières années, le COTECH a organisé des visites de suivi dans plusieurs pays à une fréquence allant de 3 à 4 par année, puis à une par année. Les bureaux pays n’en faisaient pas non plus souvent la demande, a rapporté un membre du COTECH. Les conseils techniques n’étaient pas non plus toujours suivis. Au Tchad, par exemple, où le contexte est difficile, les fonds rares, et la coordination toujours un grand défi, l’équipe-pays a passé outre l’avis du COTECH d’adopter une approche plus stratégique d’un soutien aux hôpitaux à l’échelle du pays avec une dimension de suivi. Le bureau-pays qui travaille avec le Fonds mondial en santé infantile a préféré investir dans une région très peu peuplée et jugée moins pertinente en raison des contraintes (telles, par exemple, la répartition des régions convenue avec la partie nationale).

Selon un membre de UNFPA du COTECH, les missions ne se justifient pas néanmoins tous les ans pour tous les pays, et le suivi à distance était suffisant dans un contexte de contraintes budgétaires. L’appui technique s’est décliné aussi de diverses façons, par exemple, avec l’organisation d’ateliers

20 Dans les domaines suivants : 1) Accès financier aux services de santé, 2) Evidence-Based Planning & Budgeting ; 3) Qualité des soins dans les établissements de santé, y compris les hôpitaux de référence et les centres de santé ; 4) Médicaments essentiels et politiques pharmaceutiques ; 5) Ressources humaines pour la santé avec un accent maternel, nouveau-né, santé des enfants et des adolescents. 21 Comme cela avait été discuté à la réunion du COPIL, à Paris, en 2019, a voulu rappeler le représentant de l’OMS. L’équipe d’évaluation n’avait que les comptes rendus du COPIL pour la période entre 2012 et 2018, pas ceux de 2019.


de renforcement de capacité. 35. Le MEAE estime également que la raréfaction des missions conjointes d’appui techniques a été un problème. Reste que le FFM a bien réussi à harmoniser l’appui technique des bureaux régionaux aux agences avec la mise en place d’une coordination commune. Au niveau des pays, le FFM a réussi à harmoniser la planification et la mise en œuvre dans des zones communes d’intervention et à favoriser un suivi et un rapportage commun. Il reste cependant à renforcer le leadership des gouvernements dans la coordination des partenaires.

36. Malgré l’engagement du COTECH, la notoriété du FFM en termes d’autorité technique dans le domaine du SRMNIA est restée limitée, ce qui a freiné la performance du fonds. Le Secrétariat et le COTECH n’ont pas bénéficié d’un leadership assez fort et d’un poste de président assez visible et disponible pour augmenter son rayonnement auprès des autorités des pays et des autres PTF. Les structures ont aussi souffert de la discontinuation des activités de suivi et de financement pour créer une vraie communauté de professionnelles (ou CoP). Outre le Fonds mondial, le COTECH n’a jamais réussi à mobiliser des intervenants plus stratégiques ou politiques, comme l’ont rapporté certaines parties prenantes, par exemple, comme discuté auparavant, les représentants résidents des agences qui ne se sont pas suffisamment impliqués activement dans le FFM. Le Comité a été lent à innover, (en employant par exemple activement de nouvelles technologies telles que des technologies de webinaire). Il a commencé à le faire récemment, pour activer l’échange, augmenter ses moyens de réunion, et rejoindre les bureaux-pays de la région.

La flexibilité du dispositif a toutefois permis que l’organisation des réunions du COTECH, placée sous la responsabilité du Secrétariat, soit menée aussi par UNFPA ou l’OMS pour éviter un blocage lorsque des membres n’étaient pas disponibles.

37. Si le FFM a obtenu des résultats tangibles de la mise en œuvre de façon générale en SRMNIA, le dispositif n’a sûrement pas réussi à exploiter pleinement son potentiel catalytique.

Par exemple, les procédures des quatre agences pour mettre en œuvre C’est la vie ont presque fait stopper le projet, ont rapporté les responsables de RAES, malgré l’indéniable succès de la production télévisuelle et radiophonique en Afrique de l’Ouest et du Centre (voir Chapitre 5.4.3 Approche commune).

Un montant de cinq millions d’euros a été déboursé pour le volet Recherche opérationnelle qui n’a pas produit les résultats escomptés. Des projets choisis, une seule étude sur la prise en charge des enfants dans les hôpitaux a eu une influence majeure, selon le COTECH. Soit une initiative qui valait environ 20% des fonds et qui était gérée par UNICEF. Le FFM n’a pas su tabler, à cette occasion, sur les avantages comparatifs de ses membres, compte tenu des qualifications probantes de l’OMS (comparativement à UNICEF) et de ses vraies unités de recherche pour tenir ce rôle.

38. Comme discuté au chapitre précédent (5.1. Pertinence), certaines décisions du COPIL auraient freiné le potentiel stratégique des fonds particulièrement suite aux exigences du bailleur ayant trait aux quotas thématiques. Bien que le MEAE estime avoir été prudent dans l’élargissement vers d’autres directions, comme en nutrition, par exemple, les agences ont rapporté mettre en œuvre un paquet d’interventions de plus en plus « costaud », a-t-on affirmé. Selon l’OMS, UNFPA et UNICEF, les interventions qui touchaient à l’essentiel ont dû être réduites, ce qui a constitué un vrai défi.

39. Rappelons que le FFM avait été établi à l’origine pour financer de petites niches, à l’instar de pilotes implantés dans des régions choisies et dans des domaines négligés par les bailleurs ou plus difficiles d’intervention, parce que trop réglementés, ou des études spécifiques, par exemple sur la


fidélisation des ressources humaines dans le domaine de la santé.

Selon le document de programme, la priorité devait être donnée : « …à la recherche et promotion de stratégies innovatrices pour résoudre les goulots d’étranglement qui s’opposent au renforcement du système de santé, notamment en ce qui concerne la disponibilité, accès, utilisation et qualité des soins maternels et infantiles préventifs et curatifs22. »

40. Ainsi, le FFM devait être utilisé comme un fonds stratégique et non pas seulement pour compléter des financements des programmes réguliers ou « pour boucher des gaps », selon des interviews. Déjà en 2014, le MEAE demandait au COTECH, lors d’une réunion du COPIL, d’intervenir de manière plus stratégique dans la planification, la mise en œuvre et le suivi des interventions pour s’assurer : « que seules des Interventions à hauts impacts soient sélectionnées en nombre limité, de façon priorisée23. »

Le besoin d’harmoniser l’action des agences et d’agir en amontꟷ upstreamꟷ est évoqué depuis une quinzaine d’années par les Nations unies. L’UNICEF en a d’ailleurs rappelé l’urgence, notamment la nouvelle directrice générale, Madame Henrietta Fore, comme l’a rapporté un membre de l’équipe régionale de l’UNICEF qui a été interviewé à Dakar. La Stratégie d’UNICEF en matière de santé 2016-203024 met l'accent sur l’action en amont lorsqu’il est question d’intervenir sur les systèmes de santé, L’engagement en amont fait référence aux efforts d’élaboration des politiques et de plaidoyers basés sur des données probantes précédant la mise en œuvre des programmes. Il est souvent question de recherches (evidence generation) ; développement des capacités, des conseils-politiques et techniques (voir Chapitre 7.1, aux Conclusions).

41. Notons que les parties prenantes ont été majoritairement d’avis, à 87%, que le FFM a eu un vrai impact sur les systèmes de santé du gouvernement ainsi que sur les femmes, les enfants et les adolescents : 39 % sont « Tout à fait d’accord », 47% « Assez d’accord » ; 9% « Pas trop d’accord » ; 1% « Pas du tout d’accord » ; 3 % « Ne savent pas ». Dans la liste thématique du FFM, les résultats, selon les répondants, portent surtout sur le développement des Soins obstétricaux et néonatals d’urgence (SONU), la Santé sexuelle et de la reproduction et la Mise en place de systèmes de surveillance et de Planification familiale, et pour Améliorer la qualité des soins des enfants (Figure 2).


22 MEAE, Chapitres communs aux 4 agences p.19 23 FFM, Compte rendu COPIL, mars 2014 24 UNICEF’s Strategy for Health 2016-2030


42. Selon le rapport consolidé du FFM 2011-201725, le dispositif Muskoka a contribué à l’évolution globale des principaux indicateurs en SRMNIA. Les huit pays bénéficiaires du FFM présentent une diminution des ratios de mortalité maternelle et taux de mortalité infanto-juvénile en plus d’avancées en termes de planification familiale, de santé sexuelle et de la reproduction des adolescents et des jeunes, de la nutrition et du renforcement des systèmes de santé.

Constat #4 :

Facteurs-clés de succès : l’octroi de nouvelles ressources financières du FFM et la fongibilité des fonds pour les thématiques en SRMNIA ont été déterminants pour mobiliser les agences ainsi que l’allocation budgétaire pluriannuelle et sécurisée entre 2011-2016. La collaboration des équipes interagences au niveau régional et à divers stades d’avancement au niveau pays, ainsi que l’appui technique harmonisé des agences, notamment l’influence et les activités de dissémination des connaissances réalisées par le COTECH ont été perçus comme des facteurs de succès du dispositif du FFM pour appuyer les plans d’action des pays en santé maternelle et infantile-juvénile et des adolescents.

Facteurs-clés de ralentissement : les exigences du bailleur (pays prioritaires, allocations thématiques) ou les différentes procédures des organisations (qui ont ralenti le seul projet régional d’envergure C’est la vie), des avantages comparatifs des agences qui ne sont pas mis à profit (le volet Recherche géré par UNICEF au lieu de l’OMS), le manque de notoriété (ou de leadership technique) et de visibilité du FFM (des résultats stratégiques qui ne sont pas suffisamment ressortis dans les rapports et qui n’ont pas été disséminés auprès des gouvernements), ainsi que le manque de ressources et de temps (surtout pour l’appui-conseil et le suivi des plans d’action) ont toutefois freiné l’atteinte des résultats et l’effet catalytique du FFM. Notons aussi comme frein au rayonnement

25 FFM, Rapport consolidé 2011-2017, 8 juin 2018

36.7%

40.5%

40.5%

44.3%

48.1%

57.0%

72.2%

72.2%

82.3%

Améliorer la nutrition

Améliorer l’accès aux produits et médicaments essentiels de qualité

Développer les pratiques familiales essentielles

Organiser un accès équitable à un professionnel compétent

Améliorer la qualité des soins aux enfants de moins de cinq ans

Mettre en place des services de planification familiale notammentà base communautaire

Mettre en place un système de surveillance des décès maternelset de la réponse

Améliorer la santé sexuelle et de la reproduction des adolescentset des jeunes

Développer des Soins Obstétricaux et Néonatals d’Urgence (SONU) effectifs

% des répondants

Sondage Q6 : À votre avis, le FFM a-t-il eu un vrai impact sur les systèmes de santé du gouvernement ainsi que sur les femmes, les enfants et les adolescents


du dispositif, le manque de dynamisme du groupe HHA sur lequel le FFM comptait pour soutenir le leadership et l’appropriation du FFM auprès des gouvernements (par. 24-42).

4.2.2 Résultats imprévus

Question 5 : Quels sont les résultats imprévus, positifs et négatifs, de la mise en place de la structure de gouvernance, tant au niveau régional que national ?

43. Certains des participants au sondage ont considéré le travail d’équipe même entre les quatre agences et la synergie des interventions comme un résultat positif inattendu ou imprévu (Bénin, Côte d’Ivoire, Mali, Tchad).

Selon un intervenant au Bénin : « le FFM a permis de mettre ensemble les 4 agences même si ce caractère doit être renforcé. La synergie mise en place a eu un impact positif sur d’autres activités du pays en lien avec la SMNI. Les mêmes équipes nationales ont pris un pli qui a permis d’obtenir de bons résultats, comme dans le cas des activités financées sur les fonds RMNCH ».

44. Même chose en Côte d’Ivoire, au Mali et au Tchad où la bonne coordination et la concertation entre les agences impliquées dans le FFM en faveur de la santé de mère et de l’enfant dans le pays ont été saluées. Au Togo, une nouvelle dynamique de travail d’équipe a été développée.

Au Niger une participante estime qu’un des résultats imprévus est le souhait des autres pays de la région d’Afrique de l’Ouest et du Centre de bénéficier eux aussi du FFM.

45. Selon le COTECH, la concertation d’agences au niveau pays et régional s’est même poursuivie au niveau global. À titre d’exemple, notons la concertation entre l’OMS et les agences lors des grandes réunions en matière de santé, précisément pour la préparation de la grande conférence sur la couverture sanitaire universelle qu’organise l’OMS, à Genève, à l’automne 2019.

Selon UNICEF :« jamais l’OMS n’organiserait ces réunions maintenant sans nous inclure, et vice versa ».

46. Plusieurs participants au sondage ont nommé le projet C’est la vie de RAES comme ayant produit des résultats positifs et certains, au Sénégal, en Guinée et au Niger, d’une envergure même inattendue.

47. Plusieurs participants ont également mentionné le potentiel que procure la flexibilité de financement du FFM, notamment sous des thématiques élargies.

Par exemple, la possibilité de renforcer le secteur pharmaceutique au Tchad, lequel était très dysfonctionnel, a été saluée, à l’instar de l’effet de levier qu’a produit le financement d’une recherche opérationnelle avec l’école de santé de Liverpool.

L’adhésion des communautés au projet soutenu par le FFM, par exemple la SSRJA, a aussi été notée comme un des résultats positifs auquel les intervenants ne s’attendaient pas.

Au Mali, le volet approvisionnement a été largement bénéficiaire du fonds avec de bons résultats sur le terrain, ce qui a également perçu comme un imprévu.

Au Sénégal, la réhabilitation des femmes et filles victimes de violences a été vue comme un résultat positif qui n’avait pas été prévu.


Constat #5 : Une concertation nationale et régionale interagence, jusqu’au niveau global, l’impact de l’initiative régionale de l’ONG RAES et les résultats des appuis à des thématiques élargis ont été des facteurs positifs inattendus (par. 43-47).

Conclusion préliminaire #2 sur l’Efficacité : Le FFM a réussi à mobiliser les équipes interagences, à harmoniser l’appui technique et à améliorer la coordination des interventions au niveau de la région et des pays ainsi qu’à contribuer aux résultats en matière de SRMNIA. Les acquis sont toutefois fragiles en raison du manque de fonds et d’une gouvernance et d’un appui qui manquent pour réellement concrétiser la vision stratégique et catalytique du FFM.

L’efficacité du dispositif du FFM a reposé sur les structures de gouvernance, notamment le Secrétariat et le Comité technique (COTECH) avec les agences lead, qui ont réussi ensemble à mobiliser les équipes régionales et des pays (Groupe de Coordination des pays), à harmoniser l’appui technique et la coordination des interventions au niveau de la région et des pays grâce aux différents outils de programmation. Ils ont aussi ainsi contribué aux résultats en matière de SRMNIA (Conclusion préliminaire #2). La concertation interagence nationale et régionale, jusqu’au niveau global, a été perçue comme un facteur positif inattendu, ainsi que l’impact de l’initiative régionale C’est la vie dans la région (Constat #5).

Les acquis du dispositif du FFM sont toutefois fragiles (Constat #4) en raison : - Des exigences du bailleur citées auparavant (et l’influence sur les orientations stratégiques du

COPIL) ; - Des procédures administratives des différentes des organisations (qui ont presque fait dérailler le

seul projet régional d’envergure C’est la vie) ; - Des avantages comparatifs des agences qui n’ont pas toujours été bien utilisés (par exemple, pour

le volet Recherche qui a été géré par UNICEF au lieu de l’OMS qui possède pourtant les infrastructures) ;

- D’un S&E inégal au cours des ans (qui a échoué à bien faire connaître les résultats stratégiques du FFM et à contribuer à un effet levier) ;

- Du manque de ressources et de temps (Constat #4).


4.2 Efficience

Question 6 : Les ressources humaines pour réaliser les interventions du FFM ont-elles été suffisantes en quantité et en qualité ? Question 7 : Les ressources financières pour réaliser les interventions du FFM ont-elles été suffisantes ? Question 8 : Quelle est la valeur ajoutée des outils programmatiques existants pour la réussite de la mise en œuvre du programme ?

4.3.1 Adéquation des ressources humaines

Question 6 : Les ressources humaines pour réaliser les interventions du FFM ont-elles été suffisantes en quantité et en qualité ?

48. Depuis la création du Fonds, le MEAE a limité les ressources allouées au paiement de postes au sein des agences pour la gestion du FFM afin de favoriser une plateforme légère. La vision était de privilégier l’investissement pour la mise en œuvre des interventions dans les pays et non pas de financer de lourdes structures de gouvernance. L’idée était d’en venir à ce que les agences s’approprient le dispositif du FFM et assurent la pérennité du Fonds.

49. En 2019, le financement des ressources humaines s’élevait à 20% du fonds Muskoka, selon le MEAE. Des postes sont financés à temps plein au Secrétariat (une coordonnatrice et une agente de communication et une secrétaire). D’autres postes sont financés à temps partiel dans les bureaux régionaux sur les fonds du FFM et une autre position est financée à temps plein par le MEAE à l’UNFPA, mais sur des fonds du MEAE autre que le FFM.

50. Cette année, le MEAE a accepté de financer un nouveau poste en suivi-évaluation (logé à l’OMS) pour renforcer le Secrétariat dans sa tâche de suivi-évaluation, après que les agences aient échoué à s’entendre pour financer l’expert sur leurs fonds propres (Compte rendu COPIL, juin 2018).

51. Les bureaux-pays travaillent pour la gestion du FFM sur leurs ressources propres, et certains coordonnateurs lead y consacrent beaucoup de temps, selon les agences (voir Encadré 6).

Selon le rapport annuel 2018, les quatre agences ont réussi à mettre en place une équipe Muskoka « stable et forte » d’une cinquantaine d’experts à l’échelle pays et régional depuis 2011. L’équipe régionale rapporte toutefois que les ressources humaines ont été insuffisantes pour assurer la coordination, le suivi-évaluation du dispositif et la mise en œuvre.

52. Un constat partagé par 50% des participants qui ont jugé les ressources humaines pas assez suffisantes (42%) ou pas du tout suffisantes (8%), comme le montre la Figure 3 ci-dessous :

Encadré 6 : Commentaires des bureaux-pays au sujet des ressources humaines dans le dispositif Muskoka « Au Sénégal, nous remarquons l’absence de point focal pour gérer la coordination interagence. » « Au Tchad, il existe une faible disponibilité et capacité managériale au niveau central dans la planification et le suivi de la mise en oeuvre des activités en matière de SRMNIA. » « Au Tchad, nous souffrons d’une insuffisance en ressources humaines dans les formations sanitaires et cette contribution ne prenait pas en compte cette dimension. » « Au Bénin, le suivi stratégique du FFM a dû être assuré par du personnel senior polyvalent, extrêmement sollicité. » « En Côte d’Ivoire, le volet renforcement des capacités des ministères a été minimisé en raison de l’insuffisance des fonds. » Source : Commentaires des participants, Question 10, Sondage en ligne du FFM.


Figure 3 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 10

53. Selon les agences, le Secrétariat a manqué de personnel avec des compétences techniques depuis le démarrage. Il y a une vraie nécessité de financer un coordinateur technique sénior et techniquement solide et de renforcer l’équipe avec des experts en gestion des connaissances.

54. Le COTECH a précisé que l’implication des collègues des agences en matière d’accompagnement technique et de communication dans les pays a aussi été limitée puisqu’ils doivent répartir leur temps entre la gestion d’un grand nombre de projets qui sont souvent plus significatifs que le FFM en termes financiers.

55. Le Rapport consolidé du FFM (2018) explique que les membres du comité technique se sont beaucoup plus investis ces dernières années en termes de « relais entre les pays, le bailleur et l’extérieur sur la traduction des résultats, le plaidoyer, la production des outils de communication et la représentation lors des conférences internationales et que l’appui technique devrait être renforcer à la deuxième phase26. »

56. L’OMS a estimé pour sa part qu’il y a eu trop peu d’investissements en termes de ressources humaines au niveau des pays, puisque le FFM ne permet pas de payer du personnel au niveau du pays et que les ressources qualifiées sont insuffisantes, un défi systémique dans les pays Muskoka.

Selon UNFPA, il manque de personnel dédié spécifiquement au projet Muskoka dans certains pays et dans certaines agences des Nations unies, bien que les bureaux-pays ont réussi à mettre à contribution les membres de leurs équipes. Par exemple, au Togo, six personnes de leur bureau ont été impliquées directement à la mise en œuvre du programme, en plus des collègues des opérations et de la communication à temps partiel.

Les bureaux-pays d’ONU Femmes éprouvent également d’importantes difficultés à financer les points focaux pour la supervision et le suivi.

UNICEF remarque qu’il n’y a pas de ressources humaines prévues pour les approches intersectorielles, y compris les approches communautaires.

26 Rapport consolidé du FFM (2018), p.64

5%

8%

42%

38%

7%

Je ne sais pas

Pas du tout suffisantes

Pas assez suffisantes

Assez suffisantes

Tout à fait suffisantes

% des répondants

Sondage, question 10: Les ressources humaines pour réaliser lesinterventions du FFM ont-elles été suffisantes en quantité et enqualité?


Constat #6 : Les agences des Nations unies se sont fortement mobilisées pour la gestion du FFM depuis le démarrage en 2011, mais les ressources humaines allouées au FFM ont manqué pour assurer une bonne gouvernance du dispositif, notamment les revues des plans d’action annuels et le suivi-évaluation (par.48-56).

4.3.2 Adéquation de ressources financières

Question 7 : Les ressources financières pour réaliser les interventions du FFM ont-elles été suffisantes ?

57. Lors des interviews, les agences ont indiqué recevoir les fonds du FFM de façon insuffisante et parfois imprévisible. De plus, l’octroi du MEAE d’une allocation annuelle depuis 2017 au lieu de l’allocation pluriannuelle du quinquennat Muskoka (2011-2016) incite peu les agences à engager des interventions à long terme, pourtant une condition d’une aide efficace.

58. Après les deux extensions des années 6 et 7 (2017-2018), le reliquat du FFM s’est clos en 2018 et un nouveau canal de financement a été mis en place au MEAE pour l’année 8 (fin 2018), mais réduit avec un « Fonds de solidarité pour les projets innovants, les sociétés civiles, la francophonie et le développement humain » (FSPI) qui ne permet plus les possibilités de report de reliquats année après année. Les dépenses annuelles doivent maintenant être rapportées au Comité budgétaire et ministériel qui analyse les rapports financiers, lesquels doivent dorénavant être soumis le 31 janvier (au lieu du 28 février) sans exigences narratives, mais sur des indicateurs précis.

Selon le MEAE, la première convention-cadre d’une durée de 5 ans (2011-2015) avait permis une prévisibilité à long terme des fonds contrairement aux deux prolongements exceptionnels qui ont été versés en 2017 et 2018. Le Comité interministériel de la coopération internationale et du développement (CICID) de février 2018, qui octroie le financement du dispositif, à hauteur de 10 millions d’euros par an, a toutefois introduit de nouveau une certaine prévisibilité des financements. La dernière convention-cadre (2019-2020) a été signée pour une durée de 2 ans. En revanche, la loi organique relative aux finances publiques actuellement en vigueur en France ne permet pas un financement pluriannuel à partir du budget de l’État français. Il est impossible pour les agences de planifier à long terme.

59. Le COTECH estime que ces contraintes pèsent de plus en plus lourdement sur la mise en œuvre. Le délai d’allocation de plus en plus tardif ou la restriction de l’utilisation des reliquats peuvent réduire l’impact des interventions puisqu’elles diminuent le temps de mise en œuvre des activités et leur nombre donc leur caractère stratégique. Aussi bien les partenaires que les bureaux pays et régionaux subissent la pression qu’introduisent ces nouveaux paramètres sur la planification et l’exécution annuelle au détriment d’une réflexion murie des interventions avec un calendrier souple d’exécution en fonction des impératifs des pays.

60. Selon le sondage en ligne, la majorité des répondants perçoivent les fonds comme étant insuffisants : 62% ont estimé les ressources financières insuffisantes, comme le présente la Figure 4 ci-dessous.

61. Selon les résultats du sondage en ligne, le système d’allocation annuel des fonds n’a pas non plus été jugé adéquat, spécifiquement la prévisibilité de l’allocation des fonds, par respectivement 67% et 56% des répondants des bureaux régionaux. La moitié des répondants (50%) des bureaux-pays estiment toutefois le contraire : 40% en sont mécontents, 10% se sont abstenus de répondre.


62. L’OMS affirme avoir abandonné des activités par manque de fonds et déplore l’allocation de type annuelle qui empêche la continuité des interventions. ONU Femme évoque un saupoudrage des fonds. UNFPA regrette qu’il n’y ait pas de garanties sur le budget alloué à chaque agence, que l’allocation annuelle des fonds limite la planification à long terme et le risque de perdre le financement lorsqu’il n’est pas utilisé avant la fin de l’année. Selon UNICEF, les enveloppes annuelles sont certes connues assez tôt, mais les décaissements sont imprévisibles dépendamment des procédures des différentes agences. Par exemple, au Sénégal, un intervenant affirme avoir perdu pratiquement le premier trimestre de l’année de mise en œuvre par manque de fonds, et ce, sans savoir les montants qui allaient être attribués. La plupart des intervenants pointent l’énormité des besoins sur le terrain en matière de SRMNIA et la multiplicité des partenaires qui ne permettent pas une bonne répartition des ressources, comme au Tchad.


63. Au total, le FFM a investi un total de 111,187 millions de dollars américains sur 113,151 millions alloués entre 2011 et 2016, comme le montre le Tableau 4 présenté à la page suivante.

64. Selon le Tableau 5, le FFM a financé principalement le renforcement des systèmes de santé dans les pays cibles (70%), l’appui au mécanisme de coordination et les activités interpays et régionales (16%) puis dans une moindre mesure les activités de gestion, de suivi et évaluation et de documentation (6%). Un total de 9,456,000 dollars américains a couvert les frais d’administration, soit 9% du total. À la fin de 2017, l’investissement du FFM s’élevait à 125 millions de dollars américains27.

65. Les agences ont décaissé les enveloppes financières versées par le MEAE. Les quatre agences présentent des taux de décaissements similaires de 98% et 99% entre 2011 et 2016. Selon le Secrétariat, le FFM a toutefois expérimenté des difficultés de décaissements en 2017 et 2018 en raison des quotas thématiques plus restrictifs imposés par le MEAE.

66. Comme discuté aux chapitres précédents, chaque année, le MEAE fait connaître aux agences l’attribution des fonds aux pays et les thématiques d’intervention pour l’année. Des fonds qui sont alloués à la première composante de la mise en œuvre, soit 25% devaient être investis en nutrition, 30%, en SSRAJ, 20% pour le RSS et 25% pour le SMNIA et PF. Or ce n’est pas toutes les agences qui parviennent à décaisser les fonds en vertu des thématiques dans le temps imparti, cela par manque d’opportunités :

« On se casse la tête pour attribuer les fonds et rapporter des résultats selon les thématiques

27 En 2018, le MEAE a reconduit les budgets pour l’année 7 et 8 du FFM de 20 millions euros, répartis comme suit : 35% de l’enveloppe pour UNICEF, 30% chacun pour UNFPA et l’OMS et 5 % pour ONUFEMMES.

7%11%

51%31%

1%

Je ne sais pasPas du tout suffisantes

Pas assez suffisantesAssez suffisantes

Tout à fait suffisantes

% des répondants du sondage

Sondage, question 11: Les ressources financières pour réaliserles interventions du FFM ont-elles été suffisantes ?


imposées, comme en nutrition qui est un domaine pour lequel les agences reçoivent déjà énormément de fonds », a affirmé un membre du COTECH (de l’UNICEF).

Dans ce cas, selon des membres de l’UNICEF et du Secrétariat, les quotas thématiques pourraient être contre-productifs et surtout, à l’inverse de la vision originale catalytique du FFM. Ces derniers estiment par ailleurs que les quotas devraient être abandonnés, sauf pour financer les domaines pauvrement soutenus, comme celui des nouveau-nés, par exemple.

Selon un membre de UNFPA, les quotas en SSRAJ auraient eu un effet positif en permettant d’augmenter les financements de l’agence dans le domaine et les activités alloués.

Tableau 4 : Budget et bilan financier 2011-2016 (en US$)

Composantes UNICEF UNFPA OMS ONU-FEMMES

Total par

composante

Alloué Utilisé Ratio Alloué Utilisé Ratio Alloué Utilisé Ratio Alloué Utilisé Ratio Alloué Utilisé Ratio

Composante 1 Renforcement des systèmes de santé dans les pays cibles

34,598 33,906 98% 23,248 23,078 99% 18,128 17,528 97% 3,150 3,196 101% 79,124 77,708 98%

Composante 2 Appui au mécanisme de coordination HHA et les activités interpays et régionales

2,922 2,850 98% 4,364 4,239 97% 9,822 9,662 98% 1,064 1,034 97% 18,173 17,784 98%

Composante 3 Gestion, Suivi, Évaluation et Documentation des FSP

5,801 5,781 100% 0,484 0,457 94% 6,286 6,238 99%

Total composantes 1, 2 et 3

43,321 42,537 98% 27,612 27,317 99% 27,950 27,190 97% 4,699 4,687 100% 103,582

101,731 98%

Frais administratifs 3,360 3,360 100% 2,209 2,185 99% 3,634 3,544 0,366 0,366 100% 9,569 9,456 99%

Total Année 1 - 6 46,681 45,897 98% 29,821 29,503 99% 31,584 30,734 97 % (*) 5,065 5,053 100% 113,15

1 111,18

7 98%

Source : FFM, Rapport consolidé 8 juin 2018, p.9 pour les données 2011-2016 ; Rapport annuel Fonds français Muskoka 2018 (années 7 et 8) pour la réduction de la mortalité maternelle et infantile en Afrique de l’Ouest et du Centre. Tableau 5 : Fonds utilisés par composante et par agences 2011-2016 (US$)

Composantes Total des fonds utilisés

% des fonds utilisés par

UNICEF


UNFPA


l'OMS

% des fonds utilisés par UN

Femmes


composante

Composante 1 Renforcement des systèmes de santé dans les pays cibles 77,708311 44% 30% 23% 4% 70% Composante 2 Appui au mécanisme de coordination HHA et les activités inter-pays et régionales 17,784491 16% 24% 54% 6% 16%

Composante 3 Gestion, Suivi, Evaluation et Documentation des FSP 6,238109 93% 0% 0% 7% 6%

Total composantes 1, 2 et 3 101,730911 42% 27% 27% 5% 91%

Frais administratifs 9,455888 36% 23% 37% 4% 9%

Total 111,186799 41% 27% 28% 5% 100%


Source : Données colligées à partir Rapport consolidé 2011-2017, 8 juin 2018, p.9 pour les données 2011-2016, FFM.

Constat #7 : Dédiées à un secteur largement sous-financé en Afrique, les ressources financières du FFM font une différence pour les agences, bien qu’elles soient insuffisantes pour atteindre les objectifs en matière de SRMNIA. Les quotas thématiques, l’allocation annuelle et l’imprévisibilité des allocations posent des contraintes en matière d’exécution et limitent l’efficience de la mise en œuvre des interventions (par. 57-66).

4.3.3 Valeur ajoutée des outils de programmation

Question 8 : Quelle est la valeur ajoutée des outils programmatiques existants pour la réussite de la mise en œuvre du programme ?

67. Selon les interviews, les outils de programmation du FFM ont apporté une vraie valeur ajoutée au dispositif Muskoka. Le cadre logique, le plan d’action (planification), le rapportage annuel, le cadre de performance avec les indicateurs à renseigner ont servi aux équipes du FFM pour réaliser une planification conjointe, une mise en œuvre concertée et le suivi et évaluation des initiatives.

68. Selon les intervenants de l’équipe régionale, les outils du FFM sont toutefois imparfaits. Comme discuté au Chapitre 5.1.2 sur la Pertinence, les rapports annuels ne permettent pas de saisir les tendances et les réalisations stratégiques ou encore, les résultats ayant trait à l’influence auprès des pays.

69. Les participants du sondage en ligne ont noté plusieurs avantages des outils de programmation, comme la transparence de l’utilisation des fonds, l’amélioration de la prise de décision basée sur des éléments probants et une meilleure disponibilité des données de base. Selon les répondants, les outils contribuent également à une augmentation des approches programmes en santé maternelle et infantile dans les pays bénéficiaires. Ainsi, sur une échelle de 1 à 5, les participants du sondage ont donné une valeur comprise entre à 3 et 4 à ces quatre avantages, tel que la Figure 5 le présente ci-dessous.


70. De manière globale, le FFM et ses outils de programmation ont permis de planifier et de mettre en œuvre des approches intersectorielles coordonnées et des appuis conjoints aux stratégies nationales, lesquels ont été perçus comme étant les plus grands avantages du FFM par les participants au sondage. Les participants ont aussi nommé comme avantages du FFM, le suivi conjoint des processus et des résultats (49%), l’appui technique coordonné (41%), comme le montrent les résultats du sondage présenté à la Figure 6 ci-dessous

3.83.63.6

3.3

Augmentation des approches programmes SSMNRIAAmélioration de la prise de décision

Amélioration de la transparenceMeilleure disponibilité des données de base

Valeur ajoutée sur une échelle de 1 à 5

Sondage, question 13: Quelle valeur ajoutée sur une échelle de 1 à 5donneriez-vous au cadre logique et aux outils de planification, de suiviet de rapportage parmi la liste suivante



72. D’autres bénéfices ont aussi été rapportés tels que l’amélioration de la manière de travailler en interagences ou le renforcement de la coordination.

Un participant au sondage a évoqué un « développement d’un réflexe de concertation difficilement mesurable, mais non moins réel ».

Au Togo, un participant rapporte un effet d’entrainement des autres partenaires pour appuyer l’approche programme.

73. Au nombre des interventions intersectorielles qui ont été produites par le FFM dans les pays, citons celles présentées par les bureaux-pays de l’échantillonnage : • En Guinée (i) les campagnes de planification familiale où le ministère de la Santé offre les

services de Plannification Familiale, et le ministère de la Jeunesse et de l’action sociale créent la demande en faisant la mobilisation sociale; (ii) Collaboration entre la Direction nationale de la Santé familiale et de la Nutrition et celle des autres directions (Santé communautaire, Pharmacie et laboratoire, les établissements de soins, etc.) du ministère de la Santé dans la mise en œuvre de la santé communautaire des communes de convergence à travers des paquets d’activités intégrés;

• Au Sénégal (iii) la collaboration entre les ministères de la Santé et de la Jeunesse dans la stratégie des adolescents et jeunes; (iv) le New Deal, qui est un pacte communautaire qui prend en charge les besoins des adolescentes et jeunes avec l’appui de trois secteurs (santé, jeunesse, Famille) et les 4 agences (UNICEF, ONU Femmes, UNFPA, OMS);

• Au Tchad (v) un appui conjoint a la SRMNIA dans la province du Kanem; (vi) un appui conjoint de l’OMS, UNICEF et UNFPA à la réalisation de la cartographie des SONU; (vii) des missions conjointes interagence de suivi et d’évaluation dans le Kanem.

Constat #8 : Le FFM et ses outils de programmation ont apporté une valeur ajoutée pour réaliser un appui conjoint aux stratégies nationales et une planification commune ainsi qu’une mise en œuvre concertée, notamment des approches intersectorielles coordonnées, ainsi que le suivi et évaluation

14%

17%

20%

28%

41%

49%

79%

84%

Panier de financement commun

Promotion et l’appui à l’apprentissage systématique entre les pays d’intervention

L’inscription des apports de ressources dans le budget national et l’utilisation des systèmes nationaux

Renforcement des capacités des gouvernements bénéficiaires

Appuis techniques planifiés stratégiquement et bien coordonnés

Suivi conjoint des processus et des résultats, basé sur une plateforme nationale d’information et de redevabilité (études et …

Appui conjoint aux stratégies nationales

Approches intersectorielles: sanitaire, nutrition, santé sexuelle et reproductive, éducatif, communautaire etc.

% des répondants

Sondage, question 4: Pourcentage des répondants ayant citéces avantages suivants du FFM et de ses es outils de programmation:


des initiatives. Les outils pourraient néanmoins être améliorés, notamment le cadre logique et les indicateurs afin de mieux faire le suivi et faire ressortir les résultats du FFM (par. 67-73).

Conclusion préliminaire #3 sur l’Efficience : Malgré la valeur ajoutée du dispositif du FFM, comme les outils de planification qui favorisent une meilleure concertation des agences des Nations unies, le dispositif manque d’efficience en raison de la multiplicité des procédures des cadres opérationnels et du manque de ressources financières et humaines pour remplir pleinement les rôles et responsabilités dévolus aux structures de gouvernance.


4.4 Coordination

Question 9 : Dans quelle mesure les structures de gouvernance, les rôles et les responsabilités étaient-ils suffisamment définis, clairs, organisés et flexibles pour assurer l’efficacité et l’efficience de la mise en œuvre du FFM ? Question 10 : Dans quelle mesure le Gouvernement français, les agences des Nations unies et les gouvernements bénéficiaires ont-ils été suffisamment représentés dans les structures de gouvernance et les processus du FFM ? Question 11 : Dans quelle mesure l’approche commune du FFM a-t-elle amélioré la coordination entre les partenaires du FFM et les autres PTF ? Question 12 : Quels sont les facteurs qui ont le plus et le moins contribué au flux d’informations et au flux de travail entre les niveaux régional et national et les parties prenantes ? Question 13 : Quelles sont les meilleures solutions pour améliorer le fonctionnement du FFM et la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM ?

4.4.1 Structures de gouvernance, rôles et responsabilités du FFM

Question 9 : Dans quelle mesure les structures de gouvernance, les rôles et les responsabilités étaient-ils suffisamment définis, clairs, organisés et flexibles pour assurer l’efficacité et l’efficience de la mise en œuvre du FFM ?

74. Les rôles et les responsabilités des parties prenantes sont décrits sommairement dans le document de programme Chapitres communs du MEAE. Une annexe28 décrit les fonctions de suivi-évaluation du FFM et apporte quelques détails au sujet des rôles des structures en plus de décrire les différents mandats, comme celui du secrétariat du COTECH assuré par le Bureau régional pour l’Afrique de l’Ouest et du Centre de l’UNICEF (BRAOC). Malheureusement, la mission d’évaluation note qu’il n’y a aucun document constitutif qui développe les mandats en détail.

75. Le document indique que trois types de comités assurent le suivi de façon pyramidale, des pays bénéficiaires vers les bailleurs : i. au niveau des pays, le Groupe de coordination des partenaires qui fait le suivi des activités au niveau national et qui est assuré par le comité national déjà existant et fonctionnel (comité HHA, comité H4+, UNCT, comité des partenaires, comité santé, etc.) ; ii. Le Comité technique régional (COTECH) avec une vocation opérationnelle incluant la prise de décision et son Secrétariat coordonné par UNICEF (BRAOC) ; au niveau « bailleurs » ; iii. Le Comité de Pilotage (COPIL) qui est l’instance de gouvernance stratégique.

76. À défaut d’une définition claire de ces structures, les agendas des différentes structures se chevauchent régulièrement depuis 2011, notamment celui du COTECH qui n’a pas été standardisé et qui était peu focalisé, selon les interviews. L’application des décisions prises lors des réunions a été suivie, mais pas de façon systématique d’une réunion à l’autre. Néanmoins, les réunions annuelles du COPIL et les réunions semestrielles (parfois trimestrielles) du COTECH se sont tenues

28 Suivi & Évaluation communs des 3 FSP « Muskoka » Principes, modalités, rôle de l’Unicef-BRAOC


chaque année depuis le démarrage du FFM, comme le démontrent les comptes rendus depuis 2011.

77. Par exemple, le Secrétariat ne préparait pas seulement les réunions du COTECH, comme il était prévu, mais également celles du COPIL. En effet, dans les documents de programme, le mandat du Secrétariat se limitait au COTECH. Au-delà de la préparation et du suivi des réunions et l’organisation du flux d’information, le Secrétariat se chargeait aussi de la coordination et la mise en commun du rapportage et l’élaboration des termes de références des projets régionaux. La capacité du Secrétariat pour exécuter toutes ces tâches était trop limitée, selon l’équipe régionale. À l’origine, il y avait un budget pour recruter des consultants pour accompagner l’exercice de programmation et analyser les cadres d’action et rapport pays, mais celui-ci a été abandonné par la suite.

78. Malgré les difficultés, le leadership et la supervision du Secrétariat permanent et du COTECH ont été indispensables au bon fonctionnement des structures de gouvernance du FFM et ont garanti une bonne circulation d’information parmi les membres du COTECH et du COPIL (Voir Chapitre 5.4.4).

79. Les bureaux régionaux des agences ont joué un rôle important dans le transfert des décisions des COPIL et des COTECH et le partage de l’information qui y circule vers le niveau national.

80. Les Groupes de Coordination interagences au niveau des pays n’auraient pas fonctionné de façon formelle, selon les interviews avec les agences. Ainsi, si certaines équipes pays faisaient des comptes rendus, comme l’a rapporté un membre du COTECH, ils n’ont pas été remis à l’équipe d’évaluation. Cependant l’agence leader (ainsi appelé dans le document de programme) ou point focal (appellation utilisée par plusieurs interlocuteurs) réunissait les agences pour la mise en commun des activités des agences financées par le FFM (plan d’action commun annuel) et dans le suivi commun et le rapportage. Or, la qualité et l’intensité de cette tâche de coordination dépendaient largement de l’engagement du personnel (et le temps disponible) chargé de la tâche.

81. Selon le sondage, les équipes des pays sont davantage satisfaites des structures, rôles et responsabilités tels qu’ils sont actuellement définis que l’équipe régionale. Plus des deux tiers des répondants (69%) des bureaux-pays ont affirmé que les structures de gouvernance, les rôles et les responsabilités étaient suffisamment définis, clairs, organisés et flexibles pour assurer l’efficacité et l’efficience du FFM.

L’équipe régionale pense exactement le contraire : 67% estiment que ces structures de gouvernance, les rôles et les responsabilités ne sont pas assez ou pas du tout définis, clairs, organisés et flexibles pour assurer l’efficacité et l’efficience du FFM, comme le montrent la Figure 7 suivante :


0%11%

56%22%

11%

9%0%

18%47%

26%

Je ne sais pasPas du tout

Pas assezAssez

Tout à fait définies, organisées et flexibles

% des répondants

Sondage, question 15: Dans quelle mesure les structures degouvernance, les rôles et les responsabilités sont suffisammentdéfinis, clairs, organisés et flexibles pour assurer l’efficacité etl’efficience du FFM?

pays régional


82. Selon une majorité des participants (72%), la supervision et le leadership ont été exercés de façon suffisante pour assurer l’efficacité et l’efficience du FFM. Seuls 16% des répondants au sondage en ont jugé autrement, comme illustré à la Figure 8.

Les réponses par agences diffèrent sur ce dernier point : ainsi 27% des répondants de l’OMS ont estimé la supervision et le leadership inadéquats contre 20% des répondants de l’UNFPA, 14% d’ONU Femmes et 11% de l’UNICEF. Certains ont évoqué le manque de ressources (Sénégal), l’irrégularité des supervisions qui n’ont pas été systématiques (Côte d’Ivoire) ou le manque de leadership du niveau national (Tchad). Ils ont aussi noté qu’il faudra plus d’implication de la partie nationale dans les rencontres interpays par exemple (Guinée) et que les ministères doivent être des acteurs actifs et non passifs (Niger).


83. Les équipes ont aussi majoritairement perçu les structures comme étant assez performantes (voir Figure 9). Selon l’équipe régionale, la délégation du leadership au niveau des agences et le mécanisme d’identification des agences leader ont permis justement le fonctionnement du dispositif et de la mise en œuvre du FFM sans avoir recours à d’autres structures ou de ressources humaines additionnelles. Cependant, ce mécanisme pourrait être encore amélioré en définissant mieux les rôles et responsabilités des structures et en améliorant la reddition de compte pour assurer une participation de toutes les parties prenantes.


12%0%

16%53%

19%

Je ne sais pasPas du tout suffisante

Pas assez suffisanteAssez suffisante

Tout à fait suffisante

% des répondants

Sondage, question 17: La supervision et le leadership ont-ils étéexercés ou délégués de façon suffisante aux parties prenantesnationales pour assurer l’efficacité et l’efficience du FFM?

0% 10% 20% 30% 40% 50% 60%

Je ne sais pas

Pas du tout efficientes

Pas assez efficientes

Assez efficientes

Tout à fait efficientes

Je ne saispas

Pas du toutefficientes

Pas assezefficientes

Assezefficientes

Tout à faitefficientes

Comités-pays de coordination 20% 0% 15% 49% 14%Secrétariat 32% 0% 9% 52% 7%COTECH 23% 0% 6% 56% 10%COPIL 34% 1% 5% 50% 10%

Sondage, question 12: Les structures de gouvernance suivantes ont-elles été efficientes pour l’atteinte des objectifs du FFM?


Constat #9 : Les structures de gouvernance ont bien servi les équipes régionales et des bureaux-pays, précisément la supervision du Secrétariat, l’appui du COTECH ainsi que la coordination de l’agence leader. Le processus n’était toutefois pas assez clair et bien défini, au regard de la charge de travail et des capacités limitées des agences, pour assurer l’efficience et l’efficacité de la coordination (par. 74-83).

4.4.2 Représentation des parties prenantes dans les structures de gouvernance et les processus du FFM

Question 10 : Dans quelle mesure le Gouvernement français, les agences des Nations unies et les gouvernements bénéficiaires ont-ils été suffisamment représentés dans les structures de gouvernance et les processus du FFM ? 84. Le Gouvernement français et les quatre agences des Nations Unies sont représentés de façon adéquate dans le Comité de Pilotage (COPIL), selon les interviews avec les parties prenantes. Le MEAE et les agences participent aux réunions annuelles du COPIL au niveau des décideurs (Directeur ou directeur adjoint régional ou départemental), accompagnés de certains collaborateurs. En revanche les agences s’interrogent sur le rôle des représentants du Pôle Politique de santé mondiale du MEAE au sein du Comité technique (COTECH), leur présence étant perçue comme contre-productive, selon certains membres.

De l’avis d’un membre de UNFPA, si certaines sessions du COTECH ne nécessitent pas la présence des membres du MEAE, leur présence est toutefois utile pour s’assurer d’un bon alignement des vues, d’une bonne compréhension des enjeux et challenges auxquels font face les pays et les agences et pour saisir les opportunités de plaidoyer/com/visibilité notamment les grands événements et rencontres.

85. Au sein du COTECH les agences onusiennes sont représentées par des experts (conseillers et spécialistes) et le ministère français s’est fait représenter par des membres du Pôle Politique de santé mondiale du MEAE qui participent aussi au COPIL plutôt que par les conseillers régionaux en santé du ministère.

86. Selon les parties prenantes, les gouvernements n’ont pas été invités à participer aux structures de gouvernance. Les gouvernements des pays ont une représentation au niveau des organes techniques du pays et participent à la supervision des programmes-pays des agences, dont le FFM était une des sources de financement. Toutefois, la sous-représentativité au niveau des instances régionales a affecté la force catalytique et la visibilité du FFM. Par exemple, ils n’assurent pas le leadership des visites conjointes que le FFM a organisé dans les pays.

87. Selon les résultats du sondage en ligne, 37% des répondants estiment que les ministères sont néanmoins suffisamment représentés dans les structures de gouvernance et les processus du FFM29. La moitié seulement considèrent qu’ONU Femmes et le gouvernement français sont suffisamment représentés. Les participants estiment qu’UNICEF, UNFPA et l’OMS sont les mieux représentés dans les structures et processus du dispositif Muskoka, comme le présentent les réponses au sondage à la Figure 10 ci-dessous :

29 N’oublions pas toutefois le faible taux de réponse de la part des ministères : seulement 4 participants des ministères de la Santé de quatre pays, comme il est expliqué au Chapitre 5.1.3 par.23.



88. Certains commentaires des répondants au sondage portent sur le fait qu’il y a eu un manque d’appropriation nationale et de leadership des gouvernements qui devaient assurer la coordination des partenaires dans les pays. Les agences ont essayé d’impliquer les ministères sectoriels, mais avec une effectivité très variable d’un pays à l’autre. Au Togo, l’équipe a noté que : « l’implication du gouvernement est encore un grand défi ».

89. Aussi, certaines agences sont considérées comme étant mieux représentées que d’autres dans le suivi et la mise en œuvre du Muskoka, par exemple UNICEF qui est « plus visible » en Guinée auprès du ministère de la Santé grâce à sa gestion des fonds en nutrition.

ONU Femmes est l’agence qui est le moins bien représentée au sein de la structure de gouvernance, selon les participants. En plus de ne pas avoir des bureaux partout en Afrique de l’Ouest et du Centre, ONU Femmes obtient la plus petite enveloppe financière lors de la répartition des budgets annuels (5% ; Voir Tableau 4), ce qui explique la perception des répondants. Selon l’équipe du Bénin, ONU Femmes n’a pas les fonds annuels suffisants pour la mise en œuvre des interventions. Le COPIL a noté que la représentation au niveau du COTECH d’ONU FEMMES est régulièrement assurée par un assistant technique.

Selon le MEAE, la représentation de l’OMS à la fois des différents niveaux (siège, région et bureaux interpays) et des différents départements (SMNI, médicaments, RHS, nutrition) au niveau du comité technique et du comité de pilotage alourdit sa représentativité au sein du dispositif Muskoka. Une situation « qui tend à créer de la confusion : certaines positions divergent d’avis au sein même de l’OMS et les responsabilités dans la prise de décision et l’action ne sont pas clairement identifiées ».

Constat #10 : Les parties prenantes du FFM sont représentées, bien que de façon inégale, dans les structures de gouvernance et les processus du FFM. Les gouvernements des pays participants n’ont pas été assez impliqués dans le dispositif Muskoka, notamment au niveau des instances régionales ce qui a affecté la force catalytique et la visibilité du FFM (par. 84-89).

4.4.3 Approche commune et coordination entre les partenaires du FFM et les PTF

Question 11 : Dans quelle mesure l’approche commune du FFM a-t-elle amélioré la coordination entre les partenaires du FFM et les autres PTF ?

37%47%

50%51%

70%71%

80%

Ministère de la SantéGouvernement du pays

ONU FemmesGouvernement français

OMSUNFPA

UNICEF

Pourcentage des répondants

Sondage, question 14: Cliquez sur la case associée à la partieprenante lorsque vous êtes d’avis qu’elle a été suffisammentreprésentée dans les structures de gouvernance et lesprocessus du FFM


90. Selon les interviews menées avec les parties prenantes, le FFM a réussi à mettre en place un cadre de concertation régional et thématique pour les quatre agences onusiennes, ce qui est un résultat en soi dans la perspective de l’approche UNIS pour la réforme. Comme discuté aux chapitres précédents, la coordination interagences a été renforcée au niveau régional et des pays et s’est même poursuivie au niveau global.

91. Le FFM demeure cependant un instrument limité pour plusieurs raisons : notamment de par ses multiples cadres opérationnels, puisque les quatre agences n’ont pas harmonisé leurs procédures pour la mise en œuvre, notamment le financement. En effet, l’approche concertée des quatre agences favorisées par le FFM n’a pas mené au développement d’un manuel opérationnel commun et demeure par conséquent une modalité avec des coûts de transaction élevés.

92. Le MEAE a dû conclure quatre conventions de financement distinctes avec les quatre agences, ce qui a demandé un investissement important en temps et en ressources du MEAE et des agences. L’initiative régionale avec RAES a pris du retard en raison des procédures compliquées des agences qui ont conclu, chacune, un contrat avec l’ONG pour exécuter le projet C’est la vie.

En plus d’exiger leurs propres rapports, les agences auditent l’organisation quatre fois par année dans le cadre du FFM. Ces demandes sont tellement coûteuses et compliquées que l’organisation considérait renoncer au financement du FFM lors de la rencontre avec l’équipe d’évaluation en juillet 2019.

93. Le FFM n’a pas non plus été élargi à d’autres partenaires techniques et financiers ni au niveau régional ni au niveau national, à l’exception du Danemark qui a décidé d’appuyer le FFM par un financement délégué au MEAE en 2019. Comme nous avons discuté au Chapitre 5.1.3, la Banque mondiale qui coordonne l’initiative Global Financing Facility (GFF) au Sénégal ne connaissait pas le FFM. Il était prévu au départ que l’harmonisation du FFM avec les programmes SRMNIA d’autres partenaires se fasse à travers les mécanismes mis en place par l’initiative HHA, mais l’initiative a perdu son efficacité et opérationnalité au cours des années, selon l’équipe régionale.

94. Au niveau des pays, c’est actuellement l’initiative GFF qui réunit le gouvernement et les PTF du secteur de la santé à travers le développement d’un plan d’investissement commun. Or, les parties prenantes du FFM n’ont pas développé une stratégie afin d’influencer le GFF dans les pays bénéficiaires. Selon les comptes rendus des réunions du COPIL et du COTECH, cette question n’a pas été mise sur l’agenda non plus.

95. Selon le MEAE, depuis 2016, le FFM essaie d’impulser une nouvelle dynamique de coordination avec les autres PTF comme le Fonds mondial, H6, ONUSIDA ou les structures régionales telles que l’OOAS. Outre le Fonds commun avec lequel se sont rapprochés les agences, une coordination élargie n’est encore pas effective dans la région. Par exemple, les agences ont organisé un événement médiatisé au Sénégal dans une zone où les grands partenaires techniques et financiers travaillent de concert, mais sans même les y convier.

96. Le MEAE essaie depuis le démarrage du FFM de créer des synergies avec AFD en relation aux fonds Muskoka lors de la première phase ou en SRMNIA, des domaines où AFD intervient largement, mais sans réel succès. Les deux organisations opèrent différemment selon leur propre cycle. Selon le ministère, le MEAE qui soutient les organisations multilatérales dont le programme FFM interagences, agit vite, alors que le volet bilatéral a pris quelques années à se mettre en place.

Approchée par le MEAE, AFD ne s’est jamais engagée à améliorer la coordination, même si l’agence est membre du COPIL et que le gouvernement français lui a demandé d’améliorer la coordination,


notamment au niveau pays pour la planification, le suivi et le rapportage.

AFD continue de soutenir les pays dans la thématique SRMNIA sans nécessairement se concerter avec le MEAE et cela, même si l’agence travaille avec l’aide des agences multilatérale des Nations unies, soit les mêmes partenaires du FFM.

97. Malgré ces limites, le FFM a passablement renforcé ou, selon les pays, a initié l’approche commune concertée et la coordination avec les autres PTF. Pour plusieurs pays, le FFM a même été le catalyseur pour la mise en place d’une plateforme de coordination SRMNIA, notamment au Tchad. En fait, les bureaux pays estiment avoir cheminé vers l’atteinte d’un premier niveau d’harmonisation entre les agences, autour duquel devrait se constituer le noyau de l’ensemble des PTF en SRMNIA, comme le note la Côte d’Ivoire.

98. La majorité des participants au sondage de l’équipe régionale estiment que la coordination entre les partenaires du FFM et les autres PTF s’est améliorée, comme le montre la Figure 11 suivante :


99. Les participants au sondage ont fait plusieurs commentaires sur la concertation avec les autres PTF, lesquels ont été résumés par pays, ci-après : Selon l’équipe Bénin, les équipes-pays sont de plus en plus informées des nouvelles au niveau

régional par l’agence leader, laquelle élabore, de façon conjointe, un plan de travail annuel pour le pays ; les rencontres de haut niveau, par exemple, celle qui s’est tenue en mai 2019 au Bénin, a fortement contribué à faire connaître la démarche du FFM auprès des autres PTF ;

En Côte d’Ivoire, des rencontres régulières ont été organisées dans le cadre d’un Groupe de Travail des PTF avec des réunions périodiques ; mais les interventions sont encore cloisonnées ;

En Guinée, la synergie d’action entre les agences du système des Nations unies est remarquable, mais les autres partenaires ont été plus ou moins impliqués ; reste que le FFM a largement contribué à l’harmonisation des interventions. Un comité de coordination a été mis en place et les activités se sont planifiées avec toutes les parties prenantes ; les supervisions et les suivis des actions sont réalisés de façon conjointe. De plus, d’autres structures ont été mises en place à l’image de ce comité du FFM pour assurer le bon fonctionnement des interventions financées par d’autres fonds ;

Au Mali, l’équipe note une faible implication des autres partenaires dans les instances de coordination du FFM ;

22%

0%

11%

44%

22%

9%

0%

9%

41%

41%

Je ne sais pas

Pas du tout amélioré

Pas assez amélioré

Assez amélioré

Tout à fait améllioré

Pourcentage des répondants

Sondage Q18: La coordination du FFM a-t-elle amélioré la coordination entre les partenaires du FFM et les autres PTF?

Bureaux-pays Équipe régionale


Au Niger, le FFM n’est pas connu comme une entité de l’envergure des PTF/Fonds communs. Ceux-ci sont plus reconnus, tiennent des réunions avec le ministère de la Santé et discutent régulièrement des dossiers importants et leurs voix est entendue ;

Au Sénégal, l’appui du FFM a permis une meilleure synergie entre les PTF et les autres partenaires du FFM autour des cibles vulnérables que sont les femmes, les enfants et les adolescentes et jeunes ; le FFM a appuyé la plateforme SRMNIA qui implique tous les partenaires techniques et financiers qui appuient la SRMNIA ;

Au Tchad, la coordination du FFM a conduit au développement de la plateforme nationale de coordination de la SRMNIA-N cadre qui a été adoptée par le ministère de Santé publique. Certains PTF ignorent encore le FFM, mais cette coordination a permis la mobilisation de ressources supplémentaires auprès d’autres partenaires ;

Au Togo, le FFM a été vu comme une charnière entre les Nations unies et les autres PTF. Il y avait déjà une certaine synergie et collaboration avec les PTF et le programme FFM a continué dans ce sens, ce qui a rendu l’exécution synergique d’autant plus facile.

Constat #11 : L’approche commune des agences des Nations unies a amélioré la coordination interagence au niveau régional et des pays (avec les limites liées au manque d’harmonisation des procédures) et s’est même poursuivie au niveau global, mais le potentiel du dispositif reste sous exploité, notamment avec les autres PTF, dont l’AFD (par. 90-99).

4.4.4 Circulation de l’information

Question 12 : Quels sont les facteurs qui ont le plus et le moins contribué au flux d’informations et au flux de travail entre les niveaux régional et national et les parties prenantes ?

100. L’information a circulé grâce aux activités organisées par le COTECH et son Secrétariat, entre autres les missions conjointes, les réunions, échanges courriels et téléphonique et très récemment, les webinaires.

101. La communication a été perçue comme étant insuffisante entre le niveau régional et les niveaux pays de façon générale, selon les interviews menées avec les agences à Dakar et les réponses des participants au sondage en ligne.

102. Selon le COTECH, il y a eu beaucoup de discussions et d’échanges au niveau régional, mais il y a aussi eu un manque de transparence ou de partage des comptes rendus des comités (COPIL et COTECH) et un manque d’implication des pays dans ces organes. Le Secrétariat estime avoir manqué de légitimité pour écrire aux Représentants des pays des 4 agences en plus d’éprouver des difficultés à échanger avec les autres agences. Ainsi, beaucoup d’efforts de transmission ou de relai des informations du Secrétariat au sein de chaque agence ont été nécessaires. Les échanges tenus lors des COTECH et COPIL n’ont pas été toujours restitués et le COTECH a souvent été incapable de faire des retours consolidés sur les PTA annuels dans les temps requis.

103. Les différentes parties prenantes ont rapporté plusieurs facteurs-clé qui ont facilité ou qui ont nui à la circulation de l’information, comme le présente le Tableau 6 ci-dessous :

Tableau 6 : Sondage en ligne sur la gouvernance et les outils du FFMꟷ Question 16


Facteurs clés qui ont contribué à la bonne circulation de l’information

Facteurs clés qui ont freiné la bonne circulation de l’information

UNICEF

Les efforts du secrétariat du COTECH qui a été excellent dans ce rôle de gestion de la circulation de l’information;

Le webinaire organisé la dernière année par COTECH sur les informations clés et facilitation des échanges entre les pays;

Les réunions bilans périodiques; les rencontres régulières pour faire le suivi de la mise en œuvre; les missions conjointes sur le terrain; les rencontres en interne;

Les comités de pilotage intersectoriels nationaux SRMNIA qui ont été mis en place ;

La désignation des points focaux par agence; l’existence d’un point focal régional qui coordonne les activités entre les 4 agences au niveau régional et communique régulièrement (une voix) avec les points focaux pays au nom des 4 agences;

Le rapport annuel basé sur le PTA interagence; la fiche pays pour le rapport; le canevas du PTA (contenu amélioré facilitant l’intégration des interventions interagences, mais aussi le suivi de la mise en œuvre des activités et des budgets); le canevas des bonnes pratiques ;

La disponibilité des outils de planification et de suivi.

Absence de webinaire périodique pour faire le suivi des progrès au niveau des pays ;

Rareté des réunions des Groupes de Coordination SRMNIA national ;

Retards des agences à informer les autorités nationales ; le fait qu’elles ne soient pas toujours associées à certaines décisions prises au niveau régional.

OMS

Les réunions organisées par le COTECH ;

La désignation d’une agence coordinatrice ;

Les appuis techniques du niveau régional ; la disponibilité des collègues du bureau régional et du siège qui partagent l’information au niveau du bureau pays au besoin ;

La communication interne; les échanges courriels et téléphoniques;

Le suivi des financements efficient, tant par le bureau régional que par le siège;

La coordination au niveau des comités nationaux de pilotage ; l’existence d’une plateforme SRMNIA.

Absence de plateforme de partage d’informations et de bonnes pratiques au niveau régional ; décisions inopportunes du niveau régional ;

Multiples canaux de circulation de l’information des agences ;

Multiples points focaux de domaines spécifiques pouvant conduire à des informations contradictoires;

Changement de points focaux de certaines agences et de programmes nationaux;

Imprévisibilité financière.

UNFPA

Les comités de coordination qui ont été mis en place tant au niveau des pays qu’au niveau régional; la tenue régulière des réunions au sein de ces comités;

L’établissement des points focaux des différentes agences;

Le partage d’information et d’expériences, les webconférences avec les équipes techniques régionales ; l’établissement d’un mailing list;

Le dynamisme et la disponibilité de l’équipe régionale;

Les rencontres internationales sur le FFM ;

La bonne entente entre les agences au niveau pays ;

Tenue des réunions irrégulière ; absence de réunions périodiques de partage d’expérience entre les pays et le niveau régional;

Manque de ressources ;

Faible partage des réalisations des bureaux régionaux avec le niveau pays ;

Absence de point focal chargé de la coordination;

Faible implication des acteurs étatiques au niveau pays dans les instances de coordination.


Facteurs clés qui ont contribué à la bonne circulation de l’information

Facteurs clés qui ont freiné la bonne circulation de l’information

L’engagement des parties prenantes; la communication et l’implication des parties prenantes et de la société civile; l’existence de cadres de concertation nationale.

UN Femmes

Les rencontres d’échanges en lien au FFM au niveau régional et niveau pays; l’organisation des webinaires et des conférences régionales ;

Les efforts des points focaux au niveau de l’agence lead du FFM pour la mise à jour du FFM au profit de toutes les agences et structures locales impliquées.

Faible nombre des rencontres de coordination au niveau pays;

L’indisponibilité de certains membres du comité de coordination;

Le problème de connexion quand il s’agit d’organiser une vidéo conférence.

Les ministères de la Santé

Les visites du COTECH;

L’efficience des outils mis en place ; les rapports, les mails et parfois les téléconférences et les rencontres au cours des ateliers; les réunions d’échanges inter pays;

La bonne collaboration entre les agences des NU et les ministères ;

La mise en place d’un comité de pilotage ; la communication au sein des cadres de concertation ;

Le nombre d’années d’appui au ministère;

La pertinence des interventions.

Le retard dans le démarrage;

Le retard dans le démarrage des activités;

Le retard dans la circulation de l’information dans le cadre du FFM entre les différents niveaux (régional et pays);

Le retard de prise de décision;

Le problème de communication ;

L’absence de données par les ministères de la Santé.

Constat #12 : L’information a circulé entre les diverses parties prenantes du FFM grâce aux structures de gouvernance : le COTECH, son Secrétariat et les Groupes de Coordination des partenaires ainsi que les outils de programmation du FFM : missions conjointes, réunions, échanges courriels et téléphonique et webinaire, bien que la communication ait été parfois insuffisante ou pas assez transparente, notamment de la part du COPIL (par. 101-104).

4.4.5 Solutions des parties prenantes pour améliorer le fonctionnement du FFM et la coordination entre les partenaires

Question 13 : Quelles sont les meilleures solutions pour améliorer le fonctionnement du FFM et la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM ?

104. Selon les participants au sondage, les solutions pour améliorer la coordination entre les partenaires du FFM et les autres PTF externe impliquent de mieux définir les rôles et responsabilités des structures de gouvernance, de renforcer le secrétariat du COTECH et l’appui technique, le partage d’information et faciliter les échanges entre les pays avec une Communauté de professionnels de pratiques active.

105. Les solutions impliquent l’amélioration des outils de programmation, alignés avec les ODD ; l’harmonisation des procédures des organisations (cadres opérationnels) ; l’augmentation des ressources (financières et humaines) ; et l’inclusion des parties nationales dans les structures de gouvernance.


106. Selon le MEAE, le FFM doit rechercher une meilleure appropriation de la partie nationale grâce à une participation dans la gouvernance au niveau des pays et du comité de pilotage (COPIL). L’approche doit se recentrer avec des interventions plus catalytiques et cesser d’utiliser les fonds comme financement complémentaire.

107. Enfin, de meilleurs outils de suivi devraient être en mesure de démontrer la valeur ajoutée du FFM auprès des autres partenaires et accroître la visibilité du programme.

109. Les ministères de la Santé constatent qu’ils devraient être mieux engagés dans les processus du FFM et les structures de coordination. La planification conjointe, l’approche multisectorielle et le suivi doivent être renforcés ainsi que la prévisibilité des fonds. Ceux-ci apprécient le fait que les agences partagent davantage l’information et l’alignement des priorités sur les exigences nationales. Le secteur privé devrait être davantage impliqué.

110. Les agences des Nations unies s’accordent sur les points suivants :

Structure de gouvernance : Renforcer le COTECH pour lui assurer meilleure assistance technique dans l’orientation stratégique; redéfinir le cadre de coordination au sein de pays; améliorer les outils le plan d’action ainsi que le cadre de suivi et évaluation; positionner les acquis de la coordination de FFM comme levier pour la mobilisation, suivre d’autres mécanismes de financements en faveur de la SRMNIA i.e. FM et GFF, etc.

Cadres opérationnels et procédures : Élaboration d’un plan de travail annuel consensuel avec les acteurs districts et en tenant en compte des activités éligibles (contribuant à la réduction de la mortalité maternelle et néonatale); uniformiser et alléger les procédures de décaissement justifications des ressources;

Outils de programmation : Renforcer le suivi et l’évaluation ; alléger le rapportage et l’aligner sur les systèmes nationaux;

Ressources : Élargir le financement aux PTF afin de bénéficier d’effet levier; renforcer les ressources humaines responsables de la coordination régionale et nationale.

111. Ci-dessous, dans le Tableau 7, sont listées les solutions présentées par les équipes-pays qui ont participé au sondage en ligne :

Tableau 7 : Sondage en ligneꟷ Question 20 Conclusions, Commentaires des répondants

Sondage Question Conclusion : À votre avis, quelles sont les meilleures solutions pour améliorer le fonctionnement du FFM et la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM ?

Bénin

Renforcer les fonctions de S&E au niveau régional et national; aligner le FFM sur les ODD pour assurer la totale pertinence et alignement stratégique

Renforcer la coordination et l’analyse conjointe des priorités à accompagner au niveau des pays en concertation avec les équipes du pays ;

Planifier et mettre en œuvre les plans d’action à plus long terme (3 ans) et de manière conjointe pour assurer la complémentarité et une meilleure diversification des interventions;

Respecter les périodicités des rencontres; Renforcer le partage d’information entre les agences; Élargir le FFM aux autres partenaires intervenant dans les mêmes domaines.

Côte d’Ivoire

Définir clairement les rôles de chaque partie prenante;


Encourager des missions conjointes de supervision ou de visite des résultats dans les pays tous niveaux confondus; Organiser des rencontres de renforcement des capacités des parties prenantes pour une meilleure appropriation. Assurer un suivi rapproché, identifier des indicateurs de base mesurés dans le pays et en faire le suivi; aligner les fonds aux

priorités et exigences nationales; Accroître le partage de bonnes pratiques; Augmenter les fonds alloués; donner plus aux pays qui ont de bons résultats en matière de décaissement et de résultats

probants au niveau opérationnel; Redéfinir la période d’allocation des ressources aux pays; planifier et mettre en œuvre à plus long terme (2 ans) ; Soutenir des projets qui agissent indirectement sur la problématique du FFM, notamment la régulation pharmaceutique et

l’assainissement du marché pharmaceutique; Renforcer le Groupe de travail thématique des PTF et élargir la participation des autres parties prenantes pour des ordres de

jour spécifiques; Mettre en place un mécanisme de coordination entre les PTF du FFM et les autres PTF; Mettre en place un cadre formel de coordination nationale doté d’un financement pour le suivi de la mise en œuvre des

activités du fond; Bâtir sur la plateforme nationale existante; encourager la fonctionnalité de plateforme nationale inclusive et limiter leur

multiplication; Prendre en compte les partenariats dans la santé comme le GFF; Renforcer la prise en compte la dimension genre.

Guinée

Renforcer la supervision; multiplier les rencontres sous-régionales sur le FFM; Renforcer la coordination ; harmoniser les instances de coordination en les alignant sur celles existantes; Améliorer les procédures; rendre les fonds alloués prévisibles pour la mise en œuvre et le suivi; Améliorer le partage d’information à temps ; Allouer les ressources pour assurer une continuité dans la mise en œuvre des interventions; permettre une planification

biennale avec une évaluation à mi-parcours pour faire coïncider le cycle de planification du fonds avec celui des agences pour minimiser les retards de la mise à disposition des fonds

Impliquer le secteur privé.

Mali

Améliorer le partage d’information (en mettant en place des cadres réguliers) des acquis, les perspectives et les difficultés entre les différents acteurs;

Renforcer la visibilité du programme, du COTECH et du FFM dans les instances de coordination entre partenaires du FFM et les autres partenaires externes au niveau pays;

Rechercher un plus grand engagement des parties nationales dans les processus d’allocation des fonds; engager le bailleur dans les coordinations de tous les niveaux et interpays;

Bâtir sur les acquis; renforcer la coordination.

Niger

Allouer plus de ressources pour les pays; Renforcer les mécanismes de coordination des agences; Adapter les outils programmatiques afin qu’ils répondent mieux au contexte des pays; Mettre en place une plateforme de suivi et d’échange d’informations et de pratiques innovantes pour plus de transparence et

redevabilité; S’inspirer du fonctionnement du Fonds Communs; Renforcer le leadership national; Renforcer l’alignement sur les normes et les procédures du partenaire pour une meilleure exécution.

Sénégal

Renforcer l’appropriation et les capacités de la partie nationale pour qu’elle assume plus de responsabilité dans la planification et mise en œuvre du projet;

Renforcer l’approche multisectorielle; Allouer les budgets à temps pour permettre un taux d’exécution assez élevé des activités (dès le mois de janvier); élaborer un

plan budgétisé pluriannuel; Allouer un staff dédié à la coordination du FFM; nommer un point focal chargé de la coordination;


Renforcer le S&E pour le maintien d’une bonne coordination entre les acteurs et l’implication des représentants dans le suivi et l’évaluation des activités; Réviser le canevas du cadre des performances;

Assurer la régularité des réunions de partage d’information; Renforcer la coordination entre COTECH et au niveau national; impliquer le groupe interagence pays dans les différentes

instances; Renforcer la collaboration des agences avec le gouvernement à travers les programmes conjoints appuyés par les fonds

catalytiques, fédérateurs et innovants FFM (planification conjointe, appui à la mise en œuvre conjointe, monitoring); Renforcer la plateforme SRMNIA qui comprend les PTFs du FFM et les autres partenaires.

Tchad

Planifier à long terme, surtout pour les aspects des ressources humaines qui sont une composante critique et indispensables de la mise en œuvre des programmes;

Actualiser le cadre logique du FFM (plus précis/SMART); fixer les bases et les cibles de chaque indicateur par pays; Organiser des ateliers/réunions de revue annuelle des plans de travail et partager les leçons apprises et les bonnes pratiques;

partager les expériences entre pays bénéficiaires; Allouer davantage de ressources dans des pays qui ont besoin d’appuis techniques multiformes et à long terme; Définir des approches permettant une meilleure appropriation par la partie gouvernementale; renforcer les capacités; les

compétences en leadership et en Gestion axée sur les résultats; promouvoir davantage la fonction de leadership les structures nationales; l’intersectorialité et la multisectorialité;

Tenir compte des recommandations de Cotonou pour une coordination globale en vue de l’atteinte des objectifs; Promouvoir la participation d’autres secteurs et partenaires UN dans la mise en œuvre du FFM; Accroître la visibilité du FFM.

Togo

Renforcer les différents cadres de coordination; élaborer un seul plan d’action pour les agences et faire une répartition interne des responsabilités conformément aux mandats respectifs des agences;

Améliorer les outils de planification et de suivi et évaluation du programme et leur utilisation; la capitalisation et le partage des outils pourront servir à la mobilisation des ressources et le développement d’autres synergies pour la santé maternelle et infantile;

Améliorer la circulation de l’information; Accroître la visibilité des différents comités du FFM; Continuer de développer l’outil de communication C’est la vie (CLV), un puissant moyen de renforcement au service de la

DSSR et du secteur de la politique nationale de développement sanitaire; Améliorer l’implication des acteurs du ministère de la Santé dans les processus du FFM et les structures de coordination (les

directions techniques doivent s’impliquer plus dans la mise en œuvre du FFM et jouer le rôle de coordination); associer la Direction de la santé de la mère et de l’enfant au cadre de concertation nationale; associer davantage le personnel médical ressource sur le terrain.

Constat #13 : Selon les parties prenantes, les solutions pour améliorer le fonctionnement et la coordination entre les partenaires et les PTF externes reposent sur le renforcement du dispositif établi : des structures de gouvernance avec des rôles et responsabilités mieux définis, des outils de programmation et des procédures plus efficaces et des gouvernements plus engagés afin de renforcer et de démontrer la valeur ajoutée du FFM auprès des autres partenaires et accroître la visibilité du programme (par. 104-111).

Conclusion préliminaire #4 sur la Coordination : L’approche commune du FFM a amélioré la coordination des agences des Nations unies dans les pays partenaires, mais elle pourrait être renforcée avec une meilleure définition des rôles et des responsabilités des structures de gouvernance, des outils de programmation plus efficaces pour rendre visible la performance du FFM et une plus grande implication des gouvernements dans le dispositif.


L’approche commune du FFM a manifestement amélioré la coordination entre les partenaires du FFM. Le FFM et ses outils de programmation ont permis l’appui conjoint aux stratégies nationales, la planification commune ainsi qu’une mise en œuvre concertée, notamment d’approches intersectorielles et de suivi et évaluation coordonnés (Constat #8). Le potentiel du dispositif reste toutefois sous-exploité, notamment vis-à-vis les autres PTF, dont l’AFD (Constat #11).

Le Gouvernement français et les agences des Nations unies étaient bien représentés dans les structures de gouvernance et les processus du FFM, mais les gouvernements des pays n’ont pas été associés au dispositif du FFM, surtout au niveau régional. Or le FFM aurait gagné à mieux se faire connaître (Constat #10). Les rôles et responsabilités n’ont pas été suffisamment clairs et bien définis au démarrage; la charge de travail était trop lourde et les capacités limitées pour assurer l’efficience et l’efficacité de la coordination (Constat #9).

Selon les parties prenantes, les solutions pour améliorer le fonctionnement et la coordination reposent sur le renforcement du dispositif établi : des structures de gouvernance avec des rôles et responsabilités mieux définis, des outils de programmation et des procédures plus efficaces, mais aussi des gouvernements plus engagés afin de renforcer et de démontrer la valeur ajoutée du FFM auprès des autres PTF et accroître la visibilité du programme (Constat #13).


4.5 Égalité des genres et réduction des inégalités

Question 14 : Dans quelle mesure le FFM contribue-t-il à la promotion de l’égalité de genre et à la réduction des inégalités et tient-il compte de la question des droits de la personne ?

112. La France et les agences des Nations unies se sont engagées pour la santé des enfants et la promotion des droits des femmes dans le monde à travers plusieurs initiatives, dont le FFM depuis 2011 en Afrique de l’Ouest et du Centre. Ceci a été mis en œuvre, notamment pour faire face aux grands défis que sont la lutte contre la féminisation de la pauvreté, la lutte contre les violences faites aux femmes, la défense des droits liés à la santé sexuelle et procréative, comme le présente le document de programme du MEAE30.

113. Les objectifs de la réduction de la mortalité infantile et de la mortalité maternelle sont au cœur de la stratégie de coopération en santé pour le développement de la France et sont indissociables de l’objectif de promouvoir l’égalité des sexes et l’autonomisation des femmes. En 2018, le FFM a d’ailleurs été reconduit comme un outil pour la mise en œuvre de l’égalité entre les femmes et les hommes31.

114. L’approche du FFM a privilégié une approche de genre en faveur de la lutte contre les pratiques sociales discriminantes et les violences basées sur le genre (VBG) avec un accent sur la santé sexuelle et reproductive (SSR) des jeunes filles, à travers l’approche des droits et le renforcement de leur accès à l’information, aux soins et à un appui psychosocial pour les survivantes.

115. Selon les agences, les plans d’action annuels des pays se sont également basés sur des analyses précises au démarrage du FFM. Par exemple, le Sénégal a fait une analyse formelle de la question du genre dans L’analyse initiale (2013) et a rapporté ses résultats selon les données statistiques désagrégées par sexe et ceci depuis la mise en place du Système national d’information, comme spécifié par l’équipe pays Sénégal dans le sondage.

116. Le Cadre des objectifs, indicateurs et hypothèses communes aux quatre agences du document de programme32 contient des indicateurs spécifiques désagrégés en lien avec le genre, l’équité et les droits humains. Par exemple le Nombre d’écoles de formation des sages-femmes qui ont intégré des modules genre, droits humains et violences faites aux femmes dans leurs programmes de formation ou encore, le Nombre de pays disposant d’un système d’information sur la mortalité maternelle et les

30 MEAE, Chapitres communs aux 4 agences, p.21 31 MEAE, Annexe Convention Cadre ONU Femmes, Muskoka, 2019 32 MEAE, Chapitres communs aux 4 agences, p. 33

Encadré 7 : La mission d’ONU FEMMES ONU Femmes est mandatée pour faire le suivi de la mise en œuvre du Programme d‟Action (PA) de Beijing. Le PA fait de la prévention et de l’élimination de toutes les formes de violence à l’égard des femmes et des filles une priorité absolue. Le PA vise également à assurer l’égalité d’accès à l’éducation et aux soins de santé, et à améliorer la santé en matière de sexualité et de procréation. La mission d’ONU Femmes inclut également le renforcement de la redevabilité et de la coordination des questions d’égalité des sexes au sein du système des Nations unies. Source : Chapitres communs aux 4 agences, p.23.


violences faites aux femmes.

117. Si la dimension genre a été prise en compte dans la planification et la mise en œuvre des actions à entreprendre par chacun des pays, la coordination entre ONU Femmes (voir Encadré 7) et UNFPA dans ce domaine spécifique en partenariat avec les ministères de la Santé, du Genre et de la Famille dans les pays partenaires a particulièrement été recherchée dans le cadre du FFM, de même qu’avec les organisations de femmes dans les pays et tous les organismes pertinents œuvrant en faveur de la promotion des droits des femmes, de l’égalité, de la santé des femmes et de la lutte contre les violences basées sur le genre.

118. Les bonnes pratiques de ces interventions du FFM ont été mises en avant (Rapport consolidé, 2018) dont le Développement des soins obstétricaux et néonataux d’urgence (SONU) ; l’Accès équitable à la sage-femme en tant que professionnel compétent pendant la grossesse et l’accouchement et pour la Santé de la Reproduction ; la Lutte contre les violences faites aux femmes ; la Surveillance des décès maternels ; ou la Gamme complète de méthodes contraceptives modernes offertes pour garantir le droit des utilisateurs.

118. Selon le sondage en ligne, plus de 80% des répondants estiment que le FFM a « Tout à fait » ou « Assez » pris en compte les dimensions de l’égalité entre les femmes et les hommes, d’équité et des droits humains, que ce soit à la planification ou lors de la mise en œuvre (Figure 12).


119. Cette proportion varie toutefois selon l’appartenance des répondants à l’équipe régionale ou aux bureaux-pays des agences, comme les présentent les Figures 13 et 14 ci-après.

Ainsi, l’équipe régionale est moins satisfaite de la performance du FFM à cet égard, comparativement aux membres des bureaux-pays, parce qu’elle estime que les plans d’action et la mise en œuvre ne prennent pas assez en compte les dimensions de l’égalité entre les femmes et les hommes, les questions d’équité et des droits humains.

Selon des participants de l’équipe régionale au sondage, les programmes et interventions ciblées par le FFM font partie de la SRMNIA et donc sont plus centrées sur la santé de la femme/mère prennant en compte la dimension genre, mais cela n’est pas spécifiquement stipulé par les indicateurs désagrégés pour pouvoir le mesurer sur les différents types de bénéficiaires directes et indirectes. Aussi, les indicateurs de genre n’étaient pas suivis systématiquement.

Il faut noter que le MEAE est intervenu sur le sujet et a demandé aux agences (selon le compte rendu du Comité de pilotage de juin 2018 et de juin 2019) de renforcer leurs interventions afin de mieux

3%

1%

13%

44%

40%

4%

0%

16%

46%

34%

Je ne sais pasPas du tout

Pas assezAssez

Tout à fait pris en compte

% de tous les répondants

Sondage, question 19 / Tous les répondants : Les dimensions de l’égalité entre les femmes et leshommes, les questions d’équité et des droits humains ont-ils effectivement été pris en compte dansla planification et la mise en œuvre du FFM ?

La mise en œuvre du FFM Les plans d’action du FFM


contribuer de manière transversale à renforcer l’égalité entre les femmes et les hommes.


120. Les participants des bureaux-pays considèrent que les dimensions sont tout à fait prises en compte autant lors de la planification et lors de la mise en œuvre.

Les participants ont noté l’apport de l’agence ONU Femmes pour tenir compte du genre et des inégalités dans la mise en œuvre des interventions.


120. Notons que les membres des ministères de la Santé qui ont répondu au sondage en ligne considèrent que le volet genre, droits humains et des inégalités est « Tout à fait » pris en compte dans le FFM (63%) ou « Assez » (13%), surtout avec l’implication d’ONU Femmes.

121. Par exemple, en Guinée, le ministère de la Santé a salué le fait que l’initiative Muskoka était d’emblée très sensible au genre (Santé des femmes, des enfants et des adolescents). À leur avis,

0%

11%

33%

4%

11%

0%

0%

56%

33%

11%

Je ne sais pas

Pas du tout

Pas assez

Assez


% des répondants de l'équipe régionale

Sondage, qestion 19 / Équipe régionale : Les dimensions del’égalité entre les femmes et les hommes, les questions d’équité etdes droits humains ont-ils effectivement été pris en compte dans laplanification et la mise en œuvre du FFM ?


3%

0%

10%

43%

43%

4%

0%

10%

48%

37%

Je ne sais pas

Pas du tout

Pas assez

Assez


% des répondants des bureaux-pays

Sondage, question 19 / Bureaux-pays : Les dimensions de l’égalitéentre les femmes et les hommes, les questions d’équité et des droitshumains ont-ils effectivement été pris en compte dans laplanification et la mise en œuvre du FFM ?



l’approche de convergence programmatique et géographique ainsi que la flexibilité dans l’utilisation des ressources Muskoka a permis de focaliser les interventions dans les zones peu desservies et d’accès difficile. Par exemple, le FFM a mis à disposition des sages-femmes dans les zones d’accès difficile.

Les autorités ont aussi noté l’introduction de la dimension du genre dans les outils de collecte des données et l’élaboration d’un recueil sur la planification familiale et les droits des femmes en Islam et le Christianisme ainsi que les modules de formation sur les violences basées sur le genre. Le ministère estime toutefois que les agences devraient renforcer l’accent sur les personnes les plus vulnérables.

Selon UNFPA, ce domaine a été pris en compte avec le Ministère de l’Action sociale sur financement d’ONU Femmes dans le cadre du FFM. Selon ONU Femmes, l’agence qui s’occupe du volet dans le fonds n’était pas présente en Guinée, et le suivi des actions a été quelques fois difficile.

122. Au Sénégal, le ministère de la Santé et les autres ministères concernés, comme celui de la Femme, Famille et Genre accompagnés d’ONU Femmes, estiment également que les aspects en rapport avec le genre ont bien été pris en compte. Le FFM a permis d’appuyer des initiatives relatives au renforcement de l’autonomisation des filles et des jeunes garçons en milieu scolaire et extrascolaire pour une meilleure prévention et une prise en charge de leur santé sexuelle et reproductive, l’impulsion d’un changement des habitudes sociales et d’un environnement plus favorable pour les jeunes filles en particulier en situation de vulnérabilité.

Au Sénégal, les agences ont noté d’ailleurs une forte participation des femmes et des jeunes dans les initiatives financées par le FFM. Selon elles, le fonds a permis une planification tenant compte du genre et le renforcement des initiatives, comme celle du Club des Jeunes filles de Kolda, le respect des minorités dans les interventions.

123. Au Tchad, les agences considèrent que le volet genre, droits humains et des inégalités est bien pris en compte dans le FFM. Les initiatives prennent en compte la dimension genre avec un accent particulier aux plus vulnérables. Par exemple l’approche genre et droits humains est prise en compte avec la mise en œuvre de projet en santé sexuelle et reproductive et la prise en charge des victimes des VBG, selon ONU Femmes

De nombreuses barrières persistent et restent à lever telles que le consentement du conjoint pour une intervention obstétricale, a noté UNFPA.

Constat #14 : L’approche du FFM a privilégié une approche genre, équité et de partenariats, surtout grâce à la collaboration entre ONU Femmes, UNFPA et les ministères de la Santé, du Genre et de la Famille, que ce soit en matière de promotion des méthodes de contraception ou de lutte contre les violences faites aux femmes (par.112-123).

Conclusion préliminaire #5 sur l’Égalité des genres et la réduction des inégalités : Le FFM est basé sur une approche globale de la promotion de l’égalité de genre, des droits humains et de la réduction des inégalités. Au cours des dernières années, le dispositif Muskoka a contribué à l’atteinte des objectifs dans ces domaines en renforçant les synergies produites par la coordination entre les agences et les autres partenaires, notamment entre ONU Femmes et UNFPA.


5 LEÇONS APPRISES

Lors de la collecte et de l’analyse des données, l’équipe d’évaluation ainsi que les parties prenantes et les agences ont tiré des leçons d’ordre stratégique et opérationnelle qui méritent d’être prises en compte plus attentivement dans le futur, pas seulement dans le cadre de ce programme mais aussi d’autres programmes régionaux présentant les mêmes caractéristiques en termes d’ objectifs et zones d’intervention. Ci-dessous quelques exemples :

L’implication des responsables politiques et stratégiques de plus haut niveau (représentants des agences, ministres de la Santé des pays) est nécessaire pour accroître la portée du FFM, l’appropriation des parties prenantes et l’effet de levier en matière de SRMNIA ;

La rotation systématique des agences au niveau des pays est essentielle pour assurer l’efficacité du dispositif et répartir la charge de travail entre les agences ;

Les rapports annuels étaient trop longs et n’ont pas été très utiles pour faire ressortir l’aspect catalytique du FFM et rendre le FFM plus visible ;

Les changements d’orientation et les différents outils émanant du COPIL/COTECH ont créé des ralentissements ;

Les missions interagences de suivi entreprises par le COTECH doivent être mieux préparées et standardisées pour qu’elles soient plus efficaces. La façon de faire n’a pas aidé à leur déroulement et le partage des résultats avec tout le COTECH. Selon un autre membre du COTECH, la standardisation n’est pas forcément souhaitable comme la gouvernance du mécanisme et les appuis techniques diffèrent d’un pays à l’autre. Dans ce cas, l’élaboration d’un canevas de mission peut être recommandée;

L’organisation d’une plateforme régionale interagences SRMNIA (unique dans la région) a demandé beaucoup d’effort de la part du COTECH lors de la première phase. Conséquemment, la deuxième phase devra se concentrer sur l’accompagnement technique et de communication orienté vers les pays ;

L’engagement est essentiel à la gestion du FFM, un programme commun de 10 millions d’euros par an, avec quatre partenaires, ciblant huit à neuf pays, a un coût important en termes d’effort des ressources humaines, d’accompagnement, de temps, de logistique, de communication et de voyages. Il faut assurer la continuité de l’engagement de l’équipe de coordination, le secrétariat et l’implication des 4 agences ;

La coordination avec l’AFD n’a pas eu lieu dans le cadre de la phase du FFM, malgré les efforts des intervenants. Cette coordination est essentielle au niveau des pays pour respecter les engagements internationaux de l’efficacité de l’aide (Déclaration de Paris, Global Partnership for Effective Development Co-operation). Les agences et les conseillers régionaux en santé et tous les autres intervenants devront être mis à contribution pour relancer cette collaboration ;

L’implication des conseillers régionaux en santé mondiale dans le dispositif Muskoka a permis d’améliorer la communication entre les équipes pays et les Ambassades et a permis de réaliser des événements d’envergure dans les pays avec le soutien de la France;

Les Communautés de Pratiques (CdP) financées par les FFM ont permis de mobiliser et faire interagir 6 000 professionnels de la santé de 65 pays. L’efficacité potentielle des CdP (difficile à mesurer) est due aux échanges d’informations et d’expérience, à la richesse des débats et à toute la connaissance ainsi générée par la mise en réseau de tous ces cerveaux. Elles ont réussi aussi à établir un modèle interactif d’échanges et de partage de connaissances et d’expériences. Elles


ont fait face à de nombreux challenges, dont l’hétérogénéité des groupes de discussion, la nécessité d’avoir un manager/facilitateur à plein temps (donc « salarié »), la domination de certains groupes ou organisations et les difficultés de financement (procédures).


6 CONCLUSIONS

Les constats et conclusions preliminaires ont été regroupés par critère tandis que la restitution des conclusions finales sera faitre selon les deux themes ci-dessous, qui ont été identifiés d’une facon participative, en collaboration avec toutes les parties prenantes. Néanmoins, la cohérence globale entre les criteres d’evaluation, les questions evaluatives, les constats, conclusion preliminaires finales et les recommandations est explicites au sein de l’annexe D.

6.1 Thème 1 : Gouvernance et processus du FFM

Conclusion # 1 : Les structures de gouvernance du Fonds français Muskoka sont pertinentes, d’autant plus dans le cadre d’UNIS pour la réforme, pour renforcer l’approche commune et la coordination interagence, mais l’appropriation est encore insuffisante et les rôles et les responsabilités des comités, pas assez clairs et bien définis, pour assurer l’efficience et l’efficacité de la coordination et de la mise en œuvre en SRMNIA (Conclusions préliminaires #1 à 5).

Depuis 2011, le FFM vise à appuyer les pays d’Afrique de l’Ouest et du Centre francophones à l’atteinte des ODD dans l’esprit de la Déclaration de Paris sur l’efficacité de l’aide. Perçu comme un modèle de coordination opérationnelle comme prévu dans la réforme de l’ONU, lancée en 2018 par le Secrétaire général, le FFM avec son dispositif de gouvernance : le Comité de Pilotage, le Comité technique et le Secrétariat et les Groupes de Coordination interagence au niveau des pays, a effectivement mis en place un mécanisme novateur de coordination et d’appui technique au service de la mise en œuvre d’interventions SRMNIA aux niveaux régional et national. Ces structures de gouvernance ont été instrumentales pour réaliser la mission du FFM (Constats #1-2).

Cette plateforme régionale en SRMNIA, unique dans la région, a contribué à l’amélioration des ratios de mortalité maternelle et taux de mortalité infanto-juvénile en plus d’avancées en termes de planification familiale, de santé sexuelle et de la reproduction des adolescents & des jeunes, de la nutrition et du renforcement des systèmes de santé. Le nouveau financement en SRMNIA pluriannuel sécurisé (entre 2011-2016) et la fongibilité des fonds ont été déterminants pour mobiliser les agences dans un domaine où les ressources sont rares. L’engagement du Secrétariat du COTECH et des agences lead, le rôle d’influence du Comité technique et de dissémination des connaissances dans ces domaines ont été largement reconnus par les parties prenantes. Le projet de production C’est la vie a eu un impact stratégique d’envergure grâce à la qualité des outils de communication élaborés et leur dissémination à grande échelle.

Si les structures de gouvernance ont été bien mises en place, ainsi qu’une architecture de mise en œuvre couvrant deux niveaux d’interventions, régional et national, le processus n’était toutefois pas assez clair et bien défini, d’autant plus au regard de la charge de travail et des capacités limitées des agences (Constat #9). L’approche commune des agences des Nations unies a amélioré la coordination interagence au niveau régional et des pays et s’est même poursuivie au niveau global (ce qui était inattendu), mais le potentiel du dispositif reste néanmoins sous-exploité, notamment avec les autres PTF, dont l’AFD (Constat #11).

Les gouvernements n’étaient pas non plus assez impliqués dans le dispositif, notamment dans les


structures régionales, ce qui a pu aussi affecter l’impact et la visibilité du FFM (Constats #10). Le manque d’harmonisation des procédures des agences ainsi que la faiblesse du financement (les agences n’ont pas réussi à générer de nouveaux investissements pour le FFM en provenance de fonds propres ou d’autres financements d’organisations) ont aussi démontré les limites de l’appropriation du FFM (Constat #3).

Le groupe Harmonisation pour la santé en Afrique (HHA) sur lequel le FFM comptait pour soutenir le leadership et l’appropriation du FFM auprès des gouvernements n’a pas été très actif. Outre son rôle d’influence technique, le COTECH n’a pas été très performant à la mise en œuvre des composantes du volet 2 et 3, pour les volets de la recherche, du suivi-évaluation ou de la supervision des activités de planification, de mise en œuvre et de suivi des interventions au niveau pays. À titre d’exemples : la signature de quatre contrats imposés à l’ONG RAES en plus de quatre audits annuels pour le projet C’est la vie ; les opportunités manquées avec la production d’études gérées par l’UNICEF au lieu de l’OMS qui possédait pourtant les avantages comparatifs pour le faire ; le manque d’accompagnement pour revoir les plans d’action des pays qui ont fait en sorte d’affaiblir la portée du FFM qui se voulait originalement un fonds stratégique et catalytique (Constats #4 et 11).

À cet égard, les décisions du COPIL n’ont pas toujours contribué à préserver « l’esprit Muskoka ». Si l’initiative s’inscrivait effectivement dans le cadre de recherche de l’harmonisation, la synergie et coût-efficacité dans l’esprit de la Déclaration de Paris sur l’efficacité de l’aide, la priorité du Comité de pilotage n’a pas tant été orientée comme il se devait.

Selon le document de programme du MEAE, Chapitres communs aux quatre agences, à « …la recherche et promotion de stratégies innovatrices pour résoudre les goulots d’étranglement qui s’opposent au renforcement du système de santé, notamment en ce qui concerne la disponibilité, accès, utilisation et qualité des soins maternels et infantiles préventifs et curatifs. »

Les orientations stratégiques qui ont beaucoup évolué en cours de route ont fait en sorte de mettre de l’avant des directives contraignantes pour les agences, par exemple, une liste de pays prioritaires, de nouvelles thématiques ou des cibles d’allocations, qui répondaient parfois davantage aux exigences du bailleur qu’aux réels besoins des pays, tels qu’ils étaient analysés par les experts sur le terrain (Constat #3 et 4).

De façon générale, les agences des Nations unies se sont fortement mobilisées pour la gestion du FFM depuis le démarrage en 2011, mais les ressources humaines allouées ont manqué pour assurer une bonne gouvernance du dispositif. Par exemple, le Secrétariat du COTECH a été notamment très engagé, mais la structure manquait d’effectifs, de pouvoir de décision et de notoriété technique (Constat #6). Les ressources financières du FFM font une différence pour les agences, bien qu’elles soient insuffisantes pour atteindre les objectifs en matière de SRMNIA. Les quotas thématiques, l’allocation annuelle et l’imprévisibilité des allocations posent des contraintes en matière d’exécution et limitent l’efficience de la mise en œuvre des interventions (Constat #7).

Au terme de la première phase, le FFM est loin d’avoir atteint son plein potentiel au niveau régional et au niveau des pays. Une structure de gouvernance mieux définie et inclusive ainsi que la mise en place d’un fonds fiduciaire SRMNIA pour la sous-région, logé aux Nations unies sont des solutions pour renforcer l’appropriation, l’efficacité et l’efficience. Comme l’a prévu le bailleur, les agences doivent contribuer davantage en termes de ressources pour assurer la pérennité du dispositif Muskoka, lequel s’inscrit parfaitement dans le processus UNIS pour la réforme, et travailler à une meilleure harmonisation de leurs procédures pour remplir la vision stratégique du FFM et développer


leurs actions en amont (upstream work).

En effet, le futur du FFM passe par le renforcement des trois volets comme ils avaient été développés à l’origine selon le COTECH. C’est-à-dire renforcer le rôle technique (accompagner d’autres mécanismes, notamment le GFF) ; renforcer l’action conjuguée ꟷharmoniséeꟷ des agences pour éviter la duplication, compter toujours plus sur les avantages comparatifs ; et renforcer l’appropriation et les structures pour qu’elles deviennent la référence régionale en SRMNIA.

6.2 Thème 2 : Outils de programmation

Conclusions # 2 : Les outils de programmation ont été utiles pour concerter les agences, mais insuffisants pour assurer une gestion efficace et efficiente du FFM, une bonne visibilité et améliorer l’impact en matière de SRMNIA dans les pays d’Afrique de l’Ouest et du Centre (Conclusions préliminaires #1-4).

Bien que pertinents pour les questions de reddition de compte et l’approche de coordination du FFM (planification, mise en œuvre et suivi), les outils de programmation ont été peu utilisés par les parties prenantes pour la prise de décision et la visibilité du FFM, des éléments cruciaux afin d’améliorer la performance et l’effet de levier auprès des partenaires (Constat #13).

En raison de certaines faiblesses de ces outils, les agences n’ont pas réussi à collecter toutes les données pertinentes et à produire des analyses de ces données afin de faire ressortir et faire apprécier les résultats et les succès du FFM.

Ainsi, le cadre logique qui a été développé par les agences est trop large, et contraint peu les bureaux-pays lors de la planification pour orienter les plans d’action ; un trop grand nombre d’indicateurs affaiblissent le suivi parce qu’ils ne peuvent jamais tous être renseignés ; des rapports annuels trop longs, très narratifs et diffus, peu orientés sur les résultats aident peu à la prise de décisions et à faire connaître les résultats du FFM (Constat #2).

Comme discuté ci-dessus, certains éléments des volets régionaux ont été laissés de côté dont le suivi par un consortium de firmes externe (Composante 3 volet suivi- évaluation) ou le développement d’un tableau de bord SRMNIA. En absence de ressources dédiées à la tâche de Suivi-Evaluation et d’un tableau de bord, les rapports annuels étaient longs, descriptifs et non orientés sur les résultats.

Les revues des plans d’action et des rapports n’ont pas été faites systématiquement par le COTECH, ce qui a affaibli la portée du FFM. Ces fonctions doivent être renforcées (y compris le personnel chargé des finances et du suivi et évaluation) afin de garantir que le travail est coordonné et aligné, que les personnes ne travaillent pas en silo, que l’analyse est stratégique et les rapports de qualité. L’examen de ces documents prend beaucoup de temps et les personnes interrogées ont noté que de nombreux documents étaient incomplets. La rationalisation de ces rapports facilitera le processus d’assurance-qualité (Constat #4).

L’impact ultime du FFM concerne la santé sexuelle, reproductive, maternelle, néonatale, infantile et des adolescents, et la mise en œuvre est axés sur les activités, les produits et les résultats au niveau pays et régional. Pour rendre le FFM plus visible, les résultats stratégiques et catalytiques comme ceux liés aux activités régionales, à la coordination et à l’harmonisation entre les agences des Nations Unies (UNIS pour la réforme) devraient être rapportés. Par exemple, les résultats en termes d’appuis


conjoints aux stratégies nationales, de la planification commune ou de la mise en œuvre concertée, notamment d’approches intersectorielles coordonnéesꟷ considérés comme les grandes valeurs ajoutées du FFM ainsi que ses outils de programmation selon les parties prenantes (Constat #8).

Les outils pourraient donc être améliorés, notamment le cadre logique et les indicateurs, afin de mieux faire le suivi et faire ressortir les résultats stratégiques du FFM.

Le rapport annuel devrait être court, clair et simple et fournir une analyse des tendances à partir des hypothèses, des résultats et des impacts renseignés par les indicateurs et insister sur les résultats stratégiques régionaux.

L’exemple d’un score card a souvent été donné par les agences lors des interviews.

La théorie du changement devrait idéalement s’aligner sur les ODD, +H6, les stratégies nationales et le plan d’investissement en Santé élaboré dans le cadre du GFF. Le nombre d’indicateurs devrait être rationalisé.

Une théorie du changement avec ses indicateurs pour le suivi des résultats devrait démontrer la logique du FFM et mettre l’accent sur la nature catalytique du fonds qui devrait d’ailleurs être également redéfini avec des types d’indicateurs qui ont un effet levier. C’est-à-dire en termes de résultats durables au-delà des résultats que le Fonds peut obtenir directement avec les interventions. Par exemple, il peut s’agir de stratégies de mobilisation comme le plaidoyer politique; dialogue politique et soutien à la réforme législative; le renforcement institutionnel des partenaires locaux; développer, tester et documenter des modèles innovants, reproductibles et évolutifs; la production, la circulation et la gestion des connaissances; et la mobilisation de partenariats pour la programmation dans le but d’influencer la législation, les politiques, la planification et les allocations budgétaires en vue des avancées en SRMNIA. Voici quelques exemples d’indicateurs :

Les connaissances générées par les interventions sont utilisées par le FFM et ses partenaires à des fins de plaidoyer et de dialogue politique ; o Par exemple, l’étude sur la prise en charge des enfants dans les hôpitaux.

Le modèle / approches du FFM sont reproduits / développés (au-delà du soutien direct du FFM). o Par exemple, le programme Spotlight (un fonds de la Commission européenne de 500

millions d’euros dans 8 pays qui s’est inspiré du FFM). Le gouvernement a assumé (partiellement ou totalement) la responsabilité de la mise en œuvre

et de l’intégration d’une approche (par exemple, passation des marchés, formation, suivi) ; Les interventions ont contribué à des changements positifs dans la législation et la politique des

pays, conformément aux autres engagements internationaux pertinents du pays.

Bien que tous les résultats ne puissent pas être directement imputables au Fonds Muskoka, il est important de développer de façon participative avec les équipes régionales et des pays un narratif plausible lié à la théorie du changement afin de garantir l’appropriation et l’analyse par les bureaux pays des indicateurs qu’ils devront renseigner.


7 RECOMMANDATIONS (STRATEGIQUES ET OPERATIONNELLES)

Au terme de cette évaluation et à la lueur des différents résultats et conclusions mis en évidences, plusieurs recommandations (stratégiques et opérationnelles) ont été formulées en vue de l’amélioration du programme dans le futur. Ces recommandations ont été l’objet d’échanges de validation entre l’équipe d’évaluation et le staff du Bureau Pays de l’UNICEF ainsi que les autres parties prenantes. Lesdits échanges se sont concentrés notamment sur deux aspects des recommandations, notamment la faisabilité et la pertinence face au contexte de mise en œuvre. Cela a permis aussi de finaliser la priorisation des recommandations.

7.1 Recommandations stratégiques Recommandation #1 aux COPIL et COTECH : A la lumière du nouvel agenda mondial pour l’atteinte des ODD, revoir les composantes stratégiques du FFM pilotées par le niveau régional notamment les composantes : (i) thématiques prioritaires et modalité d’intervention ; (ii) apprentissage et gestion des connaissances; (ii) partenariats et mobilisation des ressources en SSRMNIA ; (iv) de visibilité dans le but de renforcer le caractère stratégique et catalytique du FFM (Conclusions #1; Conclusions préliminaires #1-2 et 4; Constats #1, 3, 10 et 13). Priorité haute. 1. Revoir les composantes stratégiques et leurs articulations ;

a. La composante des thématiques prioritaires et modalités d’intervention (confirmer les axes thématiques, les interventions prioritaires et la répartition des fonds pour chacun d’eux)

b. La composante apprentissage et gestion des connaissances (les études analytiques et stratégiques, la recherche-action et les communautés de pratique)

c. La composante partenariat et mobilisation des ressources en SSRMNIA (davantage rechercher les effets leviers et catalytiques notamment l’articulation avec le GFF et le FM)

d. La composante visibilité (partager nos résultats, travaux auprès des PTF de la thématique) Notons que le travail analytique et stratégique devrait, entre autres, renforcer la force de levier du FFM, notamment dans le cadre de concertation du GFF avec lequel le FFM aurait avantage à s’aligner (aux plans d’investissements au niveau des pays).

2. Dans ce but, il faudrait aussi associer les gouvernements bénéficiaires et d’autres partenaires techniques et financiers aux études (développement commun des termes de référence, financement commun, revue commune des rapports), au mécanisme de suivi-évaluation et aux missions de supervisions.

Recommandation #2 : au MAEA et aux Agences des Nations Unies Accroitre l’effet de levier financier du FFM en cadrant, structurant le volet catalytique vis-à-vis des donateurs, des partenaires et des gouvernements (Conclusions #1; Conclusions préliminaires #2 et 3 ; Constats #4, 6-7 ) Priorités/points d’action : Haute

1. Sur la base des acquis du FFM, des synergies et des opportunités de convergence (géographique, programmatique et opérationnelles) dans les pays, promouvoir la levée de ressources propres (humaines et financières) aux Agences des Nations Unies pour l’accélération de l’agenda de la SRMNIA. Il s’agira en particulier des opportunités de financement à travers le


Fonds Mondial, la Banque Mondiale (GFF) et d’autres initiatives en faveur de la Couverture Sanitaire Universelle (CSU) ;

2. Capitaliser sur les mécanismes de coordination en place au niveau des pays et les leçons apprises pour renforcer la coordination, l’appui technique, l’alignement des partenaires sur les priorités nationales et la mobilisation des ressources pour l’accélération de la SRMNIA, y compris dans les pays du Sahel.

7.2 Recommandations Opérationnelles

Recommandation #3 au COPIL : Renforcer la gouvernance des organes de gestion qui sont bien structurés, mais qui doivent être mieux définis, par un document constitutif détaillant les mandats, les rôles et les responsabilités, notamment du COPIL, du COTECH, du Secrétariat au niveau régional et des Groupes de Coordination interagences et des Agences leader au niveau du pays (Conclusions #1 ; Conclusions préliminaires #1, 3 et 4 ; Constats #2, 3, 9 à 13). Priorité haute. Au niveau régional 1. Le COPIL Redéfinir le mandat stratégique du COPIL, y compris la définition des membres et de son

fonctionnement. Il est important que les 4 agences onusiennes participent systématiquement au COPIL au niveau des directeurs régionaux et/ou directeurs thématiques ;

Explorer la faisabilité d’adhésion au COPIL des représentants des pays bénéficiaires ; (Cependant les invitations adressées aux Ministres (1 ou 2 par CoPiL) se feront en fonction des

thématiques) 2. Le COTECH Redéfinir le mandat du COTECH, y compris la définition des membres et de son fonctionnement.

Maintenir la représentation du MEAE au niveau de Paris et des conseillers régionaux ; Définir le rôle, la responsabilité et le mécanisme de rotation du poste de président du COTECH ; Explorer la possibilité d’identifier une personne d’une grande notoriété en SRMNIA dans la région

qui fonctionnera comme un Ambassadeur ou une Ambassadrice en SRMNIA. 3. Le SECRETARIAT Redéfinir le rôle et la responsabilité du Secrétariat et ses trois champs de travail (coordination-

partenariat, communication/visibilité et suivi-évaluation) et renouveler les outils de travail en fonction, y compris : - Renforcer le secrétariat au niveau technique SRMNIA (ceci est déjà en cours à travers le

recrutement d’un chargé de suivi-évaluation) ; - Mettre en place un tableau de bord SRMNIA, dont les données sont fournies par les membres

du COTECH permettant le suivi des résultats du FFM ; - Supporter le COTECH à employer plus activement la technologie webinaire pour ses réunions

et ses ateliers thématiques, y compris pour mieux impliquer les pays dans son travail ; - Faire un suivi plus strict de l’application des décisions prises par les réunions du COPIL et du

COTECH ; - En termes de visibilité, le FFM gagnerait en visibilité si le Secrétariat réactivait la Communauté

de professionnels en SRMNIA au niveau de la région ;


- Mandaté la coordination du secrétariat pour inciter les représentants de l’Agence lead de s’impliquer davantage afin de faire fonctionner les Groupes de Coordination interagences ;

- Rappeler aussi aux Groupes de Coordination interagences de faire un compte rendu de leurs réunions.

4. Groupes de coordination inter-agences

- Redéfinir le rôle et les responsabilités des groupes de coordination-inter-agences et des agences coordinatrices ;

- Renforcer l’implication des représentants pour assurer une participation active de toutes les agences en vue d’un renforcement des plateformes SRMNIA dans les pays et de l’influence sur les plans d’investissements GFF et le budget national au profit du SRMNIA.

Recommandation #4 au COTECH et au Secrétariat : Renforcer la planification et le suivi, du FFM (Conclusions #2 ; Conclusions préliminaires #1, 2 et 4 ; Constats #2 et 3, 4, 13). Actions clés à considérer : Renforcer la Théorie du changement existante (voir la Théorie de Changement développée par

l’équipe d’évaluation dans l’annexe B) ; Renforcer les Indicateurs de suivi du FFM, en se basant sur la théorie de changement qui montre

assez clairement des indicateurs de performance au niveau régional et au niveau. Pour ce faire, le suivi doit aussi démontrer la valeur ajoutée et l’impact attribuable au FFM auprès des autres partenaires ;

Renforcer le rapportage afin d’améliorer la prise de décision et la visibilité à l’aide, en se basant sur les deux outils proposés par l’équipe d’évaluation (voir les annexes C et D) ; à voir le tableau de bord (score card) et le canevas d’un nouveau rapport des résultats ;

Les Comités devraient soumettre ces outils aux parties prenantes pour les discuter, les revoir, les compléter, les valider et les adopter, afin que les agences se les approprient pour qu’ils soient utilisés. Ils doivent servir à illustrer les conclusions du rapport annuel, en gardant les résultats simples à réviser et à comprendre.

Recommandation #5 au COTECH, au Secrétariat, et aux Groupes de Coordination interagences au niveau des pays : Développer un agenda d’apprentissage pour le FFM et toutes ses parties prenantes Actions clé à considérer Organiser une série d’ateliers de travail pour discuter les modalités d’utilisation de nouveaux outils

de planification et de suivi, y compris un atelier de travail régional du COTECH et un atelier de travail au niveau des pays auxquels participent également les ministères pertinents et autres partenaires techniques et financiers ;

Identifier, à partir de l’analyse des données de suivi, un certain nombre des thématiques qui puissent faire l’objet des recherches opérationnelles et d’évaluations et qui soient bien orientées à la prise des décisions ;

Réaliser une recherche opérationnelle ou une évaluation conjointe qui regroupent les Agences et les structurés étatiques membres du FFM ou bien contribuer aux TdR des uns et des autres en s’assurant qu’un certain nombre de questions d’évaluation commune figurent dans les recherches/évaluations planifiées et conduites lors de prochaines 2 années ;

Prévoir la publication d’un « newsletter mensuel » identifiant les bonnes pratiques au niveau de mise en œuvre des interventions financées par le FFM au niveau de différents pays qui y participent.


ANNEXE

ANNEXE A – MANDATS DES STRUCTURES DE GOUVERNANCE La gouvernance du FFM est organisée par 3 structures de gouvernance et appuyée par un Secrétariat technique : le Comité de Pilotage, le Comité technique, et les Groupes de Coordination interagences au niveau pays.

(A) Comité de Pilotage (COPIL)

Le Comité de Pilotage est l’instance de gouvernance décisionnelle et regroupe les représentants officiellement mandatés par leur organisation participante de prendre des décisions nécessaires à la bonne conduite du projet. Le COPIL est chargé de veiller au bon fonctionnement du FFM et impulse la dynamique à l’ensemble des partenaires. Sa vocation est stratégique.

Le COPIL travaille en étroit partenariat avec le Comité des Directeurs Régionaux de HHA qu’il informe chaque année des résultats du FFM.

Mandat :

Formuler la vision et les priorités du FFM; Définir les orientations stratégiques du FFM sur la base des données de suivi produites par le

Secrétariat technique du FFM; Approuver le Plan d’Action Commun régional et des Plans d’Action pays et le Rapport technique

annuel commun, y compris les rapports annuels pays; Revoir et valider les termes de référence des évaluations du FFM; Établir les dates-clés de la mise en œuvre et valider les étapes essentielles; Arbitrer si nécessaire; Décider de l’allocation annuelle des ressources ou de budget et des pays bénéficiaires; Garantir l’efficacité de la coordination entre les agences, les pays et d’autres partenaires

techniques et financiers.

Fonctionnement :

La co-présidence est assurée par un représentant du MEAE et par un représentant d’un des pays bénéficiaires (rotation tous les deux ans entre les pays);

Le secrétariat est assuré par le Secrétariat technique du FFM; Les réunions sont tenues annuellement, sont calées sur date légale de soumission du Rapport

technique annuel commun, et se déroulent alternativement à Paris et dans un pays bénéficiaire; La durée de la réunion annuelle est au maximum de deux jours pleins; Les frais d’organisation sont pris en charge par le budget du Secrétariat technique et géré par le

Bureau régional de l’UNICEF (BRAOC).

Adhésion :

MEAE : Directeur du Développement humain et 2 autres représentants; Autres bailleurs du FFM (par exemple le Danemark) : 2 représentants par bailleur; Pays bénéficiaires : 2 représentants par pays; UNICEF: Directeur régional et 1 autre représentant; UNFPA : Directeur régional et 1 autre représentant; OMS : Directeur régional et 1 représentant du secrétariat à Genève;


ONU FEMMES : Directeur régional; HHA : 1 représentant; AFD : 1 représentant du siège Secrétariat technique : 3 représentants (comité organisateur).

(B) Comité Technique du FFM (COTECH)

Le Comité technique du FFM est chargé de l’appui et du suivi technique aux activités du FFM, et a une vocation opérationnelle. Le COTECH organise aussi les activités régionales financées par le FFM.

Mandat :

Relai entre les bureaux pays des agences et les bailleurs; Revue des Plans d’action communs et des Rapports techniques annuels des pays; Élaboration du Plan d’action annuel commun et du Rapport technique annuel commun; Suivi du tableau de bord du FFM; Appui aux comités de coordination interagence aux pays (notamment l’agence leader) et suivi de

la mise en œuvre de leurs plans d’action pays; Animation d’une communauté régionale des professionnels en SRMNIA (CoP); Chargée des missions de supervision conjointes; Initiation des études stratégiques; Facilitation des échanges entre les pays (partage d’expérience, partage d’information, etc.); Plaidoyer pour SRMNIA au niveau régional et au niveau mondial; Engager les directeurs pays des agences onusiennes impliquées.

Fonctionnement :

La présidence est assurée par un Président permanent qui est un expert en SRMNIA d’une grande notoriété;

Le secrétariat est assuré par le Secrétariat technique du FFM; Le COTECH se réunit une fois par an dans une réunion physique et deux fois par an dans une

réunion virtuelle (webinar). La réunion se déroule sur 1 – 2 jours (dépendant de l’agenda) Le COTECH organise aussi 2 à 3 fois par an des ateliers thématiques, virtuels ou physiques, en

marge de réunions formelles; Les frais d’organisation des réunions et ateliers sont pris en charge par le budget du Secrétariat

technique et gérés par le Bureau régional de l’UNICEF (BRAOC).

Adhésion :

MEAE : les 3 Conseillers régionaux Santé concernés (Dakar, Bamako, Cotonou); AFD : 1 Conseiller en Santé; Agences signataires des NU (UNICEF, OMS, UNFPA, ONUFEMMES) : 3 - 4 experts (bureaux

régionaux, siège, ou d’un bureau pays); Coordinateur du Groupe Santé HHA. ONG et institutions partenaires intervenant au niveau régional : 1 représentant par partenaire. Pays bénéficiaires : 2 représentants.

(C) Agences lead et Groupes de Coordination interagences au niveau des pays bénéficiaires

Les Groupes de Coordination interagences au niveau pays sont chargés d’harmoniser les activités SRMNIA des quatre agences onusiennes impliquées (ou moins, dépendant de la présence des bureaux pays des agences), en collaboration étroite avec le gouvernement du pays, et en


coordination avec les autres PTF du secteur de la santé. Le comité est animé par une Agence leader.

Mandat :

Coordination des agences pour l’élaboration, la mise en œuvre, et le suivi (tableau de bord) des Plans d’action pays commun;

Revue semestrielle conjointe de la mise en œuvre du Plan d’action commun (y compris le suivi financier des financements FFM). Elle est intégrée si possible dans les revues sectorielles organisées par le ministère de la Santé avec ses partenaires;

Rapport technique annuel commun et rapport financier consolidé en fonction des résultats escomptés;

Mise en place d’une plateforme SRMNIA; Alignement du Plan d’Action commun avec le Plan d’investissement GFF et coordination avec les

partenaires GFF; Informer les indicateurs de la base de données SRMNIA (collecte des données) Coordonner les demandes d’appui technique; Organiser des missions de supervision conjointes.

Fonctionnement :

Le Groupe est présidé par le Directeur pays de l’Agence leader; La coordination s’organise sous le leadership du ministère de la Santé (appropriation nationale); L’agence leader organise les réunions, au moins tous les deux mois (y compris un agenda et un

compte rendu). L’Agence leader organise le suivi du tableau de bord et coordonne la collecte des données pour

la base de données régionale en SRMNIA; L’Agence leader coordonne la planification et le rapportage.

Adhésion :

Agences NU : 2 représentants par bureau pays (présents au pays) Ambassade de France : 1 représentant AFD : 1 représentant

(D) Secrétariat technique du FFM

Le Secrétariat technique est l’organe d’appui technique et administratif aux trois structures de gouvernance du FFM. Il assure leur fonctionnement.

Mandat :

Suivi technique, financier, et administratif du FFM; Organise les réunions du COPIL et du COTECH (y compris rapportage); Consolidation des rapports financiers et techniques du FFM; Appui à la mise en place de la base de données régionale SRMNIA; Gestion du tableau de bord du FFM (niveau régional; consolidation des données pays) et

supervision de la gestion des tableaux de bord pays ; Appui à la mise en place du CoP régional en SRMNIA; Chargé de la visibilité du FFM, par exemple :

- Développement et entretien d’un site web FFM qui fonctionne en même temps que le site web du CoP. Ce site web donne aussi accès aux rapports produits dans le cadre du FFM;

- Production des mémoires d’information sur les résultats du FFM (« information briefs »);


- Présentations au niveau des réunions et ateliers régionales et internationales. Développement des termes de référence des études et des missions de supervision; Dissémination des résultats des études; Recherche de financement additionnel.

Composition :

Secrétaire technique Responsable du suivi administratif et financier Responsable du suivi – évaluation technique Responsable de la communication Agents et personnel d’appui

81

ANNEXE B – THEORIE DU CHANGEMENT

83

ANNEXE C – SCORE CARD

Objectifs Indicateur

Cibles

Explication Année 1 Année 2 Année 3

Année 4 (fin projet)

Niveau régional

Les budgets annuels décaissés et les plans annuels réalisés

Taux d’exécution budgétaire

Niveau d’exécution du plan d’action annuel commun

Les coûts de transaction réduits Niveau d’harmonisation des cadres opérationnels de 4 agences

Bases de connaissance en SRMNIA produites (études)

# études disséminées ;

Connaissances générées par les interventions utilisées par le FFM et ses partenaires à des fins de plaidoyer et de dialogue politique.

Renforcement des capacités en SRMNIA

Taux d’utilisation de la boîte aux outils “C’est la vie”

Pool d’experts en SRMNIA actif (CoP)

Nombre de membres de la CoP ; nombres de visites de leur site web

Les politiques et stratégies des pays supportées

Nombre de pays avec des meilleures politiques et stratégies en SRMNIA ; Pilotage (partiel ou total) de la mise en œuvre et de l’intégration d’une approche (passation des marchés; formation; suivi, etc.) par le gouvernement;

84

Niveau pays

Systèmes de Santé renforcé en SRMNIA

Taux de mortalité maternelle, infanto-juvénile, et néonatale

Politiques et stratégies en SRMNIA développées

Prévalence de la malnutrition aigüe et/ou taux d’enfants sévèrement malnutris pris en charge

Taux d’allaitement enfants < 6 mois

Existence d’une composante SRMNIA dans les plans d’investissements nationaux ; disponibilité du budget

Pourcentage du budget en SRMNIA dans le plan d’investissement Santé

Indicateurs SRMNIA intégrés dans le système de surveillance national, renseignés et utilisés pour planifier, mettre en œuvre et faire le suivi des politiques

Taux de grossesses parmi les adolescentes

Nombre d’adolescentes victimes de violence prises en charge

Capacités renforcées des cliniques de santé pour offrir des soins de qualité (accès; qualité)

Taux d’accouchements assistés par personnel qualifié

Besoins en SONU satisfaits, par district

Légende

Cible atteinte

Cible susceptible d’être atteinte

Cible partiellement / non-atteint

85

ANNEXE D – TABLEAU DE COHERENCE ENTRE LES CRITERES, LES QUESTIONS D’EVALUATION, LES CONSTATS, LES CONCLUSIONS PRELIMINAIRES, LES CONCLUSIONS FINALES ET LES RECOMMANDATIONS

Critères Question d’évaluation Constats Conclusions préliminaires Conclusions finales

Recommandations

Pertinence 1. Dans quelle mesure la structure et les processus actuels du FFM ont-ils répondu aux besoins du gouvernement français, des agences des Nations unies au niveau régional et des équipes de pays (agences des Nations unies + gouvernements des pays du FFM) ?

Constat #1 : Le Fonds français Muskoka s’inscrit dans les plans nationaux des pays et répond aux besoins des quatre agences des Nations Unies impliquéesꟷ en lien avec la réforme onusienne en coursꟷ, et selon les limites posées toutefois par le MEAE (Paragraphes 1 à 9)

Conclusion préliminaire #1 : Les résultats de l’évaluation démontrent la pertinence du dispositif de gouvernance et des outils de programmation du FFM d’autant plus sous sa forme originale, c’est-à-dire avec une portée stratégique et catalytique, pour répondre aux besoins des parties prenantes

Recommandation 1. A la lumière du nouvel agenda mondial pour

2. Dans quelle mesure les outils programmatiques existants (le cadre logique, le plan d’action (planification), le rapportage annuel, le cadre de performance avec les indicateurs à renseigner) ont-ils répondu aux besoins des gestionnaires du FFM et à ceux du principal donateur ?

Constat #2 : Les structures de gouvernance ont été instrumentales, mais incomplètes pour réaliser la mission du FFMꟷ comme les outils de gestion qui sont utiles, mais insuffisants pour remplir les objectifs selon l’approche du FFM (par. 10-17).

3. Dans quelle mesure la structure et les processus du FFM ont-ils contribué à

Constat #3 : Les parties prenantes se sont appropriées le FFM pour collaborer sur le

86

l’appropriation partagée du FFM au niveau régional et national ?

thème de la SRMNIAꟷ les agences régionales des Nations unies les premièresꟷ mais avec certaines limites, surtout au niveau des pays où les agences participaient au sein d’instances de coordination existantes. Les décideurs au sein des gouvernements des pays ne participent pas aux structures de gouvernance du FFM et ont une connaissance limitée du Fonds Français Muskoka (par. 18-23).

Conclusion # 1 : Les structures de gouvernance du Fonds français Muskoka sont pertinentes, d’autant plus dans le cadre d’UNIS pour la réforme, pour renforcer l’approche commune et la coordination interagence, mais l’appropriation est encore insuffisante et les rôles et les responsabilités des comités, pas assez

l’atteinte des ODD, revoir les composantes stratégiques du FFM pilotées par le niveau régional notamment les composantes : (i) thématiques prioritaires et modalité d’intervention ; (ii) apprentissage et gestion des connaissances ; (ii) partenariats et mobilisation des ressources en SSRMNIA ; (iv) de visibilité dans le but de renforcer le caractère stratégique et catalytique du FFM Constats de référence : 1 - 3 - 10 -13 Conclusions préliminaires : 1 -2-4 Conclusion finale : 1

Efficacité 4. Quels sont les facteurs (internes et/ou externes à la COTECH) qui ont contribué / ont nui au succès de la structure de gouvernance du FFM ?

Constat #4 : Facteurs-clés de succès : l’octroi de nouvelles ressources financières du FFM et la fongibilité des fonds pour les thématiques en SRMNIA ont été déterminants pour mobiliser les agences ainsi que l’allocation budgétaire pluriannuelle et sécurisée entre 2011-2016. La collaboration des équipes interagences au niveau régional et à divers stades d’avancement au niveau pays, ainsi que l’appui technique harmonisé des agences, notamment l’influence et les activités de dissémination des connaissances réalisées par le COTECH ont été perçus comme des facteurs de succès du dispositif du FFM pour appuyer les plans d’action des pays en santé maternelle et infantile-juvénile et des adolescents.

Facteurs-clés de ralentissement : les exigences du bailleur (pays prioritaires, allocations thématiques) ou les différentes procédures des organisations (qui ont ralenti le seul projet régional d’envergure C’est la

Conclusion préliminaire #2 : L’efficacité du dispositif du FFM a reposé sur les structures de gouvernance, notamment le Secrétariat et le Comité technique (COTECH) avec les agences lead, qui ont réussi ensemble à mobiliser les équipes régionales et des pays (Groupe de Coordination des pays), à harmoniser l’appui technique et la coordination des interventions au niveau de la région et des pays grâce aux différents outils de programmation. Ils ont aussi ainsi contribué aux résultats en matière de SRMNIA

.

87

vie), des avantages comparatifs des agences qui ne sont pas mis à profit (le volet Recherche géré par UNICEF au lieu de l’OMS), le manque de notoriété (ou de leadership technique) et de visibilité du FFM (des résultats stratégiques qui ne sont pas suffisamment ressortis dans les rapports et qui n’ont pas été disséminés auprès des gouvernements), ainsi que le manque de ressources et de temps (surtout pour l’appui-conseil et le suivi des plans d’action) ont toutefois freiné l’atteinte des résultats et l’effet catalytique du FFM. Notons aussi comme frein au rayonnement du dispositif, le manque de dynamisme du groupe HHA sur lequel le FFM comptait pour soutenir le leadership et l’appropriation du FFM auprès des gouvernements (par. 24-42).

Synthèse du constat 4 :

Les acquis du dispositif du FFM sont toutefois fragiles en raison : Des exigences du bailleur citées

auparavant (et l’influence sur les orientations stratégiques du COPIL) ;

Des procédures administratives des différentes des organisations (qui ont presque fait dérailler le seul projet régional d’envergure C’est la vie) ;

Des avantages comparatifs des agences qui n’ont pas toujours été bien utilisés (par exemple, pour le volet Recherche qui a été géré par UNICEF au lieu de l’OMS qui possède pourtant les infrastructures) ;

D’un S&E inégal au cours des ans (qui a échoué à bien faire connaître les résultats

clairs et bien définis, pour assurer l’efficience et l’efficacité de la coordination et de la mise en œuvre en SRMNIA (Conclusions préliminaires #1 à 5).

Recommandation 2 : Accroitre l’effet de levier financier du FFM en cadrant, structurant le volet catalytique vis-à-vis des donateurs, des partenaires et des gouvernements Constats de référence : 4 - 6 - 7 Conclusions préliminaires : 2 – 3 Conclusion finale : 1

88

stratégiques du FFM et à contribuer à un effet levier) ;

Du manque de ressources et de temps.

Recommandation 3 : Renforcer la gouvernance des organes de gestion qui sont bien structurés, mais qui doivent être mieux définis, par un document constitutif détaillant les mandats, les rôles et les responsabilités, notamment du COPIL, du COTECH, du Secrétariat au niveau régional et des Groupes de Coordination interagences et des

5. Quels ont été les résultats imprévus du FFM et de son mécanisme de coordination et d’appui technique et la mise en œuvre des interventions au niveau régional et national ?

Constat #5 : Une concertation nationale et régionale interagence, jusqu’au niveau global, l’impact de l’initiative régionale de l’ONG RAES et les résultats des appuis à des thématiques élargis ont été des facteurs positifs inattendus (par. 43-47).

Efficience 6. Les ressources humaines pour réaliser les interventions du FFM ont-elles été suffisantes en quantité et en qualité ?

Constat #6 : Les agences des Nations unies se sont fortement mobilisées pour la gestion du FFM depuis le démarrage en 2011, mais les ressources humaines allouées au FFM ont manqué pour assurer une bonne gouvernance du dispositif, notamment les revues des plans d’action annuels et le suivi-évaluation (par.48-56).

Conclusions préliminaire #3 : Malgré la valeur ajoutée du dispositif du FFM, comme les outils de planification qui favorisent une meilleure concertation des agences des Nations unies, le dispositif manque d’efficience en raison de la multiplicité des procédures des cadres opérationnels et du manque de ressources financières et humaines pour remplir pleinement les rôles et responsabilités dévolus aux structures de gouvernance.

7. Les ressources financières pour réaliser les interventions du FFM ont-elles été suffisantes ?

Constat #7 : Dédiées à un secteur largement sous-financé en Afrique, les ressources financières du FFM font une différence pour les agences, bien qu’elles soient insuffisantes pour atteindre les objectifs en matière de SRMNIA. Les quotas thématiques, l’allocation annuelle et l’imprévisibilité des allocations posent des contraintes en matière d’exécution et limitent l’efficience de la mise

89

en œuvre des interventions (par. 57-66).

Conclusions # 2 : Les outils de programmation ont été utiles pour concerter les agences, mais insuffisants pour assurer une gestion efficace et efficiente du FFM, une bonne visibilité et améliorer l’impact en matière de SRMNIA dans les pays d’Afrique

Agences leader au niveau du pays Constats de référence : 2 - 3 -9 - 13 Conclusions préliminaires : 2 – 3 Conclusion finale : 1 Recommandation 4 : Renforcer la planification et le suivi, du FFM

8. Les cadres de performance et les outils de suivi et de rapportage apportent-ils une valeur ajoutée dans l’atteinte des objectifs du FFM ?

Constat #8 : Le FFM et ses outils de programmation ont apporté une valeur ajoutée pour réaliser un appui conjoint aux stratégies nationales et une planification commune ainsi qu’une mise en œuvre concertée, notamment des approches intersectorielles coordonnées, ainsi que le suivi et évaluation des initiatives. Les outils pourraient néanmoins être améliorés, notamment le cadre logique et les indicateurs afin de mieux faire le suivi et faire ressortir les résultats du FFM (par. 67-73).

Coordination 9. Dans quelle mesure le Gouvernement français, les agences des Nations unies et le gouvernement bénéficiaire ont été suffisamment représentés dans les structures de gouvernance et les processus du FFM ?

Constat #9 : Les structures de gouvernance ont bien servi les équipes régionales et des bureaux-pays, précisément la supervision du Secrétariat, l’appui du COTECH ainsi que la coordination de l’agence leader. Le processus n’était toutefois pas assez clair et bien défini, au regard de la charge de travail et des capacités limitées des agences, pour assurer l’efficience et l’efficacité de la coordination (par. 74-83).

Conclusions #4 : L’approche commune du FFM a amélioré la coordination des agences des Nations unies dans les pays partenaires, mais elle pourrait être renforcée avec une meilleure définition des rôles et des responsabilités des structures de gouvernance, des outils de programmation plus efficaces pour rendre visible la performance du FFM et une plus grande implication des gouvernements dans le dispositif.

10. Dans quelle mesure les rôles et responsabilités des partenaires du FFM ont-ils été clairement définis ?

Constat #10 : Les parties prenantes du FFM sont représentées, bien que de façon inégale, dans les structures de gouvernance et les processus du FFM. Les gouvernements des pays participants n’ont pas été assez impliqués dans le dispositif Muskoka, notamment au niveau des instances régionales ce qui a affecté la force catalytique et la visibilité du FFM (par. 84-89).

90

11. Quels sont les facteurs qui ont le plus contribué au flux d’informations et au flux de travail entre les niveaux régional et national, parmi les quatre agences des Nations unies et entre les agences des Nations unies et le principal donateur ?

Constat #11 : L’approche commune des agences des Nations unies a amélioré la coordination interagence au niveau régional et des pays (avec les limites liées au manque d’harmonisation des procédures) et s’est même poursuivie au niveau global, mais le potentiel du dispositif reste sous exploité, notamment avec les autres PTF, dont l’AFD (par. 90-99).

de l’Ouest et du Centre (Conclusions préliminaires #1-4).

Constats de références : 2 – 3 – 4 - 13 Conclusions préliminaires : 1 - 2 – 4 Conclusion finale : 2 Recommandation 5 : Développer un agenda d’apprentissage pour le FFM et toutes ses parties prenantes

12. Dans quelle mesure l’approche commune « Unis dans l’action », adoptée par les quatre agences de l’ONU, a contribué à améliorer la coordination entre les partenaires du FFM et les autres partenaires techniques et financiers extérieurs au FFM pour livrer les services en SRMNIA dans les pays visés ?

Constat #12 : L’information a circulé entre les diverses parties prenantes du FFM grâce aux structures de gouvernance : le COTECH, son Secrétariat et les Groupes de Coordination des partenaires ainsi que les outils de programmation du FFM : missions conjointes, réunions, échanges courriels et téléphonique et webinaire, bien que la communication ait été parfois insuffisante ou pas assez transparente, notamment de la part du COPIL (par. 101-104).

13. Quelles sont les meilleures solutions pour améliorer le fonctionnement du FFM et la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM ?

Constat #13 : Selon les parties prenantes, les solutions pour améliorer le fonctionnement et la coordination entre les partenaires et les PTF externes reposent sur le renforcement du dispositif établi : des structures de gouvernance avec des rôles et responsabilités mieux définis, des outils de programmation et des procédures plus efficaces et des gouvernements plus engagés afin de renforcer et de démontrer la valeur ajoutée du FFM auprès des autres partenaires et accroître la visibilité du programme (par. 104-111).

91

Genre, Equite et droits de la personne

14. Dans quelle mesure le FFM contribue-il à la promotion de l’égalité de genre et à la réduction des inégalités et tient-il compte de la question des droits humains ?

Constat #14 : L’approche du FFM a privilégié une approche genre, équité et de partenariats, surtout grâce à la collaboration entre ONU Femmes, UNFPA et les ministères de la Santé, du Genre et de la Famille, que ce soit en matière de promotion des méthodes de contraception ou de lutte contre les violences faites aux femmes (par.112-123).

Conclusion préliminaire #5 : Le FFM est basé sur une approche globale de la promotion de l’égalité de genre, des droits humains et de la réduction des inégalités. Au cours des dernières années, le dispositif Muskoka a contribué à l’atteinte des objectifs dans ces domaines en renforçant les synergies produites par la coordination entre les agences et les autres partenaires, notamment entre ONU Femmes et UNFPA.

92

ANNEXE E – STRUCTURE RAPPORTS ANNUELS

Maximum 25 pages (tout compris)

Table des matières Acronymes et abréviations

1. Introduction du FFM : (3 pages)

Contexte : régional et pays phares du FFM

Information sur le projet : objectifs, théorie de changement (voir annexe A), gouvernance, budget, etc.

Bref historique des orientations stratégiques, des thématiques, des pays d’interventions

2. Résultats (6 pages)

Principaux impacts du programme (au niveau régional et niveau pays) ; présenter les exemples les plus significatifs

Principales activités du programme : décrire les activités les plus pertinentes et pour le reste faire une référence à l’annexe B (activités exécutées)

Principaux effets du programme (« outcomes ») : renseigner les indicateurs du « score card » qui a un volet régional et un volet pays (voir annexe C) :

o Cibles atteintes ou susceptibles d’être atteintes/cibles partiellement atteintes/cibles non atteintes o Tendances depuis démarrage FFM o Résultats imprévus o Comparaison entre pays FFM o Comparaison avec d’autres pays africains (« benchmarking »)

Analyse des effets (« le pourquoi »), surtout des indicateurs rouges (cibles partiellement atteintes et cibles non atteintes). Explication par rapport à la théorie de changement (hypothèses, risques)

3. Conclusions (5 pages)

Valeur ajoutée o En termes de gouvernance o En termes d’« upstream work » : renforcement de la connaissance en SRMNIA, la qualité des

politiques et stratégies en SRMNIA, création d’une alliance régionale en SRMNIA, mise en place d’une base de données en SRMNIA)

o En termes du budget : référence au rapport financier (annexe D) : dépenses en fonction des résultats (« budgétisation par objectif »)

Effet de levier sur le plan national (GFF, Groupe sectoriel Santé), régional (financement disponible ; nombre de PTF ; visibilité)

Leçons apprises : Bonnes pratiques ; Opportunités ; Défis ; Risques

Pérennité et perspectives

4. Recommandations (2 pages)

Opérationnelles : réponse à l’analyse des effets (indicateurs rouges) : mesure, responsable, calendrier

Stratégiques : réponse aux conclusions

5. Annexes

Annexe A : Théorie de changement (1 page) Annexe B : Activités exécutées (par composante, par pays, par agence) ; calendrier (3 pages) Annexe C : Score card (2 pages) Annexe D : Rapport annuel financier (par composante/résultat ; par pays ; par agence) (3 pages) Annexe E : Documents revus (1 page)

93

ANNEXE F – TABLEAU 3 EXEMPLES D’HARMONISATION DE L’APPUI TECHHNIQUE

Tableau 3 : Sondage en ligneꟷ Question 5, Commentaires des répondants

Sondage Question 5 : Exemple de l’harmonisation de l’appui technique et stratégique des agences des Nations unies

Bénin

Rencontres périodiques d’échanges et de partage de la planification qui permettent aux partenaires de mieux se connaître et de connaître leurs activités (bin que des contraintes d’agenda entre les divers acteurs empêchent la tenue régulière de ces rencontres);

Activités planifiées et mises en France dans le pays par chacune des agences en respect de leurs mandats pour contribuer à la réduction de la mortalité maternelle, néo-natale et infantile;

Meilleure harmonisation surtout au niveau régional et global Meilleure surveillance des décès et d’actions de riposte qui a contribué à l’amélioration de la qualité des soins et

donc à la réduction des décès maternels et néo-natals à tous les niveaux de la pyramide sanitaire; Solide impulsion collective stratégique et technique à partir de la région qui a contribué à l’effet synergique au

niveau national (bien que celui-ci est dilué par les défis opérationnels).

Côte d’Ivoire

Meilleure coordination des appuis pour la santé de la mère et de l’enfant; Planification, mise en oeuvre et suivi-évaluation communs; Existence d’un cadre de concertation entre parties prenantes tant du public que du privé; Mécanisme de coordination des interventions SRMNIA fonctionnel grâce au FFM qui permet l’harmonisation de

l’appui technique; Mobilisation des expertises techniques nécessaires pour la mise en France des activités clés Besoin de mutualiser davantage les stratégies entre pays et partager les expériences; Les indicateurs restent peu précis ou peu spécifiques Interventions encore trop cloisonnées et pas assez de synergies qui ont été créées.

Guinée

Meilleure visibilité des interventions ; les différentes parties se réunissent souvent pour définir les priorités et discutent de la façon de les mettre en œuvre;

Planification annuelle conjointe avec les secteurs concernés et mise en oeuvre en commun pour les questions identiques;

Planification conjointe des interventions à haut impact alignées sur les priorités nationales avec toutes les parties prenantes;

Comité de coordination mis en place où les activités sont planifiées avec toutes les parties prenantes; les supervisions et les suivis des actions sont aussi réalisés de façon conjointe;

Planification commune avec toutes les agences des Nations unies et les départements du gouvernement; Assistance technique des bureaux-pays des NU directement intégrée aux plateformes nationales existantes;

assistance régulière des agences régionales; Coordination interagences et intersectorielles du développement et de la mise en France des activités.

Mali

Interventions coordonnées des agences des Nations unies avec le gouvernement qui ont contribué à améliorer les indicateurs de santé de la région de convergence grâce à la planification et au suivi commun des activités;

Processus de planification commune avec les partenaires techniques et les acteurs étatiques; Coordination commune des appuis techniques et stratégiques selon les avantages comparatifs des agences des

Nations unies ; Plan conjoint interagence élaboré en commun (bien que chaque agence brandisse encore son drapeau)

Niger

Travail en commun interagence et synergie d’action dans la mise en France des stratégies ; planification et suivi réalisés conjointement en tenant compte des priorités du pays;

94

Outils harmonisés pour la planification et le rapportage; directives techniques élaborées par thématique; Politiques et stratégies mieux appuyées dans les domaines d’intervention du FFM; Financement de base pour la mobilisation de fonds complémentaires en RMNCH, par exemple pour la prise en charge

du nouveau-né au niveau communautaire (PCIME) qui a permis d’atteindre l’OMD 4; Mobilisation des communautés à la prise en charge des accouchements en milieu sanitaire;

Sénégal

Renforcement de l’approche UNIS dans l’action (Delivering as one) parmi les agences des Nations uniesꟷ et de ce fait, une meilleure coordination et harmonisation des approches et des outils de planification et de S&E.

Approches synergiques entre les différentes agences des Nations unies; harmonisation des actions d’appui technique et stratégique ;

Appui technique normatif de l’OMS au niveau opérationnel et stratégique au niveau central (le FFM procurant les seuls fonds ciblant la mère et l’enfant);

Renforcement de la plateforme SRMNIA qui implique tous les partenaires techniques et financiers; Planification conjointe avec les différents partenaires autour des priorités définies par le gouvernement; Prévention et prise en charge holistique de la mortalité maternelle et infantile (santé, justice, sécurité, famille,

jeunesse)

Tchad

Synergie d’actions des Nations unies à travers la coordination mise en place ; Plateforme de coordination SRMNIA ; recherche-action sur l’amélioration de la qualité des soins financés par le

Fonds Mondial; Rencontre régulière entre tous les partenaires-clés y compris le gouvernement; Apprentissage commun interpays Coordination entre les bureaux régionaux et les bureaux-pays Coordination des interventions des partenaires, surtout les agences des Nations unies impliquées, et financement

mieux ciblé dans des domaines importants et prioritaires.

Togo

Missions conjointes; formations dans les différents pays avec les équipes régionales; partages d’informations et vidéoconférences; harmonisation des choix d’activités stratégiques et certaines façons de faire dans la conduite des activités du programme ; l’aspect du renforcement des compétences techniques des organisations de la société civile (OSC) a été faible;

Existence d’un cadre national interagence pour la planification, le suivi de la mise en France et le rapportage; Manque de synergies et de cofinancement des activités entre agences.

95

ANNEXE G – CADRE D’EVALUATION

Le cadre d’évaluation de l’évaluation de la gouvernance et des outils de programmation de la première phase du Fonds français Muskoka (FFM 2011-2017)

Thèmes d’évaluation

Questions des Termes de référence Indicateurs

Source de données et techniques de collecte de

données

Responsabilités des membres de l’équipe

d’évaluation

Thème 1 Pertinence. Mesure le FFM et ses interventions correspondent aux priorités et aux politiques du groupe ciblé (appropriation, alignement et orientation vers les résultats, partenariats et reddition des comptes).

1. 1. To what extent have the current programme structure and processes used to manage the FFM responded to the needs of:

(1) the French Government; (2) the UN Agencies at regional level; and the UN agencies at country level (3) Governmental counterparts

Area A: Gouvernance et processus du FFM 1.1.1 Dans quelle mesure le FFM et son mécanisme de coordination, d’appui technique et de mise en œuvre au niveau régional et national répondent-ils aux besoins des parties prenantes, a) notamment quant aux composantes du FFM suivantes :

⎕ Tout à fait d’accord ⎕ D’accord ⎕Ni d’accord, ni pas d’accord ⎕ Pas d’accord ⎕ Pas du tout d’accord (échelle de Likert)

Composante 1 Renforcement des systèmes de santé et Santé améliorée des mères, nouveau-nés, enfants et adolescents (Santé maternelle néonatale et infantile; Santé sexuelle et reproductive des jeunes et des adolescents (SSRAJ); Nutrition).

Composante 2 Gouvernance et financement améliorés (⎕ Harmonisation des mécanismes de coordination de la Santé en Afrique, dans la région et dans les pays; ⎕ Effet levier financier /par pays en Santé)

Composante 3 ⎕ Information stratégique disponible; ⎕ M&E et ⎕ Gestion des connaissances améliorés.

S.-v.-p., expliquez brièvement votre réponse : ____________________ b) notamment quant aux structures de gouvernance suivantes :

⎕ Tout à fait satisfaisante ⎕ satisfaisante ⎕ Neutre ⎕ Pas satisfaisante ⎕ Pas du tout satisfaisante

UNICEF BRAOC (coordination du suivi avec les pays et les agences Groupe de coordination des partenaires au niveau des pays (ou comité national

HHA, H4+, UNCT comité santé, etc.)

Revue document des

documents / Analyse du contenu

Interview Sondage en ligne

FT+MG

96




données


d’évaluation

Comité technique régional au niveau régional (Cotech) Comité de pilotage au niveau bailleurs (Copil) S.-v.-p., expliquez votre réponse : ____________________ 1.1.2 Dans quelle mesure le FFM, son mécanisme de coordination et d’appui technique et la mise en œuvre des interventions au niveau régional et national continuent-ils de refléter:

⎕ Tout à fait d’accord ⎕ D’accord ⎕Ni d’accord, ni pas d’accord ⎕ Pas d’accord ⎕ Pas du tout d’accord (échelle de Likert)

a) Les objectifs de la politique de coopération française en matière de Santé? b) Les objectifs du secteur de la Santé des agences des Nations unies aux niveaux régional et national? c) Les priorités et les politiques nationales et sous-nationales de Santé des pays d’intervention et autres documents de politiques stratégiques Si non, expliquez pourquoi? ___________________ 1.1.3 Dans quelle mesure les partenaires appropriés ont été impliqués et de façon adéquate dans : a) ⎕ La phase de design/planification du FFM

⎕ Tout à fait d’accord ⎕ D’accord ⎕Ni d’accord, ni pas d’accord ⎕ Pas d’accord ⎕ Pas du tout d’accord

b) ⎕ La phase de mise en œuvre - en respect des approches participatives qui prennent en compte les besoins des parties prenantes c) ⎕ La phase de suivi-évaluation 1.1.4 Dans quelle mesure les parties prenantes des pays d’intervention ont-elles pris part aux décisions ayant trait au FFM et influencé ces dernières a) Au niveau pays


b) Au niveau régional

Expliquez le rôle et l’influence, notamment quant aux axes prioritaires, cibles, et allocations budgétaires : ___________

97




données


d’évaluation

1.2. To what extent have the existing programmatic tools (result framework, monitoring tools, reporting tools etc.) responded equally to the needs of the FFM managers and to those of the main donor?

Area B: Outils de programmation du FFM

1.2.1 Dans quelle mesure le cadre de performance et les outils de suivi et de rapportage sont-ils utiles pour répondre aux besoins des parties prenantes?

a) Cadre logique commun

⎕ Extrêmement utile ⎕ Très utile ⎕ Assez utile ⎕Pas très utile ⎕ Pas du tout utile

b) Cadre de suivi du FFM

c) Les indicateurs de processus

d) Les indicateurs de mise en œuvre

e) Autres outils, précisez lesquels : ______

Si non, expliquez pourquoi : __________________

Revue document des documents / Analyse du contenu

Interviews Sondage en ligne

ED+MG

1.3 To what extent have the current programme structure and processes contributed to the shared ownership of the FFM at regional and national level?

1.3.1 Dans quelle mesure le FFM et son mécanisme de coordination, d’appui technique et de mise en œuvre au niveau régional et national ont permis : a) L’appui conjoint à une stratégie nationale de santé unique, à travers un processus de développement inclusif;


b) L’inscription des apports de ressources dans le budget national et l’utilisation des systèmes nationaux (fiduciaires et structures gouvernementales de mise en œuvre) c) Le financement commun (basket funding) c) La prévisibilité du financement du gouvernement et des partenaires au développement; d) Le suivi conjoint des processus et des résultats, basé sur une plateforme nationale d’information et de redevabilité (analyses conjointes ; missions et revues annuelles conjointes qui définissent les actions et renforcent la redevabilité mutuelle). e) La promotion et l’appui à l’apprentissage systématique entre les pays d’intervention. f) Des appuis techniques planifiés stratégiquement et bien coordonnés S.-v.-p., expliquez : ____________________



FT+MG

98




données


d’évaluation

AJOUT : Genre, égalité et droits humains

Dans quelle mesure le FFM contribue-t-il à la promotion de l’égalité de genre et à la réduction des inégalités et tient-il compte de la question des droits humains? La planification des interventions inclue-t-elle des objectifs liés à l’égalité de genre et à la réduction des inégalités? Les indicateurs sont-ils désagrégés selon le genre et permettent-ils de discriminer les groupes ?

a. Les plans d’action du FFM prennent-ils suffisamment en compte les dimensions de l’égalité entre les femmes et les hommes, les questions d’équité et des droits humains ? ⎕ Tout à fait ⎕ Assez ⎕ Pas assez ⎕ Pas du tout ⎕ Je ne sais pas b. Les dimensions de l’égalité entre les femmes et les hommes, les questions d’équité et des droits humains ont-ils effectivement été pris en compte dans la mise en œuvre du FFM ? ⎕ Tout à fait ⎕ Assez ⎕ Pas assez ⎕ Pas du tout ⎕ Je ne sais pas S.-v.-p. expliquez : ______



FT+MG

Thème 2: Efficacité. Mesure du degré de réalisation des objectifs (résultats)

2.1 What are the factors (internal and/or external to the COTECH) that contributed/hindered the success of the FFM governance structure?

Indicateurs de succès : Composante 1 Renforcement des systèmes de santé et Santé améliorée des

mères, nouveau-nés, enfants et adolescents (Santé maternelle néonatale et infantile; Santé sexuelle et reproductive des jeunes et des adolescents (SSRAJ); Nutrition). - Indicateur 1.1.f Ratio de mortalité maternelle pour 100 000 naissances vivantes - Indicateur 2.1. e. Intervalle inter-génésique - Indicateur 2.1.f. Taux de prévalence de la contraception - Indicateur 3.1.e Taux de grossesse chez les adolescentes en milieu scolaire et

extrascolaire - Indicateur 3.3.f. Diminution du Nombre de mariages précoces - Indicateur 3.3.g. Nombre de cas de violences faites aux filles recensés et traités

par an - Indicateur 3.3.h. Croissance du nombre de filles adolescentes qui achèvent leur

scolarité - Indicateur 3.3.i. Diminution du nombre de cas de survivantes de violence traités

dans les centres de santé - Indicateur 4.1.j. Taux de mortalité néonatale - Indicateur 4.3.r. Taux de mortalité infanto-juvénile



FT+MG

99




données


d’évaluation - Indicateur 4.3.s. Prévalence de la malnutrition chronique - Produits médicaux et médicaments de qualité et disponibles - Personnel de santé de qualité, motivé et bien distribué

Composante 2 Harmonisation de l’appui technique et stratégique au niveau régional dans les domaines prioritaires (Appuis COP, technique, C’est la vie ; Recommandations pour la pratique clinique - RPC/SONU ; Amélioration à l’accès aux médicaments et aux Ressources humaines pour la santé ; Santé communautaire ; Qualité des soins (NN) ; Nutrition.)

Composante 3 Gestion, Suivi, Évaluation, Documentation et Visibilité

2.1.1 Le FFM a-t-il contribué à l’harmonisation de l’appui technique et stratégique (HHA)?


Expliquez : ____________________ 2.1.2 Le FFM a-t-il contribué à un effet de levier financier en Santé maternelle? (ex : attirer d’autres partenaires financiers et faire augmenter les budgets pour la santé maternelle et infantile)


S.-v.-p., expliquez : ____________________ 2.1.3 Dans quelle mesure le FFM a-t-il favorisé la Documentation et la Visibilité:

2.1.4 Quels sont les facteurs clés qui ont contribué au succès du FFM dans la liste suivante ?

S.-v.-p., expliquez: __________________________ a) Facteurs internes au FFM.

⎕ Design / construction logique du projet ⎕ Structures de gouvernance du FFM ⎕ Cadre de performance et outils de suivi et de rapportage ⎕ Coordination ⎕ Mise en œuvre des interventions ⎕ Capacités nationales ⎕ Financement

100




données


d’évaluation ⎕ Autres S.-v.-p., précisez lesquels : __________________

b) Facteurs externes au FFM. S.-v.-p., expliquez: __________________________

⎕ Facteurs politiques

⎕ Situations d’urgence (épidémies; catastrophes naturelles, etc.)

⎕ Multiplicité des partenaires

⎕ Manque d’alignement et d’harmonisation entre les interventions et priorités des pays ⎕ Autres S.-v.-p., précisez lesquels : __________________ 2.1.5 Quels sont les facteurs clés qui ont freiné l’atteinte des résultats du FFM? a) Facteurs internes au FFM S.-v.-p., précisez lesquels : __________________________

b) Facteurs externes au FFM S.-v.-p., précisez lesquels : __________________________ Preuve de facteurs clés qui ont contribué ou ralenti l’atteinte des résultats

attendus du mécanisme du FFM (enablers and drivers)


2.2. What are the unexpected/unintended outcomes (positive and negative) of the governance structure in place, both at the regional and nation levels?

2.2.1 Quels ont été les résultats imprévus du FFM et de son mécanisme de coordination et d’appui technique et la mise en œuvre des interventions au niveau régional et national? S.-v.-p, expliquez : ___



FT+MG

Thème 3: Efficience : rendement de la gestion – coûts versus qualité (value for money)

3.1. To what extent the financial and human resources as well as the supplies (where applicable) have been:

a) sufficient (quantity)?

b) adequate (quality)?

3.1.1 Quels ont été les taux de décaissements annuels chaque année et au total à la fin des six années de mise en œuvre? (budgets planifiés versus décaissés) 3.1.2 Quels ont été les taux d’accomplissement des activités planifiées versus réalisées annuels chaque année et au total à la fin des six années de mise en œuvre? 3.1.3 Quelle est la proportion des coûts attribués à l’administration (administrative overhead); aux activités de gestion et aux opérations 3.1.4 Les ressources humaines pour réaliser les interventions du FFM ont-elles été



MG

101




données


d’évaluation

c) deployed according to schedule (timeliness)?

adéquates? S.-v.-p. expliquez : _____ 3.1.5 Les ressources financières pour réaliser les interventions du FFM ont-elles été adéquates? S.-v.-p. expliquez : _____

3.2. What is the added value (if any) of the existing programmatic tools (result framework, monitoring tools, reporting tools etc.) towards the successful implementation of the Program?

3.2.1 a) Les cadres de performance et les outils de suivi et de rapportage apportent-ils une valeur ajoutée dans l’atteinte des objectifs du FFM ?

⎕ Tout à fait d’accord ⎕ D’accord ⎕ Ni d’accord, ni pas d’accord ⎕ Pas d’accord ⎕Pas du tout d’accord

S.-v.-p. expliquez : _____

b) lesquelles parmi la liste ci-dessous ?

⎕ Amélioration de la transparence

⎕ Meilleure disponibilité des données de base

⎕ Amélioration de la prise de décision basée sur les éléments de preuves (evidence-based decision making)

⎕ Augmentation des approches programmes en Santé maternelle et des enfants dans les pays bénéficiaires

⎕ Autres, précisez lesquelles : _________

S.-v.-p. expliquez : ______



ED+MG

Thème 4: Coordination

4.1 To what extent have the main donor and the four UN agencies been adequately represented within the governance structure and processes both at regional as at country level?

4.1.1 Dans quelle mesure le Gouvernement français et les agences des Nations unies ont été représentés adéquatement dans les structures de gouvernance et les processus du FFM? a) Le Gouvernement français


b) UNICEF



102




données


d’évaluation

c) UNFPA d) OMS e) UN- Femmes


4.2 To what extent were FFM partners' roles and responsibilities clearly defined from the onset?

4.2.1 Dans quelle mesure les structures de gouvernance, les rôles et les responsabilités étaient bien définis et suffisamment clairs, organisés et flexibles pour assurer l’efficacité et l’efficience du FFM?


2.1.2 Dans quelle mesure la supervision a-t-elle été adéquate et l’autorité suffisamment exercée ou déléguée aux parties prenantes nationales pour assurer l’efficacité et l’efficience du FFM?



FT+MG

4.3 What are the factors that contributed the most/the least to the information flow and the work flow between the Regional and National level; amongst the four UN agencies themselves and, lastly, between the UN Agencies and the main donor?

2.2.1 Quels sont les facteurs-clés qui ont contribué à la circulation de l’information dans le cadre du FFM? S.-v.-p. Indiquez les facteurs clés : _____ a) Spécifiquement entre le niveau régional et le niveau des pays? S.-v.-p. Indiquez les facteurs clés : _____ 2.2.2 Quels sont les facteurs-clés qui ont freiné à la circulation de l’information dans le cadre du FFM? S.-v.-p. Indiquez les facteurs clés : _____ a) Spécifiquement entre le niveau régional et le niveau des pays? S.-v.-p. Indiquez les facteurs clés : _____

Revue des documents / Analyse du contenu


FT+MG

4.4 With respect to the "Delivering as One’" approach adopted by the four UN agencies, what works and what didn’t in

2.3.1 Dans quelle mesure l’approche commune du FFM a-t-elle fonctionné ? ⎕ Tout à fait satisfaisante ⎕ satisfaisante ⎕ Neutre ⎕ Pas satisfaisante ⎕ Pas du tout satisfaisante

Revue des documents / Analyse du contenu

FT+MG

103




données


d’évaluation

delivering a comprehensive package of RMNCAH services in countries in a complementary fashion?

2.3.2 Dans quelle mesure l’approche commune du FFM a-t-elle fonctionnée dans les agences des Nations unies suivantes : a) UNICEF


b) UNFPA c) OMS d) UN- Femmes

S.-v.-p., indiquez pourquoi : ______


4.5 To what extent has the coordination established as part of the FFM improved the coordination between FFM partners and the other technical and financial partners external to FFM?

2.4.1 Dans quelle mesure la coordination du FFM a-t-elle amélioré la coordination entre les partenaires du FFM et les autres PTF? S.-v.-p., expliquez : ______


Interviews: PTF Sondage en ligne

FT+MG

4.6 What are the main opportunities for improved coordination between FFM partners and all the other partners external to FFM in the future?

2.4.1 Quelles sont les meilleures solutions pour améliorer la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM? S.-v.-p., expliquez : ______



FT+MG

104

ANNEXE H – LISTE DES ENTREVUES Liste des interviews Entrevue avec l’équipe pays Sénégal, 11 juillet Colette Ndoye, consultante UNFPA ; Marème Ndoye, Chargée de projet ONU Femmes; Lucilles Imboua, OMS

Entrevue UNICEF bureau régional, 12 juillet 2019 Alain Prual : UNICEF, Membre du comité de référence Évaluation; membre du Cotech; membre fondateur de Muskoka - ‘’l’esprit de Muskoka en 2010’’.

René Ekpini, conseiller régional Santé, UNICEF

Ngashi Ngongo, conseiller principal survie et développement de l’enfant, UNICEF Entre vue avec l’OMS bureau régional, 13 juillet Lucile Marie Imboua Niava, Représentante de l’OMS [email protected] ONU Femmes, bureau régional, 15 juillet 2019 Entrevue avec la directrice régionale

Oulimata Sarr, directeur régional Entrevue avec le Secrétariat du FFM, 16 juillet Eva Verwilst Spécialiste de programme UNICEF WCARO, Partenariats SRMNIA UNFPA, bureau régional, 16 juillet 2019 Jocelyn Fenard, conseiller régional

Marie Soulie, COTECH Entrevue Ambassade du Canada, 17 juillet 2019 Eugénie Siga Diane Niane, Spécialiste en santé de la reproduction, Projet des Services d’Appui sur le Terrain (PSAT) Adam Loyer, 2ième secrétaire de développement, Affaires mondiales Canada

Entrevue RAES, 17 juillet 2019 Mbathio Diaw Ndiaye Directrice exécutive et Alexandre Rideau, Chargé du développement stratégique, ONG RAES

, 12 rue Fila Fann Hock, Dakar. Entrevue Banque mondiale, 19 juillet 2019 Dr Moussa Dieng conseiller régional Ndeye Absa Cisse, CO Dakar, Sénégal

Entrevue équipe de l’OMS à Genève (par skype), 21 juillet 2017 Dr Maurice Bucagu. MD, M. Med (O&G), PhD, Medical Officer. Maternal Health services. Policy, Planning and Programme Unit. Department of Maternal, Newborn, Child and Adolescent Health. World Health Organization

Entrevue MEAE, 23 juillet au siège du MEAE, à Paris. Cécile GRIMALDI, DGM/DDD/HUMA– Pôle Politique de santé mondiale. Ministère de l’Europe et des Affaires étrangères Jean-François Pactet; sous-directeur du développement humain, Direction générale de la mondialisation, de la culture, de l’enseignement et du développement international.

mailto:[email protected]

105

ANNEXE I – LISTE DES DOCUMENTS CONSULTES La liste des documents ci-dessous présente les documents consultés (ou à consulter) pour l’évaluation du Fonds Muskoka.

# Document Description Status / Source

Date de réception des

documents/ou en attente

Format

Baseline

1 Termes de référence de l’analyse initiale de situation de la santé maternelle néonatale et infantile (SMNI) dans le cadre des Fonds français Muskoka

UNICEF June 24

Electronic

2 MUSKOKA_RAPPORT FINAL - Analyse situationnelle 27-05-13 - Copy

UNICEF June 24 Electronic

3 SENEGELAMUSKOKA_RAPPORT FINAL - Analyse situationnelle 27-05-13


4 NIGER Rapport_Santé Maternelles et Infantile_Muskoka_Niger_13décmebre2012_VF1 - Copy


5 Guinee Rapport prelim EDS4 Guinée - Copy UNICEF June 24 Electronic

6 CHAD Analyse_Situationnelle_Santé_Maternelle complet - Copy


7 PNDS_TOGO[1]

Analyse_de la situation de la santé au Togo - Copy UNICEF June 24 Electronic

8 BENIN Rapport SMI Muskoka ( 24 decembre 2012 2) - Copy


9 TORsbaseline[1]_hl 3 UNICEF June 24 Electronic

Documents de programme

1 FFM - Chapitres Communs aux quatre agences-FinalDraft UNICEF June 24 Electronic

2 Harper_commission_-Working_Group_on_Results_Final_Paper[1]


3 muskoka_declaration[1] UNICEF June 24 Electronic

4 S&E communs EFSPMuskoka UNICEF June 24 Electronic

106




Format

Plans de travail annuel/ par pays

2016

2017

2018

plan pays 2019-2020

UNICEF June 25

Cadre de résultats à partir de 2014

ANNEXE1_Définition indicateurs - cadre de résultats à haut impact_VF

Cadre_resultats_IHI_VF

UNICEF June 25

Cadre de résultats initial :

FFM PSE 2012 V2- final

matrice indicateurs traceurs FFM REVISE OCT 2012

matrice_et_guide_pour_palnification_année2 Version finale

June 25

Rapport annuels (pays - régionaux - consolide)

1 Rapports pays année 1 2012


2 Rapports pays année 2013

Annexe 1 rapports annuels pays avec annexe au rapport annuel : Bénin, Burkina Faso, Côte d’Ivoire, Guinée, Haiti, Mali, Niger, RDC, Senegal, Tchad, Togo.

Annexe 2 rapports narratifs bureaux régionaux : Rapport 2013 OMS Siege; Rapport 2013 ONU Femmes Régional; Rapport 2013 UNFPA BR_siege

Annexe 3 rapports financiers bureaux régionaux : Rapport financier Année 2 UNFPA; OMS; ONUfemmes; UNICEF.

Rapport financier_Muskoka_UNFPA_Composamte 2+3

Rapport financier_MuskokaFF_WHO HQ_RO 2013_final

Annexe 4 rapport Communautés de pratiques : Annexe 4 CoP report 2013 HHAc

Annexe 5 rapport recherche opérationnelle : Annexe 5 FFM RO rapport 2013

FFM Rapport annuel 2013 VF

UNICEF June 25

Electronic

107




Format

3 Rapports pays année 2014

Annexe 1 rapports annuel pays avec annexe au rapport annuel : idem + 8_RCA_Rapport2014_Muskoka

Annexe 2 rapports techniques et financiers bureaux régionaux : idem + 6_UNICEF_Muskoka2014_Rapport financier_MAEDI

Annexe 3 rapport recherche opérationnelle

Annexe 4 Cadre de résultats a haut impact

Annexe 5 Muskoka brochure

UNICEF June 25

Electronic

4 année 2015

Annexe 1 details chapitre 3 : Annexe 1_détails chapitre 3

Annexe 2 rapports pays (9) : Bénin, Côte d’Ivoire, Guinée, Mali, Niger, RDC, Sénégal, Tchad, Togo.

Annexe 3 rapports régionaux

Annexe 4 recherche opérationnelle

UNICEF June 25

Electronic

5 année 2016

Annexe 1 rapports pays (8)


Annexe 3 Notes conceptuelles Nutrition_SSRAJ

FFM_Synthese2016_VF

Rapport annuel Année 5 FFM_8mai2017


6 année 2017

Annexe 1 rapports pays (8)


Rapport annuel année 6_28fevrier2018


7 année 2018

Rapport consolide_V3_8juin2018 UNICEF June 25 Electronic

Évaluations

1 Évaluation AFD des fonds Muskoka 2014 9 juillet Electronic

Évaluation finale Muskoka (en voie de finalisation) Août

CR réunions COPIL Electronic

108




Format

2012: CR_COPIL_100512 final

2013: OPILMai2013vf

2014: 220413_CR COPIL Mars 2014 (3)

2015 : CR Copil FFM 29 avril_V5_inputCOTECH

2016 : ND-2016-372769 (002)_input COTECH_juin2016

2017 : MUSKOKA_COPIL 5 juillet 2017_VF

2018 : CR Comité de pilotage du Fonds français Muskoka 12062018 - MEAE - EV

MUSKOKA_COPIL juin 2018_V1

UNICEF June 25

electronic

CR réunions COTECH

2012: CR_Comite_Technique_Abidjan_FFM_FINAL

CR_reunions_techniques_FFM-_911_mai_2012 final

Rapport_Réunion_CoTech_Muskoka_final

2013 : CR OTECH sept 2013

CR_reunion_technique_FFM123juilletvf

CR_reunions_techniques_FFM-67Mai2013_draftevg

2014 : CR_COTECH_LOME_Mai2014VF

CR_COTECH_Niger_Novembre2014VF

2015 : CR COTECH_Bamako_juin2015_VF

CR_COTECHNov2015_final

2016 : CR COTECH decembre2016_VF (003)

2017 : CR Muskoka VF

2018 : CR Muskoka_version0

MUSKOKA_COTECH juin 2018_V1

MUSKOKA_COTECH_Decembre2018_VF

UNICEF June 25

Electronic

109

ANNEXE J – OUTILS DE COLLECTE DE DONNEES

Sondage en ligne Évaluation des mécanismes de gouvernance et des outils de programmation du FFM 2011-2017 de l’UNICEF, l’OMS, UNFPA et ONU Femmes.

Le Comité technique du Fonds français Muskoka (FFM) évalue présentement les mécanismes de gouvernance et les outils de programmation utilisés pendant la période 2011-2017. Cet exercice vise à améliorer la performance du Fonds pour la nouvelle phase 2018-2022.

Ce sondage en ligne permettra de recueillir vos opinions concernant le fonctionnement du FFM et de ses interventions dans lesquelles vous êtes et/ou vous avez été impliqué(e)s. Il contient vingt questions et il peut être répondu en trente minutes. Sachez que les questionnaires seront traités en agrégés et que vos réponses resteront confidentielles.

Si vous ne savez pas répondre à une question, ou si vous estimez qu’elle ne vous concerne pas, n’hésitez pas à passer à la suivante.

Vos réponses sont très importantes pour améliorer la future phase du FFM

Merci beaucoup de votre participation.

En cas de difficultés, s’il-vous-plaît contactez Malick Diop à l’adresse courriel : [email protected].

Pertinence : le degré d’adéquation d’une activité d’aide avec les besoins du groupe cible et les priorités et les politiques du bénéficiaire et du donneur.

1. Cliquez sur la case associée à la partie prenante lorsque vous êtes d’avis que les structures et les processus du FFM répondent à ses objectifs et priorités :

⎕Gouvernement français

⎕UNICEF

⎕OMS

⎕UNFPA

⎕ONU Femmes

⎕Le Gouvernement et ses politiques nationales

⎕Plus spécifiquement les ministères sectoriels impliqués dans la mise en œuvre du FFM.

S.-v.-p. précisez lesquels : ________________

Si non, expliquez votre réponse : ____________________

2. Le (s) Gouvernement (s) des pays participants au FFM ont-ils été suffisamment impliqués dans le design et les décisions lors la mise en œuvre du FFM ? :

⎕ Tout à fait impliqués ⎕ Assez impliqués ⎕ Pas assez impliqués ⎕ Pas du tout impliqués ⎕ Je ne sais pas

Expliquez votre réponse : ____________________

110

3. Les outils de planification, de suivi et de rapportage suivants sont-ils adéquats pour répondre à vos besoins de gestion?

a) Le cadre logique du FFM

⎕ Tout à fait adéquat ⎕ Assez adéquat ⎕ Pas très adéquat ⎕ Pas du tout adéquat ⎕ Je ne sais pas

b) Le plan d’action (planification)


c) Le rapportage annuel


d) Le cadre de performance avec les indicateurs à renseigner (fichier Excel qui accompagne le rapport annuel)


e) Le rapportage financier


S.-v.-p, expliquez : ____________________

4. Cochez les avantages de la mise en œuvre du FFM s’il y a lieu parmi les éléments suivants :

⎕ Appui conjoint aux stratégies nationales, à travers un processus de développement inclusif? S.-v.-p, indiquez les stratégies nationales appuyées : ___________________________________

⎕ Approche intersectorielle qui mobilise des actions dans divers domaines (sanitaire, nutrition, santé sexuelle et reproductive, éducatif, communautaire, etc.) S.-v.-p, donnez des exemples d’approches intersectorielles réussies : ________________________________________________

⎕ L’inscription des apports de ressources dans le budget national et l’utilisation des systèmes nationaux (fiduciaires et structures gouvernementales de mise en œuvre)

⎕ Panier de financement commun

⎕ Suivi conjoint des processus et des résultats, basé sur une plateforme nationale d’information et de redevabilité (études et analyses conjointes ; missions et revues annuelles conjointes)

⎕ Appuis techniques planifiés stratégiquement et bien coordonnés

⎕ Renforcement des capacités des gouvernements bénéficiaires soit en développement des politiques et stratégies, en budgétisation par résultats et en suivi des résultats (GAR)

⎕ Promotion et l’appui à l’apprentissage systématique entre les pays d’intervention

Efficacité : le degré de réalisation des objectifs d’une activité d’aide

5. a) Êtes-vous d’accord avec le fait que le FFM a contribué à l’harmonisation de l’appui technique et stratégique :

a) au niveau régional ?

⎕ Tout à fait d’accord ⎕ Assez d’accord ⎕ Pas trop d’accord ⎕ Pas du tout d’accord ⎕ Je ne sais pas S.-v.-p, expliquez : ____________________

b) au niveau des pays?

⎕ Tout à fait d’accord ⎕ Assez d’accord ⎕ Pas trop d’accord ⎕ Pas du tout d’accord ⎕ Je ne sais pas

S.-v.-p, expliquez : ____________________

111

6. Le FFM a-t-il contribué au partage de l’information stratégique et à la gestion des connaissances? (recherche opérationnelle et système d’information/ production de documents techniques et dissémination de l’info / renforcement des capacités de suivi)

⎕ Tout à fait d’accord ⎕ Assez d’accord ⎕ Pas trop d’accord ⎕ Pas du tout d’accord ⎕ Je ne sais pas

S.-v.-p, expliquez : ____________________

7. a) À votre avis, le FFM a-t-il eu un vrai impact sur les systèmes de santé du gouvernement ainsi que sur les femmes, les enfants et les adolescents ??

⎕Tout à fait ⎕ Assez ⎕ Pas trop ⎕ Pas du tout ⎕ Je ne sais pas

b) Si oui, indiquez lesquels parmi les thématiques suivantes: _________________________________________________________________________________________________________

⎕ Développer des Soins Obstétricaux et Néonatals d’Urgence (SONU) effectifs

⎕ Mettre en place un système de surveillance des décès maternels et de la réponse

⎕ Organiser un accès équitable à un professionnel compétent

⎕ Mettre en place des services de planification familiale notamment à base communautaire

⎕ Améliorer la santé sexuelle et de la reproduction des adolescents et des jeunes

⎕ Améliorer la qualité des soins aux enfants de moins de cinq ans à travers la PCIME communautaire et clinique et les soins spécifiques aux nouveau-nés

⎕ Améliorer la nutrition

⎕ Améliorer l’accès aux produits et médicaments essentiels de qualité pour la santé de la mère, du nouveau-né, la santé de l’enfant et la planification familiale

⎕ Développer les pratiques familiales essentielles

c) Si non, pourquoi ? : __________________________

8. Quels sont les facteurs clés qui ont contribué au succès du FFM ?

a) Facteurs internes au FFM : __________________________

b) Facteurs externes au FFM : __________________________

9. Quels sont les facteurs clés qui ont freiné l’atteinte des résultats du FFM?

a) Facteurs internes au FFM: __________________________

b) Facteurs externes au FFM: __________________________

10. Y a-t-il eu des résultats imprévus ou inattendus (positifs ou négatifs) du FFM et de son mécanisme de coordination et d’appui technique et la mise en œuvre des interventions au niveau régional et national? __________________

Efficience : la mesure du rapport entre les produits – qualitatifs et quantitatifs – et les ressources mises en œuvre pour les obtenir

11. Les ressources humaines pour réaliser les interventions du FFM ont-elles été suffisantes en quantité et en qualité?

⎕ Tout à fait suffisantes ⎕ Assez suffisantes ⎕ Pas assez suffisantes ⎕ Pas du tout suffisantes ⎕ Je ne sais pas


112

12. a) Les ressources financières pour réaliser les interventions du FFM ont-elles été suffisantes?

⎕ Tout à fait suffisantes ⎕ Assez suffisantes ⎕ Pas assez suffisantes ⎕ Pas du tout suffisantes ⎕ Je ne sais pas

b) Le système d’allocation annuel des fonds est-il adéquat ?

⎕Tout à fait adéquat ⎕ Assez adéquat ⎕ Pas assez adéquat ⎕ Pas du tout adéquat ⎕ Je ne sais pas

c) L’allocation des fonds a-t-elle été suffisamment prévisible ?

⎕ Tout à fait prévisible ⎕ Assez prévisible ⎕ Pas assez prévisible ⎕ Pas du tout prévisible ⎕ Je ne sais pas


13. a) Les structures de gouvernance suivantes ont-elles été efficientes pour l’atteinte des objectifs du FFM?

a) Comité de pilotage au niveau bailleurs (Copil)

⎕ Tout à fait efficient ⎕ Assez efficient ⎕Pas assez efficient ⎕ Pas du tout efficient ⎕ Je ne sais pas b) Comité technique régional au niveau régional (Cotech)

⎕ Tout à fait efficient ⎕ Assez efficient ⎕Pas assez efficient ⎕ Pas du tout efficient

⎕ Je ne sais pas

c) Groupe de coordination des partenaires au niveau des pays (ou comité national HHA, H4+, UNCT comité santé, etc.)

⎕ Tout à fait efficient ⎕ Assez efficient ⎕Pas assez efficient ⎕ Pas du tout efficient

⎕ Je ne sais pas

d) UNICEF BRAOC : coordination du suivi avec les pays et les agences

⎕ Tout à fait efficiente ⎕ Assez efficiente ⎕Pas assez efficiente ⎕ Pas du tout efficiente

⎕ Je ne sais pas

S.-v.-p, expliquez votre réponse : ____________________

14. Indiquez la valeur ajoutée du cadre logique et des outils de planification, de suivi et de rapportage s’il y a lieu parmi la liste suivante, et mettez-les en ordre d’importance :

⎕ Amélioration de la transparence

⎕ Meilleure disponibilité des données de base

⎕ Amélioration de la prise de décision basée sur les éléments de preuves (evidence-based decision making)

⎕ Augmentation des approches programmes en SSMNRIA dans les pays du FFM

⎕ Autres, précisez lesquelles : _________


Coordination

15. a) Cliquez sur la case associée à la partie prenante lorsque vous êtes d’avis qu’elle a été suffisamment représentée dans les structures de gouvernance et les processus du FFM ? :

⎕ Gouvernement français

⎕ UNICEF

113

⎕ OMS

⎕ UNFPA

⎕ ONU Femmes

⎕Gouvernement du pays

⎕Ministères sectoriels impliqués dans la mise en œuvre du FFM. S.-v.-p. précisez lesquels : ________________

Si non, expliquez votre réponse : ____________________

16. Dans quelle mesure les structures de gouvernance, les rôles et les responsabilités étaient suffisamment définis, organisés et flexibles pour assurer l’efficacité et l’efficience du FFM?

⎕ Tout à fait définies, organisées et flexibles ⎕ Assez ⎕ Pas assez ⎕ Pas du tout ⎕ Je ne sais pas


17. a) Quels sont les facteurs-clés qui ont contribué à la bonne circulation de l’information dans le cadre du FFM entre le niveau régional et le niveau des pays? : _______________________________________________________________________________________________________

b) Quels sont les facteurs-clés qui ont freiné la bonne circulation de l’information dans le cadre du FFM entre le niveau régional et le niveau des pays? : _________________________

18. La supervision et le leadership ont-ils été exercés ou délégués de façon suffisante aux parties prenantes nationales pour assurer l’efficacité et l’efficience du FFM?

⎕ Tout à fait suffisante ⎕ Assez suffisante ⎕ Pas assez suffisante ⎕ Pas du tout suffisante ⎕ Je ne sais pas


19. La coordination du FFM a-t-elle amélioré la coordination entre les partenaires du FFM et les autres PTF.

⎕Tout à fait améliorée ⎕Plus ou moins améliorée ⎕ Pas assez améliorée ⎕ Pas du tout améliorée ⎕ Je ne sais pas


Genre, équité et droits humains

20. a) Les plans d’action du FFM prennent ils suffisamment en compte les dimensions de l’égalité entre les femmes et les hommes, les questions d’équité et des droits humains ?

⎕ Tout à fait ⎕ Assez ⎕ Pas assez ⎕ Pas du tout ⎕ Je ne sais pas

b) Les dimensions de l’égalité entre les femmes et les hommes, les questions d’équité et des droits humains ont-ils effectivement été pris en compte dans la mise en œuvre du FFM ?

⎕ Tout à fait ⎕ Assez ⎕ Pas assez ⎕ Pas du tout ⎕ Je ne sais pas


Conclusion : À votre avis, quelles sont les meilleures solutions pour améliorer le fonctionnement du FFM et la coordination entre les partenaires du FFM et tous les autres partenaires externes au FFM? : ________________________________

114

Guide-Discussion / parties prenantes du FFM Évaluation des mécanismes de gouvernance et des outils de programmation du FFM première phase

2011-2017

A. FMF gouvernance et processus 1. Pertinence. Quelle est l’appréciation du FFM et les processus aux différentes phases pour répondre aux besoins des pays lors du design; planification; mise en œuvre (dimension fonctionnement et structure de gouvernance : rôles, responsabilités et missions des comités et des groupes de travail comme le copil, le cotech, groupes thématiques, processus de prises de décision, etc.)

2. Efficacité. Quelle est la plus-value du fonds quant aux résultats atteints ? (Dimension de l’attribution)

- Composante 1 Renforcement des systèmes de santé et Santé améliorée des mères, nouveau-nés, enfants et adolescents (Santé maternelle néonatale et infantile; Santé sexuelle et reproductive des jeunes et des adolescents (SSRAJ); Nutrition).

- Indicateurs : Ratio de mortalité maternelle Taux de mortalité infanto-juvénile et néonatal Prévalence de la sous-nutrition chronique

- Composante 2 : Harmonisation de l’appui technique et stratégique au niveau régional dans les domaines prioritaires (Appuis COP, technique, C’est la vie ; Recommandations pour la pratique clinique - RPC/SONU ; Amélioration à l’accès aux médicaments et aux Ressources humaines pour la santé ; Santé communautaire ; Qualité des soins (NN) ; Nutrition.)

- Composante 3 : Gestion, Suivi, Évaluation, Documentation et Visibilité

3. Efficience. Quels sont les taux de réalisation des activités et des décaissements? (Dimension des coûts de transaction)

- Indicateurs : Taux de décaissements annuels/an; total? (Budgets planifiés versus décaissés) ; - Taux d’accomplissement des activités planifiées versus réalisées/an; total ; - La proportion des coûts attribués à l’administration (administrative overhead); aux activités de gestion et aux opérations ; - # et qualité des ressources humaines pour réaliser les interventions du FFM ; - Ressources financières pour réaliser les interventions du FFM

4. Coordination - Forces et faiblesses. Pouvez-vous identifier les faiblesses des structures et des processus ; et les causes associées ?

5. Quelles sont les leçons apprises et des bonnes pratiques pour aider à améliorer la coopération entre les partenaires. B. Outils de suivi et de programmation

6. Les outils sont-ils pertinents pour rencontrer les objectifs et l’approche du FFM? Le Cadre de suivi du FFM ; Les indicateurs de processus ; Les indicateurs de mise en œuvre ; les Plans d’action; les Rapports annuels avec cadre de résultat renseignés etc. (dimension programmation)

7. Le cadre de performance et les outils de suivi permettent-ils de planifier, suivre les résultats et démonter les résultats liés aux livrables, notamment le paquet de service SRMNIA ? (Santé de la reproduction maternelle, néonatale, infantile et des adolescents) (dimension processus travail courant)

8. Le cadre logique du FFM est-il valide pour rencontrer les résultats du FFM et l’énoncé : Contribuer au renforcement des capacités des pays d’Afrique francophone au sud du Sahara pour accélérer la lutte contre la mortalité maternelle, néonatale et infantile dans le cadre du Nouvel Environnement de l’Aide et de la Déclaration de Paris.

9. Sinon que faudrait-il changer/améliorer (pour construire une ToC)?

10. Conclusion : Que faudrait-il pour arriver à améliorer la structure, la gestion et l’organisation du FFM? Une différente structure de gouvernance? De meilleurs outils, etc.?

115

ANNEXE K – TERMES DE REFERENCE

Prière de noter que les Termes de références sont dans le fichier ci-joint au rapport.

Évaluation formative de la gouvernance et des outils de … · 2020-04-29 · d’evaluation, les...

Documents

Transcript of Évaluation formative de la gouvernance et des outils de … · 2020-04-29 · d’evaluation, les...