Unité, Rosenweg 25, CH-3007 Bern, +41 (0)31 381 12 19, info@unite-ch.org, www.unite-ch.org

ETUDE SUR LA MESURE DES EFFETS DE LA COOPERATION PAR L’ECHANGE PERSONNES

De l’analyse des effets de la Coopération par l’échange de personnes à la proposition d’un outil d’évaluation adapté à

une organisation de petite taille

RAPPORT FINAL, juin 2016

Mandat réalisé pour le compte d’Eirene Suisse et d’Unité, Association suisse pour l’échange de personnes dans la coopération internationale

Jean-Eudes BEURET Consultant indépendant

jeaneudesbeuret@gmail.com

Mission réalisée dans le cadre d’un triple mandat dont résultent trois rapports distincts, indépendants mais complémentaires :

Rapport sur l’analyse institutionnelle d’EIRENE Suisse (2013-2016)

Etude sur la mesure des effets : de l’analyse des effets à la proposition d’un outil d’évaluation

Etude sur la valorisation des affectations complémentaires

2

Acronymes AC Amérique Centrale AMI Association Modeste et Innocent ALGES Asociación de Lisiados de Guerra de El Salvador, BdS Bureau du District Scolaire des Verrettes CANTERA Centro de Comunicación y Educación Popular, CAPS Comité d’Eau Potable et Assainissement CD Courte Durée CEAS Centre Ecologique Albert Schweitzer CEDHECA Centro de Derechos Humanos, Ciudadanos y Autonomicos CEIMM Centre d’Études et Information de la Femme Multiethnique, CEP Coopération par l’Echange de Personnes CETAA Centro de Educacion Tecnica Ambiental y Agroforestal CMQ Commission de Management de la Qualité CP Commission Projets CRESFED Centre de recherche et de formation économique et sociale pour le développement CHF Francs Suisses DDC Direction du Développement et de la Coopération ETP Equivalent Temps Plein FADCANIC Fundacion para la Autonomia y el Desarrollodel Caribe de Nicaragua FEDEVACO Fédération Canton de Vaud FGC Fédération Genevoise de Coopération FMLN Front Farabundo Marti de Libération Nationale GASA Groupe Accord Solidarité Action GARR Groupe d'Appui aux Rapatriés et Réfugiés GHEN Groupe Haïtien d'Education Nouvelle GL Grands Lacs GVOM Groupe Volontaires Outre Mer IDG Initiative De Genève pour la paix dans les Grands Lacs IRDP Institut de Recherche et de Dialogue pour la Paix LD Longue Durée MAPP Method for Impact Assessment of Programme and Projects MSC Most Significant Change ODD Organisation de Développement de Désarmes OGM Organismes Génétiquement Modifiés ONG Organisation Non Gouvernementale PAIS Programme d'Appui à l'Insertion Sociale PL Personnel Local RAAS Région Autonoma Atlantica Sur RBC Réhabilitation Basée sur la Communauté SC Service Civil SEPO Succès Echecs Potentialités Obstacles SJM Servicio Jesuita para Migrantes SN Sud Nord ST Stage SWOT Strenghts, Weaknesses, Opportunities, Threats KOFF Kompentenzzentrum Friedensförderung ODESAR Organización para el Desarrollo Económico y Social para el Área Urbana y Rural, RDC République Démocratique du Congo UNES Unidad Ecológica Salvadoreña, UNV United Nations Volunteers

Remarque : cette liste regroupe les acronymes employés dans les trois rapports issus du triple mandat. Développer les noms des volontaires nous semblait parfois superflu et ce sont parfois leurs initiales des volontaires qui sont mentionnées : le lecteur pourra retrouver les noms complets, si besoin est, dans le tableau listant les affectations étudiées,

3

Sommaire Synthèse opérationnelle : constats et recommandations I et II Introduction 1 1. Les effets des affectations : qualification et déterminants

5

1.1. Qualification et typologie des effets des affectations 5 1.2. Analyse des effets inventoriés, conséquences pour l’identification des effets 13 1.3. Identification (non-exhaustive) de déterminants de l’impact 17 1.4. Les effets cumulés de séquences d’affectations 20 2. Des pistes pour un outil fonctionnel de mesure d’effets adapté à la taille d’une petite organisation : fondements

26

2.1. La « commande » : le cahier des charges de l’outil 26 2.2. Ce que nous retenons de l’analyse des effets : des éléments déterminants pour nos propositions

27

2.3. Des bases : un langage commun, des objectifs partagés 29 2.4. Se baser sur des modèles révisés : modèle d’impact, modèle offre-demande 31 2.5. Pourquoi la « méthode UNV » (adaptée par E-Changer) n’a-t-elle pas été mise en œuvre ? Analyse et déductions opérationnelles

33

3. Ce que nous proposons

36

3.1. Les concepts mobilisés 36 3.2. La démarche proposée 36 3.3. Une démarche à situer dans un processus allant de chaque terrain à l’ensemble de l’action de l’organisation d’envoi

41

3.4. Une modulation possible : placer l’atelier-bilan des incidences au niveau « partenariat »

43

Conclusion 44 Bibliographie

45

Annexe n°1 : personnes rencontrées et activités réalisées

46

Annexe n°2 : enquête sur les effets et l’impact auprès d’anciens volontaires GVOM-Eirene en Amérique Centrale

48

Annexe n°3 : Etat des lieux des outils et méthodes employés pour l’évaluation des effets et de l’impact de la Coopération par l’Echange de Personnes. Revue de la bibliographie réalisée par Alan BEURET, mars 2016

49

I

SYNTHESE OPERATIONNELLE : CONSTATS ET RECOMMANDATIONS

Constats : l’identification des effets des affectations montre qu’ils portent avant tout sur le partenaire et son action, mais aussi sur une diversité de « partenaires limitrophes ». La typologie réalisée nous conduit à distinguer des effets en termes de « capital pour l’action » (capital humain, capital en termes d’outils pour l’action, capital organisationnel), de « gains temporaires » (addition temporaire de capacités d’action, accès temporaire à certains espaces de coopération) ou d’inflexion de trajectoires d’organisations locales (avec des « idées fraîches » et des impulsions parfois déterminantes). Ces effets sont le fruit d’opérations spécifiques de renforcement institutionnel, mais surtout du travail conjoint et de l’échange. Ils sont bien plus larges que les résultats attendus et sont très souvent imprévisibles : d’une part les effets de l’action du volontaire telle qu’envisagée dans son affectation ne sont souvent pas ceux que l’on attend, que d’autre part le volontaire fait souvent autre chose que ce qui est prévu dans son affectation (en plus ou à la place de ce qui était prévu). L’identification systématique des effets que nous avons réalisée montre que ces effets sont réels, qu’ils sont diffus, discrets et fondus dans l’action des partenaires locaux (la CEP ne doit pas chercher à afficher des effets indépendamment de ses partenaires) et que la CEP a un réel impact sur la dynamique et l’action de certains partenaires (voir le rapport). Parmi les déterminants majeurs des effets positifs identifiés et de l’impact figurent : (a). La réalité et la qualité du processus d’immersion du volontaire dans la réalité locale ; (b) La disponibilité des partenaires et contreparties du volontaire et l’existence au sein du partenaire d’un travail d’équipe organisé ; (c). L’esprit d’initiative et l’aptitude du volontaire à un leadership contenu dans un cadre donné ; (d). Le fait que le volontaire ait un profil spécifique intéressant pour ses interlocuteurs, mais aussi l’existence de complémentarités fines au regard des spécificités locales, en termes de méthodes de travail, modes de pensée, formes de créativité, etc.. ; (e). La durée des affectations, l’adaptation du contenu de l’affectation à sa durée (ne pas faire d’une affectation courte une « sous-affectation » longue mais fixer des tâches adaptées) ; (f). L’inscription de l’affectation dans une séquence d’affectations basée sur des apports complémentaires dans un même champ, l’exploitation et la consolidation par chaque affectation des apports antérieurs. Recommandation n° 9 : quelque soit l’outil d’évaluation des effets et d’approche de l’impact qui sera mis en place, il devra tenir compte des résultats de ce travail d’identification des effets et, par conséquent, reposer sur les bases suivantes : (a). Etre centré sur les effets obtenus auprès d’acteurs de changement (en premier lieu le partenaire mais pas seulement) touchés par une ou plusieurs affectations plutôt que sur des bénéfices pour les populations cibles ; (b) Partir de l’inventaire des effets pour revenir à la façon dont ils ont été obtenus (plutôt que partir des résultats attendus de l’action), compte tenu de l’importance des effets imprévisibles ; (c) Etre centré sur deux niveaux d’analyse, le niveau « affectation » (évaluation des effets d’une affectation) et le niveau « partenariat / séquence d’affectations » (évaluation des effets d’une séquence d’affectations) ; (d) Etre basé sur un modèle d’impact de la CEP qui tienne compte du fait que les effets sont liés à un travail de renforcement institutionnel mais aussi et surtout à un « co-travail » et aux échanges qui accompagnent l’intervention du volontaire, ainsi qu’à la façon dont les effets sont consolidés et exploités pour produire un impact (cf. le modèle d’impact proposé dans le rapport)

II

Constat : le suivi-évaluation des effets actuellement réalisé par Eirene est très limité et basé sur une courte partie consacrée aux effets dans les bilans intermédiaires et finaux d’affectation : elle est très réduite, pose des problèmes de formulation des termes employés et donne des éléments peu exploitables. Recommandation n° 10 : conformément au mandat qui nous a été confié, nous proposons la mise en place d’un outil de suivi-évaluation des effets et d’approche de l’impact. Cet outil se veut facilement appropriable, relativement simple d’utilisation et intégrable au dispositif actuel de monitoring des affectations (ce n’est pas un outil en plus de l’existant, mais un outil qui doit s’y intégrer). Cet outil reprend certains concepts issus de la cartographie des incidences, tout en empruntant des éléments à la « méthode UNV » et à la méthode du Most Significant Change. Il est basé sur plusieurs opérations : (a). une rencontre de préparation de l’affectation lors de laquelle sera notamment précisée la théorie du changement dans laquelle s’inscrit l’affectation, donc l’impact escompté à terme ; (b). une rencontre d’ajustement du cahier des charges et de définition d’indicateurs 1 à 3 mois après le début de l’affectation ; (c). La tenue par le volontaire d’un journal des incidences et de suivi des indicateurs, sous la forme qui lui convient le mieux (voir le rapport), objet d’un travail de synthèse en fin d’affectation ; (d). un atelier-bilan de fin d’affectation, avec une analyse des incidences, de leur obtention (regard en arrière) et de leur consolidation (regard vers l’avant) ; (e). Une rencontre de bilan intermédiaire de la CEP avec le partenaire et d’analyse des effets des séquences d’affectations, réalisée tous les 4 ans, l’année précédent l’exercice de planification quadriennale. La démarche est détaillée dans le rapport. C’est une proposition de base qui doit impérativement être retravaillée collectivement au sein d’Eirene, notamment avec les coordinations locales, qui seront un maillon essentiel de sa mise en œuvre. (Ces recommandations complètent les autres recommandations numérotées de 1 à 13 adressées à Eirene, issues du triple mandat confié au consultant).

1

Introduction : les objectifs et la démarche

Trois mandats, quatre champs thématiques Ce rapport est le fruit d’un triple mandat qui nous a été confié par Unité. Il s’agit d’abord de réaliser l’analyse institutionnelle d’EIRENE, prévue tous les quatre ans. Dans le cadre de l’action d’Unité visant à garantir la qualité de la coopération au développement suisse par l’échange de personnes, chaque membre d’Unité est tenu de réaliser une analyse institutionnelle de façon quadriennale. Cette analyse doit notamment vérifier le respect des standards définis dans le cadre de la commission qualité d’Unité (composée de ses membres), laquelle entretien un dialogue programmatique annuel avec chacun de ses membres qui bénéficient de cofinancements de la DDC via Unité (ce qui est le cas d’Eirene Suisse1). L’analyse institutionnelle suit ici celle de 2012 qui avait servi de support à l’exercice de programmation quadriennale : elle alimentera la programmation quadriennale suivante, dont le contenu devra être défini pour novembre 2016. Dans cette analyse institutionnelle, ont d’abord été abordées des thématiques génériques présentes dans toutes les analyses institutionnelles des membres (évaluer les progrès institutionnels, la situation spécifique, le potentiel et les limites de l’organisation par rapport à une Coopération par l’Echange de Personnes (CEP) de haute qualité ; examiner les processus mis en œuvre pour que la CEP soit axée sur la qualité ; examiner les instruments et procédures utilisés au regard des normes de qualité définies par Unité ; évaluer l’efficacité des instruments utilisés ; transmettre des recommandations). Mais elle vise surtout à traiter des questions spécifiques, issues du dialogue de programme entre Unité et Eirene. Certaines de ces questions font en outre l’objet d’un mandat complémentaire : un mandat porte sur l’analyse des affectations complémentaires, un autre sur la mesure des effets des affectations. Au final, en combinant les trois mandats, il nous est demandé d’aborder quatre champs

thématiques, avec les objectifs mentionnés dans le Tableau 1 :

Champs thématiques

Objectif Mandat

Analyse institutionnelle : questions génériques

Evaluer les progrès institutionnels, la situation spécifique, le potentiel et les limites de l’organisation par rapport à une CEP de haute qualité ; examiner les processus mis en œuvre pour que la CEP soit axée sur la qualité ; examiner les instruments et procédures utilisés au regard des normes de qualité définies par Unité ; évaluer l’efficacité des instruments utilisés ; transmettre des recommandations

Analyse institution-nelle

La capitalisation des acquis

Analyser les mécanismes existant en matière de capitalisation des acquis, identifier d’éventuels besoins d’amélioration, faire des propositions si nécessaire

La mesure des effets de la CEP

Réviser le dispositif actuel de mesure des effets, analyser les expériences de mise en œuvre de ce dispositif, voir quels outils sont pertinents, lesquels faut-il améliorer, lesquels sont peu utiles.

Proposer des pistes pour un outil fonctionnel de mesure d’effets adapté à la taille d’une petite organisation

Projet pilote

Les affectations complémen-taires

Analyser la valorisation, en Amérique Centrale, des affectations complémentaires (à celles de longue durée) : affectations Nord Sud de courte durée, services civils, stages professionnels, échanges / affectations Sud Sud, Affectations Sud Nord

Fonds d’innovation

Tableau 1 : trois mandats, quatre champs thématiques : nombre de jours dédiés et objectifs

1 Ci après Eirene

2

Pour les trois focus demandés : les questions évaluatives Capitalisation des acquis : selon les termes de référence, un échange systématisé au niveau des partenariats (stratégiques), des programmes par pays et du programme institutionnel garantit la capitalisation des acquis. Celle-ci est à envisagée par exemple en cas d’expérimentation pédagogique ou de méthode, exploration d’un champ d’action, jeu d’acteur complexe, innovations, etc., utiles au partenaire et à d’éventuels futurs volontaires. Quels mécanismes existent déjà pour la capitalisation des acquis ? Existe-t-il un besoin d’amélioration ? Sur la base de ces observations, un (r)ajustement du dispositif actuel et de nouvelles mesures seront proposés. La mesure des effets de la CEP : avec l’introduction de la logique programmatique à partir de 2013, Selon les termes de référence, Eirene a entrepris un grand effort pour améliorer et démontrer la qualité des affectations, notamment pour renforcer et mesurer les effets, avec : l’élaboration et l’application de nouveaux outils propres (formulaire demande – reporting, établissement d’une commission projet, consolidation des coordinations Sud, baromètre de partenariat, etc.) ; l’établissement d’hypothèses d’effets par région (document interne) ; l’engagement d’une réflexion interne sur la « Mesure des effets et les hypothèses de changement » afin d’adapter le champ d’observation « effets » aux besoins et à la taille d’Eirene.Il nous est demander de saisir les raisons de la non-application de la méthode UNV (adaptée par E-Changer), de réviser le dispositif actuel, de voir quels outils sont pertinents, lesquels faut-il améliorer, lesquels sont peu utiles, puis de faire des propositions pour un outil fonctionnel de mesure d’effets adapté à la taille d’une petite organisation. Les affectations complémentaires : des questions évaluatives ont été énoncées pour chaque catégorie d’affectation concernée : Courte

durée Service civil

Stage Sud Sud

a. Ces affectations, comment sont-elles intégrées dans la logique programmatique ?

b. Comment se passe le (ré)ajustement entre le profil professionnel, la durée (< 1 année) et les exigences du lieu d’affectation ?

c. Comment sont-elles intégrées dans le partenariat Nord-Sud ? dans les activités du partenaire Sud ? dans le programme du partenaire Nord ? réseautage ?

d. L’accompagnement au Sud, comment se déroule-t-il? Quelle valorisation dans la perspective du Sud.

e. Quelles sont les activités spécifiques de sensibilisation et/ou recherche de fonds liées à ces affectations ?

f. Les acquis (Ergebnisse, résultats), comment sont-ils valorisés? Quelles contributions ponctuelles (résultats/output, effets/outcome) au programme des partenaires Sud et Nord ?

g. Quel apprentissage pour la personne en affectation ?

h. Comment se déroulent l‘identification, la préparation, la mise en œuvre, la fin de l'échange et la valorisation des acquis (post-échange) ? (cf. aussi mandat D. Fino / CEAS : Guide méthodologique sur les échanges de personnes dans le cadre de la coopération Sud-Sud et Sud-Nord) ?

Tableau 2 : questions évaluatives relatives aux affectations complémentaires

Il a été proposé de porter un regard aussi sur les affectations Sud Nord, sans que les questions évaluatives n’aient été précisées. Démarche de travail L’ensemble de ces questions ont été abordées principalement à partir d’une mission dans une seule des trois régions d’intervention d’Eirene, l’Amérique Centrale. Cette région a été

3

choisie car c’est là qu’Eirene est actuellement le plus actif en termes de CEP et c’est aussi la région qui se prête le mieux à l’analyse de séquences de plusieurs affectations auprès d’un même partenaire. En amont de la mission de terrain ont été réalisés plusieurs rencontres avec des membres de l’équipe opérationnelle d’Eirene Suisse,au siège d’Eirene à Genève, ainsi qu’un entretien avec Edith Kolo Favoreu, auteure d’un document qui pose la question de l’évaluation des effets et de l’impact et de leur mesure du point de vue d’Eirene. Nous avons en outre pris contact avec les coordonnateurs des trois zones d’intervention d’Eirene. Nous avons enfin réalisé une enquête (cf. annexes) auprès d’anciens volontaires de GVOM ou d’Eirene affectés en Amérique Latine : seules trois réponses ont été reçues mais leur traitement s’est révélé très intéressant. Nous avons enfin réalisé un important travail bibliographique, à partir de documents d’Eirene mais aussi sur les méthodes d’évaluation des effets et d’approche de l’impact utilisées dans la Coopération par l’Echange de Personnes, avec l’aide d’un appui spécifique (cf. le document d’Alan Beuret, en annexe). La mission a été réalisée du 10 au 24 avril, au Salvador puis au Nicaragua, auprès de plusieurs partenaires : ALGES, Los Angelitos et UNES au Salvador, ODESAR et FADCANIC au Nicaragua. Nous nous sommes intéressés aux affectations qui ont eu lieu durant la période considérée par l’analyse institutionnelle, mais aussi aux effets d’affectations antérieures et eux effets de séries d’affectations, en considérant les affectations depuis le début du partenariat. ALGES est une organisation d’appui aux blessés et handicapés de guerre. Los Angelitos est une organisation de parents d’enfants handicapés, née sur la base d’ALGES, focalisée à la fois sur la prise en charge de ces enfants et sur l’incidence politique pour le respect des droits des personnes handicapées et leur prise en charge par les pouvoirs publics. Le partenaire d’EIRENE est aujourd’hui avant tout Los Angelitos. Ont été étudiées une affectation de courte durée en cours (Jean Marc Varidel), un stage d’une année (Francesca Estier), une affectation répétée avec douze ans de présence de la volontaire (Carole Buccella). La Unidad Ecologica Salvadorena (UNES) est une association environnementaliste qui vise avant tout l’incidence politique. Il s’agit de faire valoir les intérêts environnementaux, dans les décisions publiques et pour s’opposer à certains projets privés. L’objectif est la promotion d’un développement durable. UNES construit des propositions de lois (sur l’eau, le changement climatique,..), anime des actions portant par exemple sur les OGM ou les activités minières, travaille sur la gestion des risques naturels (souvent liés à des actions humaines), anime le « réseau des environnementalistes en action », développe des actions de gestion soutenable de certains territoires. Ont été étudiés une affectation de courte durée en cours (Giulia Boo) et les effets d’une série (discontinue) de 6 affectations (depuis 2002, notamment dans le domaine de la communication). La Fundacion para la Autonomia y el Desarrollo del Caribe de Nicaragua (FADCANIC) travaille sur la Côte Atlantique où elle s’est constituée en 1990 pour défendre les droits constitutionnels reconnus aux peuples indigènes et le processus d’autonomie régionale engagé avec le pouvoir sandiniste, alors menacés par l’alternance politique. Elle s’emploie toujours à cela mais aussi à construire un modèle de société multiculturel, multi-ethnique et de développement soutenable, par la formation et en créant des modèles à valeur d’exemple, en matière d’éducation bilingue, de formation professionnelle, de souveraineté alimentaire et de gestion durable des ressources et territoires communautaires. Nous avons pu y rencontrer deux volontaires de longue durée (Jean-Pascal Herrera et Stéphane Charmillot, affectations en cours) mais aussi étudier les effets d’une séquence d’affectations (10 affectations en quinze ans).

4

ODESAR est une organisation d’appui au développement active dans la région de Matagalpa, au Nicaragua, depuis 1987. Elle agit autant en milieu rural, avec des équipes basées dans différents municipios que dans les quartiers défavorisés de Matagalpa. Nous n’y avons pas rencontré de volontaires mais avons pu travailler sur les effets de trois affectations récentes de civilistes (Diego Prieto, David Steiger puis Matteo Campiche, ce dernier venant juste de rentrer en Suisse), en allant voir sur le terrain et avec des groupes bénéficiaires certains des produits de leur travail. Nous avons surtout pu, via des entretiens avec l’équipe (notamment des personnes présentes depuis la création d’ODESAR), revenir sur les effets cumulés d’une série de 10 affectations étalées sur la période 1996-2016. Un entretien supplémentaire, portant spécifiquement sur la capitalisation réalisée sur le travail de Michael Hammond, a été réalisé au Nicaragua durant la mission avec Edin Kobilic, en affectation dans une autre structure. Enfin, en aval de la mission ont été réalisés quelques entretiens complémentaires. Le rapport de l’étude portant sur la nature et l’évaluation des effets Le présent rapport ne porte que sur le mandat relatif à l’analyse des effets, mais les travaux réalisés dans le cadre des deux autres mandats ont alimenté cette analyse. Sous réserve de l’accord des commanditaires de l’étude, le lecteur pourra consulter également les rapports issus des deux autres mandats, les travaux réalisés se complétetant les uns les autres, mais ce rapport peut être lu indépendamment des deux autres. Nous présentons ici les résultats du travail réalisé visant à qualifier et catégoriser les effets des affectations, travail qui nous semblait indispensable en vue de la construction d’un outil d’évaluation de ces effets. A l’issue de l’identification des effets nous proposons d’abord des lignes directrices pour l’élaboration d’un outil, puis un outil.

5

1. Les effets des affectations : qualification et déterminants Nous avons interrogé l’ensemble des partenaires rencontrés sur les effets qu’ils identifient, parfois plusieurs années après une affectation. Une « question d’entrée » pour l’identification des effets est la suivante : sans la présence de X (et éventuellement de X, Y et Z… pour approcher les effets d’une suite d’affectations), qu’est-ce qui se serait passé différemment ? Cet inventaire des effets et la typologie proposée visent à la fois à :

Approcher un impact, préoccupation qui ressort clairement de la dernière évaluation d’Unité (où il est dit que la preuve de l’impact de la CEP n’a toujours pas été apportée) : pour répondre à cet enjeu, nous illustrons systématiquement les effets identifiés2.

Alimenter la conception d’un outil d’analyse des effets : sa conception dépend en effet de la nature des effets à identifier (sont-ils de l’ordre des résultats attendus et/ou d’effets imprévisibles ?).

Nous nous sommes ensuite attachés à identifier les déterminants majeurs de l’impact, avec des conséquences à en tirer pour tenter de le maximiser. 1.1. Qualification et typologie des effets des affectations 1.1.1. Des effets directs pour les bénéficiaires au Sud Des effets pour les bénéficiaires sont souvent cités par les volontaires. Par exemple :

CB mentionne une prise en charge plus complète et de meilleure qualité des personnes handicapées grâce à des formations qui ont touché plusieurs interlocuteurs de ces personnes (familles, parents, physiothérapeutes, promoteurs en réhabilitation).

L’introduction d’une approche plus participative à FADCANIC à l’occasion d’un travail conjoint entre l’équipe et un volontaire (JDP) a pu avoir des effets directs selon ce dernier qui « pense que les bénéficiaires se sont sentis plus écoutés ce qui implique une meilleure adhésion au programme d'agroforesterie qu'il leur était proposé ».

Des effets directs sont mentionnés par les partenaires, par exemple :

Le fait que les élèves du centre agro-forestier de Wawashang aient désormais accès à l’eau, dans le cas de FADCANIC.

Dans le cas d’ODESAR, la construction de 41 maisons pour des familles à bas revenus grâce à l’apport de deux civilistes et la mise en œuvre de cultures maraichères sans apports d’intrants en ville, grâce à l’apport de connaissances et modèles spécifiques par un autre civiliste

Les effets identifiés sont ici attribués directement à l’intervention d’un volontaire à une séquence d’affectations, mais sinon, ils sont associés à l’action conjointe du volontaire et du partenaire ou à l’action du partenaire tel qu’il a été appuyé par le volontaire. La façon dont les effets cités sont énoncés a des conséquences méthodologiques pour l’approche des effets et de l’impact de la CEP : Il ressort des réponses données à la question de savoir quels sont les effets de la CEP qu’il est très difficile d’imputer des effets obtenus au niveau des bénéficiaires finaux à une affectation ou à une série d’affectations. Ceci répond aux interrogations soulevées dans un document d’Eirene préalable à cette mission

2 Seules figurent les initiales de volontaires, pour plus de concision

6

sur le fait d’approcher les effets au niveau de l’action du volontaire dans/sur le partenaire ou sur l’action du partenaire auprès des bénéficiaires : la première option nous semble beaucoup plus pragmatique. 1.1.2. Les effets au Nord : sensibilisation et réinvestissement des apprentissages Des effets au Nord sont cités, sur lesquels nous avons choisi de ne pas approfondir les choses en raison de la réalisation récente d’une étude spécifique par Unité. Ces effets relèvent en partie de travaux de sensibilisation attachés à une affectation et/ou un partenariat. Par exemple la Centrale Sanitaire Suisse Romande a réalisé un film sur l’expérience de Los Angelitos : une promoteure va le présenter, accompagnée par une volontaire qui réalisera la traduction mais apportera aussi sa connaissance du sujet. Le fait que certains volontaires se réinvestissent, au Nord, dans l’action en faveur du Sud, (l’une des volontaires affectée à ODESAR s’est par exemple intégrée à une organisation qui offre des bourses d’étude à des élèves nicaraguayen), contribue à créer plus de solidarités et à une meilleure informations des citoyens investis dans ces actions. Ces effets résultent ensuite du processus d’apprentissage vécu par le volontaire et des compétences acquises avec et grâce au partenaire, qu’il valorisera au Sud ou au Nord (mais plutôt au Nord car les trois quarts des ex volontaires affectés en Amérique Latine sont aujourd’hui en Suisse). Selon ODESAR par exemple, Les deux ingénieurs civils civilistes à ODESAR ont acquis des compétences par exemple sur la différenciation des matériaux selon leur qualité, l’organisation d’un chantier (ils venaient sans expérience), les normes de construction antisismiques, le travail sur la question du genre, la discussion avec les familles, etc… ». L’espace d’initiative laissé au volontaire est souvent mis en avant comme étant formateur : c’est par exemple un volontaire (EK) qui affirme « je fais plein de choses nouvelles, je suis en contact avec les gens, je peux proposer des choses… ». C’est ensuite la découverte et le rapport à l’autre qui est mis en avant, ce qu’une volontaire résumé en disant « j’ai ouvert mon monde ». Pour l’un des volontaires (JDP), des effets importants sont liés à la situation même de CEP, car « on apprend beaucoup plus en étant déraciné qu'en restant dans sa routine quotidienne ». Mais pour lui, l’importance des effets à ce niveau dépend aussi de la nature de l’organisation : il met en avant le fait que «l'organisation pour laquelle j'ai travaillé est solide, fonctionne bien et a des activités passionnantes » comme un facteur déterminant de l’importance de son apprentissage personnel. 1.1.3. L’impact passe avant tout par des effets sur le partenaire et son action, voire

d’une diversité de « partenaires limitrophes » : inventaire La très grande majorité des effets identifiés relèvent du renforcement du partenaire, ou plus généralement de « partenaires limitrophes ». Sous le terme de « partenaire limitrophe », nous entendons ici à la suite de Earl et al. (2016) des individus, groupes et organismes avec qui le programme (le volontaire dans le cas présent) interagit directement pour susciter le changement et de qui il peut attendre certaines possibilités d'influence. Ces partenaires limitrophes sont divers et ne se limitent pas au partenaire d’Eirene. Nous allons maintenant détailler ces effets et les illustrer. Un capital humain : l’apport de compétences spécifiques via des formations Tous les volontaires réalisent des formations qui visent à transférer des compétences spécifiques. En voici deux exemples différents quant aux objectifs fixés :

7

C’est par exemple le transfert de compétences spécifiques par CB (Los Angelitos) aux physiothérapeutes nationaux sur la base d’une expérience spécifique qui fait défaut, dans le travail avec les enfants. Ce transfert continue malgré une durée de présence longue (12 ans), avec l’extension géographique de Los Angelitos, la formation des physiothérapeutes recrutés par l’Etat, le fait que la volontaire s’attache à collecter de nouvelles références par exemple lors de séjours en Suisse, etc… Ce transfert est interne, au sein de Los Angelitos, et externe, au bénéfice du secteur salvadorien de la physiothérapie, avec notamment une collaboration avec l’ISRI (Instituto Salvadoreno de Rehabilitacion Integral) ou le recrutement par l’Etat d’une physiothérapeute de Los Angelitos qui a bénéficié de ce transfert de compétences et agit au sein du ministère de la santé pour faire valoir les leçons tirées de l’expérience de Los Angelitos. A une échelle plus locale, CB contribue à la formation des promoteur(e)s, au nombre de 26 aujourd’hui, et des techniciens qui les supervisent.

La UNES mentionne l’absence de formations suffisamment appliquées au Salvador. Les professionnels qualifiés dans des domaines comme l’hydrogéologie sont rares, donc chers et acquis à la cause des entreprises qui ont les moyens de les employer : le discours des « experts » sert donc les intérêts de ces entreprises. SB, venu en tant qu’hydrogéologue, a réalisé un travail très apprécié de formation à des non spécialistes, qui leur a permis d’acquérir des notions et un langage de base. 25 personnes ont bénéficié de 8 jours de formation dispensée par SB (le samedi) : il a ainsi formé la moitié de l’équipe technique d’UNES, des membres du forum de l’eau et agents de collectivités.

A Los Angelitos, FE a également réalisé des apports dans le cadre des cercles d’éducation inclusive, FT a formé l’équipe d’UNES sur la sécurité informatique et pour qu’elle soit capable d’actualiser la page Web, ce qu’elle a su faire après son départ, à FADCANIC, JPH a élaboré des cartes mais a aussi donné des formations au SIG, à l’utilisation du GPS, etc..Dans certains cas, on tente de toucher un public nombreux, à une échelle qui dépasse largement celle du partenaire : SGS a appuyé les premiers efforts de formation préscolaire de FADCANIC et a formé près de 300 enseignants sur des « activités pratiques ». Chacun aborde les formations à sa façon et au-delà de formations « en salle », certaines pratiques de formation surprennent et parfois influencent les pratiques courantes :

Apports puis échanges : certains insistent sur l’échange, comme JMV, à Los Angelitos, lorsqu’il réalise des formations sur l’éducation inclusive : il présente des apports puis favorise un échange, avec l’objectif « qu’ils prennent des choses dans la discussion », dans un échange mutuellement bénéfique.

Montrer et expliquer : selon ODESAR, un civiliste spécialiste de l’agriculture biodynamique ne donnait pas d’explications en tant que telles mais réalisait directement avec les paysans : ceux-ci ont continué à mettre ceci en pratique. Des membres de l’équipe d’ODESAR se sont formés en observant et en participant. Les apprentissages cités portent sur la biodynamie mais aussi sur des pratiques agro-écologiques, le recyclage de tous types de déchets pour la réalisation de cultures en ville, etc..

La capitalisation de l’expérience comme support d’(auto)formation : la capitalisation réalisée par une volontaire à ODESAR a permis de déduire des « leçons apprises » : un agent d’ODESAR se rappelle, près de dix ans plus tard, de l’une de ces leçons, qui l’a marquée au point de déterminer certaines de ses pratiques professionnelles (pour travailler sur le genre, il faut travailler avec toute la famille plutôt que seulement avec les femmes)

Un capital humain : l’apport de compétences spécifiques via un travail conjoint En voici deux exemples :

8

Sur la côte atlantique nicaraguayenne, selon FADCANIC, SC a apporté des compétences dont personne ne disposait, en matière de transformation alimentaire et de stratégies de commercialisation et en a transmis certaines en travaillant avec l’équipe du secteur de l’innovation. Plus généralement, FADCANIC souligne les lacunes des formations locales, auxquelles peut répondre la CEP, notamment en matière de gestion de bassins versants ou de planification des activités d’un projet, éléments non enseignés dans les universités locales et pour lesquels des apports ont été réalisés notamment en travaillant conjointement.

A Los Angelitos, un volontaire (JMV) souligne le fait que « des éléments passent dans l’échange », notamment à partir de choses qui lui semblent logiques du fait de sa formation et qu’il est amené à expliciter. Un agent de Los Angelitos évoque quant à lui son propre « renforcement conceptuel » via le travail avec la volontaire (FE).

Un capital humain : l’apport d’une démarche de travail, de modifications d’approches, de pratiques, de comportements

Selon Los Angelitos, la volontaire (CB) joue un rôle fondamental pour amener l’organisation et ses agents à « aller au fond des choses ». FE a surtout permis « l’amélioration de certaines pratiques » et « l’amélioration de méthodologies, pour avoir plus d’impact ». La volontaire évoque quant à elle un partenaire « plus structuré, donc plus efficace ».

Selon une ancienne volontaire de FADCANIC (SGS), « ce que j’ai pu apporter était de leur montrer que les « actividades prácticas » peuvent être enseignées avec les matériaux qu’on trouve sur place, qu’on peut élaborer du matériel didactique, et qu’être créatif est un besoin fondamental qu’il ne faudrait pas négliger ». C’est d’une approche dont elle parle, plus que de compétences spécifiques.

JDP (FADCANIC) met en avant le changement d’approche obtenu, vers plus d’ouverture à la participation. De son côté, la contrepartie de JDP retient comme élément clé qu’il a appris du volontaire, le fait de faire une analyse et une évaluation après chaque formation ou réunion organisée avec les communautés, visant à faire mieux la prochaine fois. Il s’agit dans les deux cas de démarches et approches.

Plusieurs volontaires font de ces modifications d’approches et/ou de comportements dans l’action auprès des bénéficiaires, le principal effet de leur affectation. Notons que de tels effets sont peu prévisibles en amont de l’affectation et qu’ils sont transmis par le fait de travailler ensemble beaucoup plus que par des formations. La mise en place d’outils utilisables de façon durable, d’un capital pour l’action

Des supports de formation : à Los Angelitos, CB a élaboré du matériel didactique pour la formation des promoteur(e)s en physiothérapie, ce qui constitue un capital important et durable pour Los Angelitos. De même, JMV a conçu des formations pour les enseignants sur l’éducation inclusive en matière de lecture/écriture, adaptations pédagogiques, accueil de la diversité des élèves : il laissera des supports de formation. A la UNES, FT a créé des outils de formation à distance et a formé l’équipe à leur utilisation (pour des formations assurées par UNES ou par d’autres).A FADCANIC, SC travaille à la conception d’un nouveau cursus de formation sur la transformation et la commercialisation alimentaire.

Des canevas et outils pour l’action, nouvelles ressources pour agir : à Los Angelitos, JMV met au point des canevas pour l’élaboration concertée (entre l’enseignant, le/la promoteur(e), les parents) d’un projet pédagogique d’éducation inclusive individualisé, au bénéfice d’un enfant handicapé. Ce projet est signé par les parties et doit les engager. Le document doit être concis et facile à remplir : il met au

9

point une liste de cas type et de propositions de réponses prédéfinies pour faciliter l’utilisation de cet outil. A FADCANIC, le travail de SC avec l’équipe vise à créer des activités qui permettront l’autofinancement de certaines activités.

Un capital organisationnel : des effets en termes de structuration d’une organisation

Une organisation plus efficace : il se fait essentiellement via des apports diffus de démarches et façons de travailler dont nous avons déjà parlé, ainsi que d’outils portant par exemple sur la planification des activités, cités notamment par FADCANIC. Dans le cas d’ODESAR, la première volontaire est restée six ans : « elle était complètement intégrée dans l’équipe », ce qui lui a permis de faire des apports durables sur la définition du fonctionnement de l’organisation : la forme actuelle d’organisation du travail résulte en partie de ses apports.

La structuration d’une nouvelle organisation : CB a contribué à la création et à la structuration de Los Angelitos, puisqu’elle est arrivée au service d’ALGES au moment où cette organisation a vu le jour. Elle a ensuite contribué au développement de cette organisation qui compte aujourd’hui plus de 800 familles membres, à partir d’un noyau d’une soixantaine de familles lors de la création. Elle a contribué à la légitimation de Los Angelitos, acquis majeur de la période selon un agent de cette organisation, qui rend possible l’incidence politique (« ils nous respectent et viennent nous chercher ». CB a contribué à la conception de la loi d’inclusion sociale proposée pour discussion aux élus politiques. Elle fait aussi des soins directement et contribue ainsi au service apporté par Los Angelitos, et représente l’équipe de Los Angelitos auprès des physiothérapeutes. Dans le cas de FADCANIC, ce partenaire souligne le fait que FG (il y a plus de dix ans), a aidé à faire fonctionner la menuiserie et l’école d’ébénisterie et de charpente de Wawashang, qui est actuellement en fonctionnement.

Notons qu’il peut aussi exister des gains en termes de légitimité du partenaire. Les collègues et contreparties d’un volontaire répondant à notre enquête lui ont rapporté que le fait qu’il soit là, sur le terrain auprès des bénéficiaires renforce la crédibilité du partenaire aux yeux des bénéficiaires. Cet effet ne nous a été cité qu’une seule fois. L’addition temporaire de capacités d’action

Elle résulte d’abord d’une addition de ressources humaines, qui vient pallier un manque de ressources ou qui permet au partenaire de dégager du temps pour s’investir sur des dossiers auparavant jugés accessoires. A Los Angelitos, la contrepartie de FE souligne ainsi le fait qu’avant l’arrivée de la volontaire, il ne prenait pas le temps de participer à une table de concertation avec les pouvoirs publics sur l’emploi des jeunes. Avec FE, « on l’a pris plus au sérieux » et la présence de la volontaire a permis de libérer du temps pour le faire.

Elle peut ensuite résulter de l’élaboration ou de l’appui à l’élaboration de demandes de fonds. A FADCANIC est citée l’apport qu’a représenté l’aide à l’élaboration de demandes de financements par un volontaire (PB), ou l’appui à la rédaction de projets et le fait d’alimenter ces projets par l’élaboration d’éléments tels que des plans, cartes, etc… par un autre volontaire (JPH).

Notons que l’addition de capacités d’action, fût-elle temporaire, fait partie des motivations des partenaires pour avoir recours à la CEP. En théorie, le volontaire vient renforcer le partenaire locale, apporter et transmettre des compétences spécifiques non disponibles localement. Mais dans des contextes de réduction des financements, la réalité est moins tranchée. Par exemple dans le cas de CB, Los Angelitos recherchait une orthopédiste, spécialité disponible localement mais que l’association ne pouvait prendre en charge. Dans un autre cas, on mentionne que les volontaires apportent une expertise, mais qu’ils viennent

10

aussi pallier la réduction des financements en apportant leur temps de travail. La UNES signale quant à elle qu’elle bénéficiait auparavant de financements affectés à son fonctionnement, ce qui n’est plus le cas. Il faut désormais de plus en plus de projets pour financer une structure moins fournie : dans ce contexte, le recours au volontariat sert aussi à pallier un manque de personnel. Ceci fait partie des motivations du recours à la CEP, mais les partenaires affirment aussi que les volontaires leur apportent ensuite plus qu’un simple temps de travail additionnel. L’ouverture d’un accès à des espaces et d’opportunités, temporaire mais avec de possibles effets dans la durée

Par exemple Los Angelitos s’occupe de trois jeunes atteints de distrophie musculaire. L’organisation les a formés pour des activités manuelles telles que le crochet et la volontaire les a mises en relation avec un groupe en Suisse qui leur a fait un site internet et leur ouvre un accès à une filière de vente. Ce n’est qu’un exemple : le volontaire ouvre un accès à des espaces et des opportunités en jouant notamment un rôle de trait d’union entre des espaces au Sud et au Nord.

Michael Hammond(et l’association qu’il a créé) s’est vu ouvrir des espaces pour développer son travail en Europe via deux échanges Sud-Nord mais aussi aux Etats Unis par l’intermédiaire d’une volontaire. Il a ainsi obtenu une reconnaissance de son travail et des liens avec des réseaux qu’il peut encore exploiter aujourd’hui.

Cet accès à des espaces de coopération nouveaux et souvent inattendus fait aussi partie des motivations importantes des partenaires pour avoir recours à la CEP. Des effets déterminants sur les trajectoires de certaines organisations : inflexions, impulsions, innovations Les organisations partenaires évoquent l’intérêt d’« idées fraîches » inhérentes au fait que les volontaires viennent de milieux différents et qui créent parfois des inflexions, innovations, alimentent la créativité locale :

L’idée des cercles d’éducation inclusive est par exemple le fait de la volontaire (FE) et de discussions qui ont associées l’autre volontaire (CB). Or, selon la contrepartie locale, c’est une démarche inhabituelle : les enseignants des écoles sont habituellement convoqués à des formations où ils écoutent un intervenant, réalisées hors du territoire ou ils exercent, plutôt en ville, puis ils sont supposés appliquer ce qui leur a été transmis, sans appui ni suivi. Les cercles d’éducation inclusive innovaient sur plusieurs points clés : formation dans le territoire où les professionnels exercent, formation suivie avec des temps de rencontre tous les deux mois, formation composée d’un temps d’intervention et conclues par une heure consacrée à l’échange d’expériences entre les participants. Ces cercles n’ont malheureusement pas survécus au départ de la volontaire, mais un impact existe via l’introduction d’un modèle innovant. Le volontaire actuel (JMV) a été amené à questionner les concepts utilisés par l’organisation partenaire en matière d’inclusion, d’intégration et d’assimilation, qui ne correspondent pas à ce qu’il a appris. Les effets ne sont pas encore visibles mais le fait de questionner les connaissances, croyances, acquis, est porteur de clarifications.

Dans le cas de l’UNES, la première volontaire (CG) a surtout laissé des idées sur la façon de contourner le fait que les médias principaux soient fermés aux idées défendues par l’UNES. Il fallait donc penser à d’autres moyens de diffusion de l’information, d’autres supports pour créer du débat. CG a apporté de nouvelles idées dans ce domaine, ainsi que des supports de communication dans les communautés qui ont ensuite été réutilisés.

11

Dans le cas d’ODESAR, le travail sur l’agriculture urbaine développé par un volontaire a créé une réelle dynamique et l’on voit aujourd’hui de nombreuses applications, avec des supports très divers (cultures surélevées dans des pneus, bouteilles, objets de récupération des plus divers, pyramide permettant un arrosage au goutte à goutte de cultures en pots, etc…) : ceci répond à un besoin, d’où l’impulsion d’une dynamique créative.

Selon la contrepartie de plusieurs coopérants affectés à FADCANIC, « qu’ils apportent une vision différente, c’est cela qui nous intéresse… même si nous ne prenons pas tout ». Les volontaires apportent parfois une contribution majeure à une inflexion, une impulsion pour des dynamiques déterminantes du partenaire, avec souvent des effets concrets bien après la fin de l’affectation :

A la question des effets des affectations, Ray Hooker fondateur et président de FADCANIC revient en premier lieu sur l’impulsion déterminante donnée par l’un des premiers coopérants (FredyGeiser) à la création d’une école bilingue : FADCANIC était en train de tenter de terminer des études pour chercher un appui à cette initiative. FG a élaboré des plans et l’école n’a pu être réalisé qu’après son départ et d’une façon non conforme à ce plan, mais ce dernier a joué un rôle déterminant : le volontaire « a été comme un catalyseur, il nous a poussé à ne pas abandonner alors que nous n’avions rien, ni bâtiment, ni enseignants, ni livres et que la population nous prenait pour des rêveurs ». L’effet, bien après son affectation, est la présence d’une école reconnue par une évaluation américaine comme l’un des meilleurs supports d’éducation interculturelle qu’il existe sur la Côte Atlantique et qui recommande d’appuyer la duplication de ce modèle.

Egalement à Bluefields, la trajectoire de Michael Hammond, artiste qui réalise des projets de fresques murales qui sont aussi des projets d’inclusion sociale, a été lancée par deux volontaires qui ont donné deux impulsions successives (accès à une formation, puis accès au financement d’une fresque).

L’impulsion est parfois donnée de façon presque fortuite. CB a ainsi contribué de fait à l’idée même de « Los Angelitos » : CB, avant de s’engager, a souhaité rencontrer ALGES mais aussi los Pipitos, association de parents d’enfants handicapés au Nicaragua. Elle a choisi de venir à ALGES, mais l’idée de la création de Los Angelitos (qui a eu lieu en 2004) a été alimentée par sa rencontre avec Los Pipitos (en 2002). Par ailleurs sa présence, en tant que physiothérapeute spécialiste des enfants, a provoqué un afflux d’enfants en demande de soins : la création de Los Angelitos répond au constat qu’ALGES devait répondre à cette demande, sans l’existence d’une organisation légitime pour exiger la prise en charge de ce service par l’Etat, ce qui créait une situation d’assistantialisme et de décharge de fait de l’Etat de ses responsabilités.

A UNES, la recherche réalisée par Florian sur les activités minières a eu un réel impact. Elle a donné lieu à deux restitutions bien couvertes par les médias et l’entreprise mise en cause a écrit à unes pour entrer en discussion. Surtout, cela a permis de faire passer la question minière d’un problème de pauvres en milieu rural à une question y compris urbaine et touchant tout le monde via des effets sur l’approvisionnement en eau potable de la métropole. Cette question a changé de dimension pour entrer dans un débat public et politique, où elle reste présente aujourd’hui.

Nos conclusions rejoignent ici les résultats de l’étude réalisée en 2008 sur le cas d’ODESAR, qui évoque des « impulsions » données vers des changements dans l’organisation (Egli et al., 2008).

12

Do No Harm : de possibles effets négatifs pour l’organisation partenaire ? Dans l’une des organisations partenaires, on souligne les effets de séparation (nombreuses) de couples de volontaires qui étaient vu comme des familles modèles : cela provoque un certain choc culturel. Une autre organisation n’a plus fait de demandes de volontaires depuis quelques années après avoir vécu des expériences négatives avec des volontaires issus d’autres organisations d’envoi (non suisses), qui rencontraient des difficultés d’intégration et des difficultés personnelles : la gestion de ces problèmes mobilise un temps conséquent et le coût est alors vécu comme trop élevé. Dans l’un des cas, une coopérante qui ne s’intégrait pas s’est plaint de l’organisation, ce qui touche à son image, or celle-ci est un capital important pour nouer des partenariats. 1.1.4. Typologie des effets sur le partenaire et son action Nous avons construit une typologie des effets identifiés. Elle se limite aux effets sur le partenaire et son action, voire sur des partenaires limitrophes. De façon générale, dans l’analyse des effets, nous proposons de limiter l’évaluation aux effets sur le partenaire, son action et un ensemble de partenaires limitrophes. Ces effets sont les plus nombreux à être cités : ce sont aussi ceux qu’il est le plus intéressant d’identifier, les effets directs sur les bénéficiaires étant de toute façon indissociables de l’action du partenaire et non durables en l’absence d’effets de la CEP sur le partenaire et son action. Voici la typologie proposée :

3 grands types … qui se déclinent en…

Un capital pour l’action Capital humain L’apport de compétences spécifiques Des gains en termes d’approches, méthodes, démarches

Un capital en termes d’outils pour l’action Un capital organisationnel : consolidation de la structuration ou création d’une organisation nouvelle

Des gains temporaires L’addition temporairede capacités d’action

Par un temps de travail supplémentaire Par l’appui à l’élaboration de demandes de financements

Un accès temporaire à certains espaces de coopération

L’inflexion de trajectoires d’organisations

Des « idées fraiches » Une impulsion déterminante

Tableau 3 : Typologie des effets obtenus en termes de renforcement institutionnel

13

1.2. Analyse des effets inventoriés, conséquences pour l’identification des effets 1.2.1. Les effets proviennent d’opérations spécifiques de renforcement institutionnel, mais surtout du travail conjoint et de l’échange Les effets inventoriés sont obtenus via plusieurs moyens :

Grâce à des actions spécifiques entrant dans le champ du renforcement des capacités d’action, par exemple des formations,

Grâce au fait de travailler ensemble, avec une transmission de compétence de façon informelle. Certains volontaires mettent en avant une transmission de compétences au partenaire, d’autres une transmission croisée et réciproque.

Grâce au simple fait d’être là, au cœur de l’organisation, de partager son quotidien : « le fait même d’arriver avec un regard extérieur sur une organisation et de partager la vie et le travail de ses employés a un impact certain » (JDP). Ceci suppose que l’organisation et ses employés soient ouverts à ce regard extérieur, ce qui est présenté comme un prérequis de la CEP par un volontaire en ces termes : « pour l’organisation sur place, l’accueil d’un professionnel d’une culture très différente implique une ouverture et un regard neuf sur les activités quotidiennes ».

Ce sont donc des effets liés à des actions précises ou des effets très diffus : une conséquence est que travailler sur les effets des actions à partir du cadre logique (par exemple) semble insuffisant. La typologie des effets nous permet de constater que seuls une minorité d’entre eux proviennent d’activités spécifiques de renforcement institutionnel qui seront mentionnées dans un cadre logique, comme le montre le tableau suivant :

Des effets issus avant tout de… des activités spécifiques

l’échange et le co-travail

Un capital pour l’action

Capital humain

L’apport de compétences spécifiques

Des gains en termes d’approches, méthodes, démarches

Un capital en termes d’outils pour l’action

Un capital organisationnel : consolidation ou création d’une organisation nouvelle

Des gains temporaires

L’addition temporaire de capacités d’action

Par un temps de travail supplémentaire

Par l’appui à l’élaboration de demandes de financements

Un accès temporaire à certains espaces de coopération

L’inflexion de trajectoires d’organisations

Des « idées fraiches »

Une impulsion déterminante

Tableau 4 : modalités d’obtention des effets identifiés

14

1.2.2. Des effets bien plus larges que les résultats, beaucoup d’effets peu prévisibles Des partenaires mettent en avant le fait que les effets sont beaucoup plus larges que les résultats attendus : par exemple la mission d’un volontaire (FT) était de créer un centre de documentation virtuel sur l’environnement au Salvador, mais selon la UNES, « il a fait bien d’autres choses ». On observe aussi que beaucoup d’effets sont peu prévisibles, pour plusieurs raisons. Nombre d’effets ne sont pas directement liés au domaine dans lequel le volontaire dispose de compétences spécifiques affichées dans son profil de poste. Par exemple dans les réponses à notre enquête, un géographe affecté pour soutenir l’action environnementale de FADCANIC souligne le fait que « ce n’est pas sur le domaine environnemental que je pense avoir eu le plus d’impact ». Il revient à plusieurs reprises sur des effets liés à l’adoption d’une méthodologie plus à l’écoute des bénéficiaires. Or, ce n’était pas dans le cahier des charges de l’affectation mais cette orientation a été prise chemin faisant : « En réalité, nous nous sommes rendu compte avec mes collègues que nous ne pouvions pas arriver chez les gens, leur expliquer quels sont leurs problèmes et comment nous allons les résoudre. Une telle manière de procéder a pour conséquence une implication pour le moins superficielle des bénéficiaires à nos programmes ».Toujours à FADCANIC, un volontaire ingénieur en environnement met en avant des effets liés à des réalisations hors de son champ de compétence (« je n’avais jamais fait cela »), tels que la réalisation d’un site web pour une activité éco-touristique. Dans le cas d’UNES, un volontaire (SB) a construit le logo du forum de l’eau, qu’il a encore aujourd’hui. Il a apporté des choses dans le domaine de la communication, alors qu’il venait en tant qu’hydrogéologue Parmi les effets significatifs mis en avant par les partenaires figurent beaucoup d’effets obtenus en dehors du cadre de l’affectation. Par exemple un volontaire affecté par Eirene à UNES a été mobilisé par ALGES sur la base de compétences personnelles en informatiques pour enseigner l’utilisation d’ordinateurs à une personne lourdement handicapée, qui est en passe d’ouvrir un cybercafé et d’en faire son activité : l’intervention du volontaire a changé sa vie selon ALGES, d’autant plus que ce volontaire a soutenu son initiative grâce à des réseaux personnels. Un volontaire affecté à FADCANIC (JDP) a donné une forte impulsion au travail de sout Michael Hammond, ensuite soutenu deux affectations Sud Nord : c’est un apport non prévu, hors de son affectation. Certains effets sont le produit d’une longue chaîne de causalités non prévues : l’expérience de soutien d’un volontaire d’UNES dans le champ de l’informatique est par exemple l’un des éléments qui a permis à Los Angelitos de signer une convention avec une ONG internationale pour l’appui à des activités génératrices de revenus. Dans cette chaîne de causalité entrent des bénéfices individuels et collectifs. A FADCANIC, le projet d’eau potable de Pueblo Nuevo, accompagné par un volontaire, a eu des effets induits via une chaîne de causalités multiples. L’un d’entre eux est le fait que le Comité d’eau potable et assainissement (CAPS) a notamment agit en faveur de la construction d’une maison pour le médecin et qu’avec les nouvelles conditions offertes, la localité dispose d’un médecin depuis six mois alors que ses prédécesseurs ne restaient jamais longtemps. C’est un effet de l’adduction d’eau et de la dynamique qu’elle a donné au CAPS. Un autre effet vient du fait qu’avec ce projet, FADCANIC affiche un savoir faire dans ce domaine, qui lui a permis de capter un financement important de Water Aid. Le volontaire forme un jeune intéressé par ce champ, qui poursuit en parallèle des études d’ingénieur et pourra prendre en partie le relais pour l’exécution de ce nouveau projet. Enfin, parmi les effets mis en avant par plusieurs partenaires figure l’ouverture d’espaces et d’opportunités qui sont très liés aux réseaux personnels des volontaires (cercle d’amis, réseaux professionnels…), mobilisés de façon ad-hoc.

15

C’est un constat important : on pourrait résumer les choses en disant que d’une part les effets de l’action du volontaire telle qu’envisagée dans son affectation ne sont souvent pas ceux que l’on attend, que d’autre part le volontaire fait souvent autre chose que ce qui est prévu dans son affectation (en plus ou à la place de ce qui était prévu). Mieux vaudra donc chercher les effets de la CEP d’abord là où on ne les attend pas… 1.2.3. Pour certains : « ce sont des choses qui n’apparaissent pas dans les rapports » Los Angelitos souligne le fait que les effets les plus significatifs sont très difficiles à présenter sous une forme lisible. C’est le cas de la chaîne de causalité déjà évoquée « appui en informatique de la part d’un volontaire qui n’est même pas affecté à l’organisation / création d’un cybercafé par une personne en grande difficulté / développement d’activités d’appui à l’emploi des personnes handicapées /… ». Comment présenter une chaîne de causalité qui n’a pas de sens logique (et ne rentrerait pas dans un cadre logique) ? Comment exprimer le fait qu’un volontaire ouvre des portes sur un réseau qui viabilise certaines activités (cas d’une volontaire qui sollicite des amis en Suisse pour créer un site internet de vente de produits réalisés par des handicapés) ? Cette réflexion signifie que :

Il faut repartir de l’identification des effets réels des affectations, plutôt que d’une chaîne de causalité préconstruite et des résultats attendus

Il faut offrir des formats de présentation des effets offrant suffisamment de liberté pour que celui qui les observe ne s’autocensure pas, considérant que ce n’est pas sérieux ou pas lisible

Un volontaire va plus loin en mettant en avant des effets que l’on ne voit pas car ce ne sont pas ceux auxquels on porte habituellement une attention. Nous rapportons ici ses propos : « je vois des résultats (de l’action) qui ne sont pas ceux que l’on voit en Suisse » (…) « Par exemple des paysans ont reçu une formation en apiculture. On devait transporter des ruches. Ils viennent prendre les ruches, pas habillés comme il faudrait pour le faire, en pleine nuit, pour les transporter sur des chemins inaccessibles avec le véhicule… » (…) « Chez nous, quand on parle résultat, on parle de chiffre, de concret… On ne parle pas de solidarités, d’efforts hors du commun, inattendus… ». Ceci confirme la nécessité d’ouvrir des espaces d’expression libre sur les effets, qui n’imposent pas une vision préconçue de ce que doivent être les effets énoncés (comme on le fait par exemple en parlant d’indicateurs objectivement vérifiables). 1.2.4. Des effets sur un ensemble de partenaires limitrophes En termes de renforcement institutionnel et comme nous le voyons dans les exemples cités, les effets dépassent le partenaire pour concerner également des personnes ou acteurs organisés qui travaillent ou côtoient simplement le partenaire. Par exemple :

Dans le cas d’ALGES et Los Angelitos, ce sont par exemple des physiothérapeutes qui travaillent en partenariat avec ces organisations, les familles, les parents d’enfants handicapés. Leur montée en compétence apporte, selon la volontaire, une « prise en charge plus complète » et de meilleure qualité. Ce sont aussi des acteurs publics ciblés par des opérations de plaidoyer dans lesquelles des volontaires sont investis, avec parfois certains succès qui conduisent à la mise en place ou au renforcement de services publics.

Dans le cas de la UNES, un volontaire (FT) a construit la page Web d’UNES mais a fait de même pour le forum de l’eau, pour la campagne méso-américaine pour la

16

justice climatique, ce qui n’était absolument pas prévu et concerne des actions dans lesquelles la UNES est impliquée… comme d’autres. Actuellement, une volontaire (GB) travaille avec l’équipe d’UNES mais également avec des étudiants en communication qui viennent faire des « heures sociales » (400 à 600 heures de bénévolat demandées par leur université) et qui sont en cours d’apprentissage.

Dans le cas d’ODESAR, la première volontaire (CW) a introduit, avec ODESAR, l’outil « budget participatif » auprès de la municipalité de Matagalpa, qui a accepté de le mettre en œuvre à partir de l’année 2000. Il n’est plus d’actualité suite au changement d’équipe municipale, mais il est toujours cité, en 2015, lors de l’enquête réalisée auprès des bénéficiaires et agents d’ODESAR parmi les impacts du plan stratégique 2010-2015. La volontaire a produit un manuel de présentation de cet outil, très accessible. L’impact se trouve auprès de partenaires limitrophes de l’action d’ODESAR.

Il est donc important, pour l’analyse des effets, de bien identifier les partenaires limitrophes (comme le fait la Cartographie des Incidences) escomptés ou potentiels de l’action du volontaire. 1.2.5. Des effets à l’impact : les effets sont-ils durables ? La typologie réalisée permet également de porter un regard sur la durabilité des effets. La durabilité de certains effets est questionnable :

Les gains temporaires peuvent avoir des « effets-levier » dans la durée, mais il s’agit d’abord d’une simple addition de moyens pour une durée déterminée.

Les effets mentionnés obtenus au niveau des bénéficiaires de l’action du partenaire et attribués directement à un ou plusieurs volontaires posent parfois question. On constate que dans certains cas, les volontaires travaillent seuls, ou sont en tout cas les seuls à maîtriser l’action : soit parce qu’ils n’ont pas de contrepartie claire, soit parce qu’ils veulent agir et prêtent peu d’attention au fait de travailler en équipe. Ceci n’affecte pas la durabilité de certains acquis (par exemple la construction de maisons avec ODESAR), mais dans d’autres cas c’est plus problématique (les personnes relais formées en gestion de l’eau à FADCANIC n’ont pas les moyens de maîtriser l’ensemble de ce que font les volontaires).

L’inflexion de trajectoires et les impulsions données s’inscrivent au contraire dans la durée (à condition que les organisations qui en bénéficient perdurent). Pour ce qui est du capital pour l’action, tous les effets mentionnés (considérant que la valorisation du capital organisationnel ou du capital apporté en termes d’outils pour l’action est très dépendante du capital humain existant) sont avant tout un potentiel exploitable, comme le dis par exemple un ancien volontaire de FADCANIC en réponse à notre enquête: « je crois que mes collègues ont modifiés leur manière de travailler avec les bénéficiaires en prenant une posture plus participative et moins doctorale. Par ailleurs, les ateliers sur les mini-bassins versants que nous avons organisés ont apporté beaucoup d'indications sur les attentes des bénéficiaires qui ont donné d'excellentes pistes de travail. Ont-elles été mises à profit ? Je ne peux pas répondre à cette question. C'est à eux qu'il faudrait la poser ».L’existence d’un impact durable pour les bénéficiaires reste hypothétique. Certains apports semblent durablement intégrés dans des organisations solides. C’est le cas à FADCANIC où un volontaire (PB) a réalisé des apports importants sur la planification, mis en avant par le partenaire et aujourd’hui intégrés au fonctionnement d’une structure désormais sans appui externe dans ce domaine. Dans d’autres cas, c’est beaucoup plus fragile. Des risques de non-exploitation de ce potentiel sont mentionnés qui tiennent aux dynamiques organisationnelles, avec :

17

Un turn over des agents parfois élevé : la durabilité des effets est très dépendante du turn over du personnel, qui peut être élevé.

Des organisations trop dépendantes de ressources externes. FADCANIC est confronté à une réduction drastique de ses financements norvégiens et y répond par une réduction de son personnel, le transfert de certaines activités à des structures économiques telles qu’une coopérative, la mise en place de mécanismes d’autofinancements (vente de plants issus de la pépinière, filière de vente de produits transformés, etc…). Mais, ceci crée des incertitudes pour la durabilité de certains acquis, d’autant plus que le financeur réduit son financement sans délai et sans stratégie de sortie. ODESAR souligne également le fait que la durabilité de certains apports peut être mise en cause par l’absence de financements de projets, ce qui empêche de consolider les choses dans un domaine abordé par un volontaire

Des organisations trop dépendantes d’un leader fort. Il est important d’identifier avec le partenaire les risques qui pèsent sur la durabilité des effets et de rechercher des moyens visant à les réduire. Par exemple à FADCANIC et pour faire face au turn over des agents, chaque volontaire a un(e) homologue au sein de l’organisation partenaire mais aussi au sein de la communauté, à laquelle il transmet des choses : c’est intéressant car les membres de la communauté s’y inscrivent généralement dans la durée. 1.3. Identification (non-exhaustive) de déterminants de l’impact Nous souhaitons ici mettre en avant des déterminants cités de façon récurrente lors des entretiens et terminerons par un élément tiré de notre propre analyse. Qualité de la communication, réalité et qualité du processus d’immersion Pour nombre de nos interlocuteurs, le déterminant majeur est « la qualité de la communication entre nous » (selon les termes employés par le président de FADCANIC). Or elle semble très dépendante d’une part du processus d’immersion du volontaire dans la réalité locale, d’autre part de la disponibilité des contreparties désignées au sein du partenaire et de la réalité du travail d’équipe du partenaire, plus que d’instruments de communication qu’il faudrait mettre en œuvre. La disponibilité des partenaires et contreparties désignées est bien sûr déterminante quant à la qualité de la communication, de même que l’existence au sein de l’organisation partenaire d’un travail d’équipe organisé, dans lequel le volontaire puisse s’intégrer et se « retrouver ». L’absence de réunions d’équipe ou des fonctionnements trop informels et peu lisibles posent parfois problème au volontaire. La réalité et la qualité du processus d’immersion qui a lieu en début d’affectation, de découverte du contexte, sont déterminant. Nous laisserons ici parler le président de FADCANIC : « durant le premier mois, le volontaire s’immerge véritablement, il se submerge « deep down » et peut en ressortir avec une conviction ferme ; si je veux apporter une contribution à telle chose, je dois comprendre cette situation et mieux je comprendrai, plus je contribuerai et mieux je me sentirai ». Ce processus d’immersion dans la réalité détermine la compréhension du contexte mais aussi la qualité d’intégration et de vie du volontaire : « si ce sont des années de souffrances pour lui, ça le sera aussi pour nous ». Comme FADCANIC, ODESAR met en avant la communication, la confiance, l’intégration à l’équipe de travail. La confiance se gagne par l’intégration au groupe et à son mode de pensée et d’être (idiosyncratie). Se crée alors une « relation solidaire ». De la part du volontaire, ceci

18

suppose de sortir de postures telle que « je viens transmettre ». Il n’y aura transmission qu’à l’issue d’un processus d’immersion. La qualité de la communication est déterminante y compris pour des effets d’apprentissages au bénéfice de la personne en affectation (souvent réinvestis au Nord). Ainsi, La première volontaire d’ODESAR a confié à la coordinatrice de cette organisation qu’elle a été formée sur le thème du genre entièrement par une personne d’ODESAR. Mais cela ne s’est pas fait sans un travail de sa part : elle souligne le fait qu’elle a du apprendre à se conformer au rythme de discussions informelles avec cette personne, puis réordonner beaucoup d’éléments clairs mais fragmentés pour, à partir d’un savoir local, se construire une compétence propre. Déductions : L’analyse de l’effectivité du travail d’équipe doit occuper une place importante dans l’analyse de l’opportunité d’un partenariat, de même que l’analyse de la capacité (et de la volonté) du partenaire à rendre suffisamment disponible une ou des « contrepartie(s) ». Le volontaire doit ensuite être incité et préparé à suivre un processus d’immersion. Des traits de caractère du volontaire : esprit d’initiative, aptitude à un leadership contenu dans un cadre donné Par exemple Los Angelitos constate que l’unification des guides de formation s’est faite dans le domaine de la santé car la volontaire a joué de son leadership, alors qu’elle ne s’est pas faite dans un autre domaine en l’absence de ce leadership. Nous parlons ici d’une aptitude au leadership, qui ne signifie pas pour autant s’emparer d’un pouvoir décisionnel : il s’agit d’une aptitude à impulser des dynamiques, rassembler des énergies. Dans le même cas, c’est la personnalité de la volontaire et sa capacité d’initiative qui est mise en avant : « Il a des idées et les concrétise », nous dit-on d’un volontaire à FADCANIC, ce qui doit se faire bien sûr avec l’équipe locale. Un volontaire qui ne propose pas, ne prend pas l’initiative aura peu d’impact. D’une façon générales, on observe que tous les volontaires en affectation à FADCANIC sur le thème de l’environnement et de la gestion de l’eau ont largement exploité les marges de manœuvres qui leur étaient offertes pour s’investir sur des thèmes qui sortaient de leur plan d’activité, voire du cadre de leur affectation. JDP s’est par exemple investi sur le muralisme auprès de Michael Hammond indépendamment de FADCANIC. Un volontaire met en avant le fait que les volontaires disposent d’une grande liberté d’initiative, hors du plan de travail initialement défini. C’est une chose qu’il n’avait pas en Suisse et que l’équipe de FADCANIC n’a pas non plus, perçue comme exceptionnelle et d’autant plus appréciable. Il peut « voir où je peux être utile » et « sortir du plan », ce qui suppose « une phase d’observation »… et de prendre le temps de le faire. « Chacun doit trouver sa place ». Ceci peut être très déroutant pour certains volontaires (ce qui rejoint l’importance soulignée ci-avant du processus d’immersion, qui doit inclure cet aspect), mais ceci nous semble déterminant. Les capacités d’observation, flexibilité, dialogue et initiative sont ici des facteurs clés. Déductions : ces traits de caractère doivent être considérés dans la sélection des volontaires. Il nous semble qu’Eirene en tient compte. Un profil spécifique mais aussi des complémentarités fines au regard des spécificités locales Le fait que le volontaire ait un profil professionnel non disponible localement, complémentaire des profils locaux, est un déterminant important de l’impact : d’une part cela ouvre des possibilités d’apports importants, d’autre part ceci diminue le risque d’un sentiment de mise en concurrence entre le volontaire et le personnel local, souvent mal vécu (ceci est bien illustré par le cas d’une affectation en cours à FADCANIC où sont arrivés presque au

19

même moment un volontaire et une ingénieure sur un profil très proche, ce qui crée des difficultés). Mais les partenaires insistent aussi sur le caractère déterminant de complémentarités plus fines, difficiles à prévoir à distance mais qui jouent un grand rôle. Nos interlocuteurs de Los Angelitos ont par exemple souligné ceci à plusieurs reprises :

- Dans le cas d’une affectation à Los Angelitos (FE), ce sont les complémentarités de méthodes de travail entre une volontaire (capable de porter une initiative à son terme) et sa contrepartie (plein d’idée mais qui peine à les concrétiser) qui a assuré le succès et les effets d’une affectation et qui a guidé un choix d’affectation qui ne correspondait pas aux compétences affichées sur son CV : ceci avec succès.

- FADCANIC dispose d’une forte compétence en matière de formulation de projets (élaboration de cadres logiques par exemple), mais le volontaire (JPH) a apporté des idées sur le contenu, les solutions techniques, des cartes. On trouve là des complémentarités fines eut égard aux compétences locales.

- De façon plus générale, Los Angelitos constate que les volontaires apportent : une « pensée critique et créative », avec une « capacité à sortir du carcan d’une formation, à ne pas appliquer les schémas appris tels quels » : ils apportent une plus value à ce niveau, déterminante quant à l’impact de la CEP, notamment car ceci fait défaut dans le système éducation et de formation universitaire salvadorien. Par ailleurs, toujours selon Los Angelitos, on vient comme volontaire sur la base d’un choix d’engagement, avec une réelle disposition à travailler en zone rurale : ceci répond à une lacune des professionnels salvadoriens qui, lorsqu’ils ont un haut niveau de spécialisation veulent travailler en ville.

Déduction : il faut attacher une grande importance à la révision du cahier des charges de l’affectation peu après son début, car il est alors possible de tenir compte de ces éléments. La durée des affectations La durée des affectations est jugée déterminante par les partenaires. Un partenaire souhaite

ainsi avoir plutôt des affectations de longue durée, « pour plus d’apprentissages mutuels ». Il y a de meilleurs résultats quand l’engagement est de deux ans selon le président de FADCANIC, qui précise cependant que pour certaines tâches un engagement court peut être suffisant. Il attribue cela au nécessaire processus de découverte et d’ajustement qui a lieu en début d’affectation, qui suppose un certain temps. On observe cependant parfois des apports importants sur des durées courtes. Dans ce cas, l’implication post-affectation de l’équipe locale est une condition de la consolidation des effets : par exemple à ODESAR, les apports de David Steiger en matière d’agriculture biodynamique ont eu lieu sur une durée courte (7 mois) mais une consolidation a été assurée grâce à la présence d’une équipe de travail sur les terrains concernés. Déduction : les affectations de longue durée, de deux ou plus, doivent rester la norme souhaitée. Un paradoxe que nous déduisons de certaines comparaisons : l’impact est indépendant de la marge de progression du partenaire On pourrait penser que l’impact risque d’être plus élevé si le partenaire est faible, avec une marge de progression importante. Or, de l’analyse comparative des affectations d’Eirene que nous avons pu étudier en 2012 en Haïti et en 2016 en Amérique Centrale (et de discussions que nous avons eues avec un partenaire des Grands Lacs), ressort un constat inverse : les affectations se déroulent mieux auprès de partenaires déjà solides qu’auprès d’organisations embryonnaires ou fragiles dans leurs bases (vision, compétences), et elles ont un impact supérieur. La CEP pour accompagner la structuration d’une organisation encore faible

20

présente des risques supplémentaires pour le volontaire (absence de contrepartie suffisante, manque de soutien, ligne directrice trouble, rejet d’un volontaire qui prend un rôle décisionnel sans n’avoir ni la légitimité ni l’expérience nécessaires..) comme pour le partenaire (substitution temporaire et perte des acquis au départ du volontaire, désappropriation de l’organisation, perte de vision…). Ces risques sont élevés. Déduction : nous pensons qu’il faut réserver la CEP à des organisations disposant d’une base déjà relativement solide. 1.4. Les effets cumulés de séquences d’affectations 1.4.1. Les séquences étudiées Une étude réalisée sur le cas d’ODESAR en 2008 (Egli et al., 2008, « Que impacto tienen las misiones de envio de coopérantes ? El impacto y como medirlo », étude pour Unité, Bern), s’était déjà intéressée à l’analyse en longue période de l’impact engendré par une série d’affectation : il s’agissait d’évaluer l’impact de 12 missions de CEP, dont 9 missions longues (plus de 2 ans), de coopérants envoyés par 3 organisations (GVOM, E-changer, Interteam) de 1991 à 2006. Mais le rapport entre peu dans le détail. Nous avons pu étudier précisément et comparer différentes séquences d’affectations présentées dans le tableau suivant. Nous nous sommes intéressés aux interactions entre des affectations intervenant dans le même champ, pour voir si elles se complètent, s’il existe des synergies, s’il existe des cas où l’une annule les effets de la précédente (ce que nous n’avons pas observé).

Partenaire Affectation : nom du volontaire et intitulé Type Période

ALGES Los Angelitos Salvador

Jean-Marc Varidel Appui à l’éducation inclusive des enfants en situation de handicap

CD 6 mois

janvier-juillet 2016

Francesca Estier Des enfants handicapés mieux protégés grâce à des parents mieux organisés

ST 1 an

1er septembre 2014 – 31 août 2015

Buccella Carole Réhabilitation intégrale et défense des droits des enfants et jeunes handicapés au Salvador

LD 6 ans, en cours

1 Septembre, 2010 – 30 Novembre, 2012, renouvelée

Buccella Carole Réhabilitation de personnes handicapées au Salvador

LD 7 ans

1 Septembre, 2003 - 31 Août, 2010

UNES Salvador

Giulia Boo Renforcer les moyens de lutte pour la protection de l’environnement au Salvador

CD 6 mois

Mars-septembre 2016. Perspective de renouvellement

Fabien Tosoni Création d’un centre de documentation environnemental au Salvador

CD 1 an

1 Novembre, 2012 - 31 Octobre, 2013

Fabien Tosoni Création d’un centre de documentation environnemental au Salvador

SC 1 an

1 Octobre, 2011 – 30 Septembre, 2012

Florian Erzinger Etude d’impact sur les risques environnementaux liés à l'exploitation minière,

CD 3 mois

1 août – 30novembre 2008

Sebastiano Belloni Plaidoyer en faveur d’une gestion durable de l’environnement

ST 1 an

1 Septembre 2006 – 31 Août 2007

Claude Grimm Coordination des activités de diffusion et de promotion du projet de négociations de l'observatoire des négociations au sein de l'OMC

LD 3 ans

janvier 2002-décembre 2004

21

FADCANIC Nicaragua

Stéphane Charmillot Amélioration des conditions de vie des petits producteurs par le développement de la commercialisation de leurs produits

LD 2 ans

Juin 2015- mai 2017

Jean-Pascal Herrera Construction d’infrastructures communautaires avec des petits paysans nicaraguayens

LD « ans

1er juillet 2013 - 30 Juin 2016

Jonas Canton Garantir une eau de bonne qualité dans un centre agroforestier de la côte atlantique Sud Nicaragua

SC 7 mois

2 Avril, 2012 – 30 Septembre, 2012

Pascal Blunier Développement agroforestier avec les différentes ethnies de la côte atlantique du Nicaragua

LD 2 ans

1 mars, 2011 – 30 Juin, 2013

Jacques Du Pasquier Développement agroforestier avec les différentes ethnies de la côte atlantique du Nicaragua

LD 2 ans

1 Août, 2008 – 31 Juillet, 2010

Raphaël Jeanrichard Appui à une gestion écologique de l’environnement avec les communautés indigènes de la côte atlantique du Nicaragua (étude sur les capacités de régénération de la forêt)

SC 7 mois

1 Juillet, 2011 – 31 Décembre, 2011

Wilson Nash Hazel Echange Sud Nord sur l’éducation

SN 20 jrs

15 Mars, 2009 – 5 Avril, 2009

FredyGeiser Suivi de la construction et planification de l’approvisionnement en eau de Pearl Lagoon

CD 5 mois

3 Avril, 2006 – 19 Août, 2006

Justine Haag Gestion des eaux usées

CD 1,3 m

2 Juin, 2003 – 12 Juillet 2003

Suzanne Gerber Sinclair Formation des enseignants

LD 1,5 an

11 Octobre, 1999 – 6 Mai, 2001

ODESAR Nicaragua

Mattéo Campiche Construction d’infrastructures communautaires avec des petits paysans nicaraguayens

SC 10 mois

mai 2015-mars 2016

Diego PrietoMerino (décédé) Appui à la construction d’infrastructures communautaires

SC 6 mois

Mars- Aout 2013

David Steiger Une agriculture durable pour assurer la souveraineté et la sécurité alimentaire

SC 7 mois

28 Octobre, 2013 -13 Avril, 2014

Franziska Pfister Formation à la formulation de projets à Matagalpa

LD 3 ans

1 Mai, 2007 – 30 Avril, 2010

Cindy Eggs Systématisation d’expériences du partenaire Sud 2000-2007

ST 10 mois

1 Janvier, 2007 – 31 Octobre, 2007

Mirka Loestcher Conservation des sols dans la région de Matagalpa (diagnostic)

ST 9 mois

1 Février, 2005 – 31 Octobre, 2005

Roger Soza Sécurité alimentaire et participation citoyenne

PL 3 ans

3 Juin, 2002 – 31 Mai, 2005

Gérald Fioretta Gestion de projets et aide à la reconstruction

CD 1 an

1 Décembre, 1998 -1 Décembre, 1999

Charlotte Wirz Développement rural et renforcement institutionnel auprès de ODESAR

LD 6 ans

1 Janvier, 1997 – 31 Décembre, 2002

Charlotte Wirz Appui au développement rural

ST 1 an

1 Février, 1996 - 31 Janvier, 1997

Tableau 5 : pour l’analyse des effets de séquences d’affectations : les séquences observées

22

1.4.2. Du modèle théorique à la pratique Dans ce domaine, il existe des schémas théoriques qui tiennent souvent des « intentions ». L’objectif est d’abord qu’une affectation suffise à un apport durable à l’organisation partenaire. Si cela ne suffit pas, l’objectif sera de développer des affectations qui consolident les acquis des précédentes sur une durée suffisante, avec éventuellement une affectation de « personnel local » pour assurer l’appropriation des acquis en l’absence de coopérant sur le thème traité. C’est un schéma qui nous a été présenté ainsi dans une autre organisation membre d’Unité : mais il y a la théorie… et la pratique, laquelle dépend de nombreux paramètres, tels que la capacité à trouver les profils souhaités ou les difficultés d’appropriation locale de certains outils. Nous observons d’abord que l’on ne trouve jamais de succession d’affectations strictement similaires sur un même thème (sauf lorsque le volontaire reste le même). Les volontaires que l’on mobilise ont des profils différents, que cela soit souhaité ou non. Ces affectations se succèdent souvent « par défaut », faute de trouver le profil souhaité. On obtient alors, de facto, des entrées différentes sur le même thème, ce qui présente en réalité des avantages notoires : les complémentarités entre les apports sont un avantage qui consolide l’impact (comme on le voit déjà dans les cas de FADCANIC ou de la UNES). Cependant, on observe aussi qu’une affectation peut sous-utiliser les apports des affectations antérieures, voire les négliger : ces apports, faute de consolidation, peuvent être en partie perdus. Notre analyse a permis de distinguer des séquences d’affectations dans lesquelles les affectations produisent un impact cumulé supérieur aux effets propres à chaque affectation (avec un effet positif de la séquence), alors que cela fonctionne moins bien dans d’autres cas. 1.4.3. Des complémentarités et synergies : lorsque la séquence d’affectation produit un impact cumulé supérieur aux effets de chacune des affectations Nous allons en donner plusieurs exemples : Environnement et cycle de l’eau à FADCANIC : JH-JDP-PB-JC-JPH, de 2003 à 2016 Selon le président de FADCANIC, les volontaires ont apporté une contribution au fait que le Centre Agroforestier de Wawashang soit aujourd’hui reconnu. C’est une contribution d’ensemble, issue de plusieurs affectations successives : les intitulés des affectations sont parfois très proches pour des apports en réalité très différents. JDP était géographe et très intéressé par des questions d’éducation populaire, ce qui l’a conduit à s’investir sur les formations, la réalisation d’ateliers et à développer des approches participatives. PB a repris ce travail et a notamment travaillé avec les Comité d’Eau Potable et Assainissement (CAPS). JPH s’est notamment appuyé sur ces CAPS dans les projets d’adduction d’eau ou d’irrigation développés. En tant que civiliste, JC n’est resté que sept mois mais a laissé un modèle de filtre à eau (d’épuration des eaux grises) qu’il a testé à Khaka Creek. Ce premier test a été repris par les volontaires en affectation de longue durée qui se sont succédés (PB et JPH) qui ont testé des filtres plus conséquents pour Wawashang. PB a aussi apporté une contribution en produisant plusieurs documents sur des questions pratiques telles que « comment traiter l’eau ? », ou « comment construire un puit ». JC a aussi construit, avec l’équipe de Khaka Creek, un dispositif de phyto-épuration qui avait fait l’objet d’une étude de conception réalisée par une autre volontaire (JH) près de dix ans plus tôt.

23

Les apports de PB et JPH sont très complémentaires et entrent dans des processus de consolidation de certaines actions. Ainsi, PB a élaboré une brochure sur la réserve de Khaka Creeks, où des itinéraires de découverte touristique sont présentés et JPH a repris ce travail, bien après, pour élaborer un site web visant à attirer des touristes. Plus généralement, les deux sont ingénieurs en environnement mais l’un d’entre eux est docteur, très compétent pour analyser et poser les choses par écrit alors que l’autre est plutôt tourné vers la réalisation et les chantiers d’infrastructures : la complémentarité entre leurs apports permet d’obtenir des synergies plutôt qu’une simple addition d’apports. Ces quatre volontaires ont contribué à la sensibilisation en matière d’environnement et à l’organisation du premier forum de l’eau, qui a connu une forte participation. Leur présence sur le terrain est un signe qui suscite l’intérêt. Au moins deux d’entre eux ont en outre contribué à l’élaboration de guides sur la conservation des sols, la gestion de l’eau, etc… qui constituent une série autour de la conservation de l’environnement.

Structuration et suivi-évaluation à ODESAR : CW - RS - FP, 1996 – 2010 Une première volontaire est restée 6 ans et a apporté une contribution importante à la structuration organisationnelle et à la mise en place de mécanismes de gestion opérationnelle et financière. Cette affectation a été suivie d’une affectation de personnel local, avec un agent spécialisé en agro-écologie mais qui a aussi contribué à la consolidation de l’organisation. Après deux années sans affectation, une affectation de longue durée est venue renforcer l’ensemble, avec un apport très complémentaire, sur la formulation de projets d’une part, pour l’élaboration d’une ligne de base d’autre part, aujourd’hui mobilisée pour l’analyse de l’impact. Chaque affectation consolide les apports précédents, en jouant sur une continuité et des complémentarités. Le cas du « Muralismo » : GP + JDP + 2 affectations S/N (MH) + EK, 2006 - 2016 La capitalisation réalisée récemment sur le « muralisme » est un maillon d’une chaîne débutée par une ex-volontaire de GVOM qui repère Michael Hammond et lui propose de suivre une formation en muralisme à Esteli. Il réalise ensuite un premier mural sur le thème financé grâce à un volontaire qui travaillait sur un tout autre thème mais qui le soutient et s’implique personnellement (JDP). Eirene contribuera ensuite à financer des murales et à faire connaître son travail, notamment avec deux échanges Sud Nord en Suisse. Il partira également présenter son travail aux Etats Unis par l’intermédiation d’une volontaire suisse. Michael Hammonds est aujourd’hui reconnu mais a choisi de rester dans sa communauté d’origine et a créé une association (« Murales RAAS ») avec laquelle il touche beaucoup de jeunes via un système de promoteurs. Selon Michaêl Hammond, outre l’avoir lancé sur cette voie, EIRENE l’a finalement aidé à créer des petits réseaux qui portent aujourd’hui des initiatives de murales dans des communautés diverses. La capitalisation est une nouvelle ressource pour cette association. Pour les jeunes qui participent à ces opérations, outre les messages véhiculés par les fresques murales (sur les droits humains, la lutte contre les addiction, le multiculturalisme, etc…), les bénéfices sont de l’ordre de l’estime de soi et d’une impulsion pour que certains trouvent leur voie : certains ont investi des espaces politiques, d’autres travaillent dans des projets, etc… La réalisation collective d’une fresque crée ou soutient une motivation pour s’intégrer, participer à la société pour des jeunes « à risques ». L’impact cumulé dépasse ici très largement les effets propres à chacune des affectations qui ont apportés des impulsions successives.

1.4.4. Et lorsque la séquence fonctionne moins bien Plusieurs cas de figure ont été observés : Des complémentarités vertueuses, mais qui restent menacées par certaines lacunes

24

C’est le cas par exemple du travail réalisé à la UNES sur la communication, avec la séquence CG-SB-FE-FT-GB, de 2002-2016. CG était journaliste, FT spécialiste de l’aspect technique de la communication, GB est plutôt expérimentée dans les stratégies de communication : leurs apports se succèdent et se complètent bien, dans le même champ. La séquence est longue et entretemps, des volontaires affectés sur d’autres thématiques ont réalisés des apports ponctuels dans le champ de la communication (SB avec par exemple la conception d’un logo, FE avec une recherche qui a été un support de communication). Certains effets se cumulent et sont durables, avec une équipe qui dispose d’un site internet et communique sur les réseaux sociaux avec un compte qu’elle sait alimenter, mais elle ne sait pas réagir à certains problèmes, faute de consolidation de certains acquis. L’impact est réel mais cette absence de maîtrise de paramètres techniques reste une menace. Des affectations complémentaires mais dont les effets ne se cumulent pas (ou risquent de ne pas le faire), faute de consolidation des acquis de chaque affectation Par exemple dans le cas de Los Angelitos, les deux derniers volontaires apportent des compétences complémentaires sur un même thème, l’éducation inclusive. Une première affectation, celle d’une juriste (FE), a permis la création de cercles d’éducation inclusive, visant la formation des enseignants, avec des temps de formation et discussion tous les deux mois. Cette dynamique n’a pas duré au-delà de cette affectation mais a permis de susciter un intérêt. Elle n’a cependant pas été reprise à son compte par le ministère de l’éducation : tout n’est pas perdu quant aux apports de FE, mais la dynamique qu’elle avait créée s’est éteinte. L’affectation suivante (JMV) vise à travailler cette question directement avec les maîtres, dans leur école, au cas par cas. Il s’agit de concrétiser ce qui a été fait précédemment, les promoteurs devant assurer un suivi post-affectation. Mais l’affectation ne durera que six mois : trois mois ont été consacrés à « poser » les termes du projet, des outils sont en cours d’élaboration mais il restera moins de trois mois pour leur appropriation par Los Angelitos et les promoteurs qui seront chargés de les utiliser. Cette durée semble trop courte pour une réelle appropriation. Ce cas de figure est celui d’affectations qui se succèdent sans que les résultats de chacune ne soient consolidés. Chacun développe ce qu’il sait faire, avec des complémentarités apparentes, mais celles-ci risquent de ne pas « jouer » car les acquis restent trop fragiles. Une réponse sera probablement apportée avec une ou de nouvelles affectations qui viendront prolonger cette séquence, qui avait déjà commencé partiellement en amont, avec des apports ponctuels de BC, en affectation depuis 12 ans. Le risque (il est trop tôt pour le dire) est celui d’une succession d’affectations qui ne se « répondent pas » sur ce thème. Des effets qui s’additionnent sans synergies très claires entre les affectations Nous prendrons ici l’exemple d’une volontaire d’Eirene (SGS) et d’autres volontaires autrichiens et du Liechtenstein qui se sont succédés dans le domaine de l’éducation auprès de FADCANIC. SGS est restée deux ans et a formé les enseignants sur les apprentissages pratiques avec des matériaux locaux tout en développant des classes de musique et de théâtre hors des temps scolaires. Une autre volontaire (hors Eirene) est restée quatre ans et a développé un enseignement musical, un autre a appuyé la bibliothèque, une autre est intervenue sur l’éducation précoce. Ces apports se sont succédés au sein de la même école, aujourd’hui devenue une école publique. Certains de ces apports ont été repris dans le cadre d’une maison de la culture et des enseignants continuent à mettre en œuvre des apprentissages pratiques, qui ont l’avantage d’être faisables sans financements spécifiques : il y a donc des effets, dans ou hors de l’école, assez diffus. Mais certains de ces apports ne se consolident pas les uns les autres : ils ont surtout eu pour effet d’apporter un soutient à la dynamique de l’école, mais cette dynamique tient d’abord à la vision portée par FADCANIC (école multiculturelle).

25

1.4.5. Que faut-il en retenir ? L’importance de dépasser l’échelle de l’affectation De cette analyse ressortent plusieurs éléments importants pour la gestion des affectations avec le partenaire d’une part, pour l’évaluation des effets d’autre part :

Il n’existe pas de modèle de succession des affectations : entre affectations de longue durée et affectations complémentaires, chaque séquence est unique et répond à sa propre logique, fonction des effets de chaque affectation et des possibilités de recrutement de volontaires.

Une séquence d’affectation qui fonctionne bien produit des effets cumulés qui dépassent les effets propres à chaque affectation. Or, elle fonctionnera d’autant mieux que : (a). Des volontaires se succèdent dans un même champ mais avec des profils et apports complémentaires ; (b). Chacun se soucie de consolider et exploiter les apports de ses prédécesseurs et s’inscrit dans un travail d’équipe (même lorsqu’il ne rencontre pas son prédécesseur) ; (c). Un lien suffisant entre les apports des uns et des autres est assuré par l’équipe locale (qui doit être suffisamment solide pour le faire) et par l’organisation d’envoi ; (d). Chaque affectation est pensée dans le cadre d’une séquence d’affectation (même lorsque celle-ci semble anarchique) et du bilan des affectations antérieures (dans lequel les acquis mais aussi les éléments à consolider doivent apparaître très clairement).

Les effets des affectations doivent être considérés à l’échelle d’une séquence d’affectation, autant qu’à l’échelle de l’affectation.

26

2. Des pistes pour un outil fonctionnel de mesure d’effets adapté à la taille d’une petite organisation : fondements 2.1. La « commande » : le cahier des charges de l’outil La commande qui nous a été faite est, après avoir proposé des « réajustements du dispositif actuel d’Eirene, comme exemple de gestion de qualité au sein d’une petite organisation », de proposer des « pistes pour un outil fonctionnel de mesure d’effets adapté à la taille d’une petite organisation (Eirene) ». Il est important de bien poser les objectifs de l’outil à proposer, liés au contexte dans lequel se trouve Eirene, mais aussi Unité. Objectif n°1 : apporter la preuve de la pertinence de l’échange de personnes dans la coopération internationale au Sud, grâce à un outil démontrant ses effets Dans la récente évaluation d’Unité est mentionné qu’aux yeux de la DDC, « Unité n’a pas encore réussi à établir la preuve de la plus value recelée par le Coopération par l’Echange de Personnes ». Les évaluateurs reviennent dans leur recommandations sur cette question de la « preuve », en affirmant que « l’exigence d’une preuve de la pertinence de la coopération par l’échange de personnes pour l’aide au développement ne peut, à notre avis, être remplie que si elle fait l’objet d’une analyse et d’une évaluation en lien direct avec les activités menées dans le cadre de projets et/ou de programmes ». Ils recommandent à la fois de mettre au point un outil d’analyse de l’impact et d’axer « le contenu de la communication sur la preuve de l’impact de la coopération par l’échange de personnes ». Cette préoccupation d’ « administration de la preuve » n’est pas partagée sur le terrain, mais elle est jugée compréhensible, ce qui est un point de départ suffisant, mais fragile. Déduction :

L’outil proposé doit apporter au moins des éléments de démonstration d’effets positifs.. ou montrer que l’on est incapable d’identifier des effets. Il doit aussi interroger la plus-value de la CEP par rapport à d’autres formes d’aide. Pour cela, un objectif de base à retenir est d’identifier et de qualifier des effets dont le lien avec l’envoi de coopérants sera démontré : sur cette base, on pourra voir si ces effets sont différents de ceux engendrés par d’autres formes d’aide et en déduire l’existence (ou non) d’une plus-value

Objectif n°2 : proposer des concepts et des pistes pouvant avoir le soutien de l’ensemble des organisations membres d’Unité Eirene insiste sur la mise au point d’un outil adapté à une structure de petite taille. L’évaluation récente d’Unité mentionne l’absence, sur le site internet d’Unité, d’une méthode applicable à la mesure de l’efficacité et à l’analyse de l’impact de la CEP « qui soit compréhensible, uniforme et ayant le soutien des organisations membres ». Sur la base de ce constat, les évaluateurs présument qu’ « au sein d’Unité et des organisations membres, il n’existe pas de vision commune claire concernant l’analyse de l’impact de la coopération par l’échange de personnes et la manière d’en mesurer l’efficacité ». Parmi les recommandation figure la suivante : « en vous appuyant sur les expériences d’organisations actives dans la coopération au développement, mettez sur pied, conjointement avec les organisations membres, un concept relatif à l’impact de la coopération par l’échange de personnes, reposant sur une large base ».

27

Déduction : Il nous semble en réalité que ce qui sera proposé pour des structures de petite taille devrait intéresser des structures plus grandes, et pourrait constituer une base commune :

L’outil devra se baser d’abord sur la proposition d’une vision de l’analyse de l’impact de la CEP qui puisse faire consensus au sein d’Unité. Pour répondre à cet enjeu, il nous semble indispensable de revenir sur le modèle d’impact de la CEP.

Unité compte des organisations membres très diverses, petites et grandes, dont certaines portent des projets alors que la majorité ne font que de l’envoi de coopérants. La mission nous a permis d’en approcher plusieurs et de constater que toutes ont un besoin d’outils simples, accessibles à des coopérants qui ne sont souvent pas des spécialistes de la coopération internationale et de ses langages : les pistes proposées, pour pouvoir prétendre faire consensus, doivent privilégier un enjeu de simplicité et accessibilité, même si cela doit se faire au dépend de l’exhaustivité et de la précision de l’outil.

La mission ne nous permet pas d’appuyer une co-construction entre les membres : mais elle doit permettre de l’alimenter. Objectif n°3 : proposer des pistes pour un outil simple d’utilisation, intégrable dans les démarches actuelles de monitoring de la qualité Toujours dans l’évaluation d’Unité, les évaluateurs évoquent une pléthore de règlements et une « sur-réglementation » qui « risque d’exercer une pression trop forte surtout sur les organisations de relativement petite taille ». Déduction :

il est donc important de ne pas « ajouter une couche supplémentaire » mais de viser l’intégration d’une démarche de travail sur les effets au sein des dispositifs existant.

Il s’agira d’optimiser le ratio coût / bénéfice des outils proposés. Comme nous l’avons déjà souligné, l’outil doit être simple d’appropriation, puis d’utilisation. La question du coût d’appropriation de l’outil par l’ensemble des parties prenantes est centrale : nombre d’outils proposés antérieurement (méthode UNV d’approche de l’impact), baromètre du partenariat dans le cas d’Eirene, ont été peu utilisés en grande partie en raison du coût de leur appropriation (il aurait fallu former chaque coordination et chaque volontaire).

2.2. Ce que nous retenons de l’analyse des effets : des éléments déterminants pour

nos propositions Les recommandations énoncées dans le tableau sont directement issues de l’analyse des effets :

28

Constats issus de l’analyse des effets Conséquences pour les outils à proposer Des effets sont identifiables au niveau des bénéficiaires finaux de l’action du partenaire, mais soit il est impossible de les attribuer à une affectation, soit ils sont très liés à une affectation mais leur durabilité est très questionnable

La démarche d’évaluation des effets doit se concentrer sur les effets obtenus auprès d’acteurs de changement (en premier lieu le partenaire mais pas seulement) touchés par une ou plusieurs affectations, plutôt que sur des bénéfices directs auprès des populations cibles. Des effets au niveau du partenaire d’Eirene

et plus généralement de partenaires limitrophes peuvent être identifiés et attribués à la CEP La plupart des effets obtenus sont peu prévisibles

La démarche visant à partir des effets inventoriés pour ensuite revenir à la façon dont ils ont été obtenus sera préférée à une démarche partant de l’action et de ses résultats ; pour aller vers les effets

Certains effets imprévus sont liés au fait que le volontaire s’investi dans des activités non prévues dans l’affectation, initiées en constatant des convergences fines entre des besoins et ses possibilités d’apports L’impact dépend fortement de séquences d’affectations

Les niveaux les plus utiles pour l’évaluation des effets et l’approche de l’impact sont les niveaux « affectation » et « partenariat / séquence d’affectation »

Les effets sont très hétérogènes et difficiles à agréger Les effets portent sur les bénéficiaires, le partenaire mais aussi des partenaires limitrophes divers (acteurs publics, réseaux, autres ONG, etc…)

Il faut retenir la notion de « partenaires limitrophes » (cf. ci-après)

Nombre d’effets sont liés non pas à des actions intentionnelles de renforcement institutionnel, mais sont liés au simple fait de travailler ensemble et d’échanger

Il faut revoir le modèle d’impact habituellement proposé dans le champ de la CEP

Tableau 6 : synthèse des résultats issus de l’analyse des effets et conséquences pour la démarche d’évaluation des effets et d’approche de l’impact

L’analyse des effets nous conduit donc à proposer de privilégier l’analyse d’effets auprès d’acteurs de changement plutôt que d’effets sur les populations cibles, de privilégier deux niveaux pour l’évaluation (effets et partenariat), de partir des effets plutôt que de l’action, de revoir le modèle d’impact, de mobiliser la notion de « partenaires limitrophes » emprunté à la cartographie des incidences. Nous allons d’ores et déjà préciser certains de ces éléments clés, au regard de ce que nous avons ressorti de l’analyse bibliographique réalisée en appui à la mission par Alan Beuret, figurant en annexe. Se concentrer sur l’identification d’effets sur des acteurs de changement Eirene s’est posé la question en amont de la mission de savoir à quel niveau évaluer les effets de la CEP. EIRENE a choisi une option (considérée comme plus réaliste que les autres) revenant à considérer que les résultats et les effets doivent être mesurés à partir de l’action du volontaire sur/dans l’organisation, l’analyse des effets se situant alors au niveau de l’organisation partenaire et de son/ses projets, puis de la population cible. Une alternative était de considérer que les résultats et les impacts doivent être mesurés à partir de l’action de l’organisation partenaires, l’analyse de l’impact se situant alors au niveau du contexte. Une autre alternative étant de considérer simultanément les deux premières options. Le choix fait par Eirene rejoint les préconisations d’Egli et al. (2008), selon lesquels « étant

29

donné qu’il est quasiment impossible de mesurer l’impact généré par les missions de volontariat sur les groupes cibles, l’analyse de l’impact doit se concentrer en premier lieu sur les organisations partenaires ». Ce choix est aussi le notre, à ceci près que nous préconisons de concentrer l’analyse sur des acteurs de changement avec lesquels le volontaire interagit, dont l’organisation partenaire fait partie mais qui incluent d’autres acteurs. La difficulté est d’établir le lien entre l’action du volontaire, ses résultats, ses effets (primaires) pour le partenaire et/ou le projet, les effets (secondaires) pour les populations concernées, puis l’impact. Mesurabilité et imputabilité supposent que, dans cette chaîne de causalités, l’évaluation reste proche du travail réalisé par le volontaire avec et sur des acteurs de changement. Repartir des effets plutôt que de l’action… et prendre un peu de distance vis à vis du cadre logique Le très grand nombre d’effets imprévus – et imprévisibles – mais aussi d’activités mises en œuvre alors qu’elles n’avaient pas été prévues, doit conduire Eirene à prendre ses distances vis à vis d’approches où l’on évalue les effets des actions que l’on avait prévu de mettre en œuvre. Or ces approches sont très répandues. Il ressort de l’état de l’art des méthodes utilisables et/ou utilisées pour l’évaluation des effets de la CEP (Alan Beuret, 2016, cf. annexe) que seules deux d’entre elles sont basées sur une identification d’effets à partir de laquelle on tente de comprendre le rôle joué par l’intervention (la CEP dans notre cas). Ce sont la méthode du « Most Significant Change » et la MAPP (Method for Impact Assessment of Programme and Projects). Lorsque l’on utilise le cadre logique, le modèle du capacity development, la cartographie des incidences, l’analyse de contribution, l’International Volunteer Impact Survey (cf. annexe), on se place toujours dans une logique d’analyse des conséquences des actions prévues. Deux niveaux à privilégier : affectation et partenariat / séquence d’affectations Ces deux niveaux ne sont pas ceux que l’on retrouve dans la plupart des outils proposés dans le champ de la CEP. La méthode UNV, qui fait aujourd’hui figure de référence dans ce domaine et que nombre d’organisations adaptent à leurs propres besoins, en offre une illustration. Elle est basée sur une série d’ateliers réalisés à quatre niveaux : l’affectation, le programme (conduit par le partenaire et auquel peuvent être affectés plusieurs volontaires), un niveau inter-organisationnel (pays), le niveau global. Le niveau « partenariat », avec l’analyse des effets d’une séquence d’affectations n’est pas considéré, or nous espérons avoir montré son importance dans notre travail d’identification des effets et de leurs déterminants. Les niveaux supérieurs (programme, pays, global), ont peu de sens pour de petites organisations qui envoient peu de volontaires, sur des sujets très différents : c’est ce que dit Eirene en disant qu’il est d’impossible d’agglomérer ce qu’il ressort des rapports des uns et des autres. En plus, si l’objectif est de saisir les effets obtenus, la plus value apportée par la CEP, les déterminants des effets pour tenter de les optimiser, l’agglomération à l’échelle des programmes ou de l’ensemble d’Eirene ne nous semble pas prioritaire. 2.3. Des bases : un langage commun, des objectifs partagés Viser l’appropriation, au sein des équipes, de concepts de base Actuellement, les concepts de base que sont les résultats, les effets ou l’impact ne sont maîtrisés ni par les volontaires en affectation, ni par certains agents d’Eirene à un niveau

30

supérieur, ce qui n’est pas étonnant mais pose beaucoup de problèmes lorsqu’ils sont mobilisés dans les documents que chacun doit compléter. Face à cela, on ne peut pas faire l’économie d’un peu de formation des agents et/ou d’un glossaire simple joint aux documents fournis. Nous reprenons ici certaines définitions du document réalisé par Eirene (Edith Kolo, qui précise « en premier lieu, il convient de clarifier ce qu’Eirene Suisse entend par mesure des effets et hypothèses de changement »), à ceci près qu’il nous semble qu’il ne faut pas limiter les effets aux seuls groupes cibles de l’action. Nous avons par ailleurs ajouté des notions issues de l’ « outcomemapping », empruntées à Earl et al. (2016), à garder si Eirene (voire Unité) souhaite les utiliser : Glossaire de base L’appréciation des résultats d’un programme ou d’un projet est réalisée à trois niveaux : résultats, effets ou incidences, impact. Résultats immédiats (output du projet) : Dans la lignée de la DDC, nous considérons que les résultats se réfèrent aux prestations en lien direct avec la délivrance des prestations de service ou la réalisation des projets considérés. Il s'agit d'unités quantifiables, telles que des produits ou des participants, des utilisations, des conseils, des attributions financières, des biens et services mis à disposition, des cours, etc. Ex1: Construction d’une école. Ex2: Nombre de personnes formées au cadre logique. Effets obtenus (outcome du projet) : ce sont les effets engendrés auprès des groupes cibles et « partenaires limitrophes » de l’action, par une prestation ou un projet et qui découlent de l'output. Les effets sont induits par une intervention à moyen ou long terme,sur le milieu physique et humain. Ils sont positifs ou négatifs, intentionnels ou non, directs ou indirects. Ex1: Accès à l’éducation. Ex2: Capacité à formuler des demandes de fonds. Incidences : ce sont des changements dans les relations, activités, actions ou comportements des partenaires limitrophes pouvant être logiquement reliés aux activités d'un programme même s'ils ne sont pas nécessairement causés directement par lui. Ces changements visent des aspects précis du mieux-être humain et écologique en offrant aux partenaires limitrophes des outils, techniques et ressources pour contribuer au développement (Earl et al., 2016). Ex1 : une organisation de parents s’est constituée autour de l’école et est devenue un acteur du développement local Impact: c’est la nouvelle situation issue de l’ensemble des effets, qui vont au-delà des effets exercés sur les groupes cibles et qui interagissent avec des éléments du contexte dans lequel évoluent les groupes cibles, au niveau d'une société ou en matière environnementale, pour engendrer un changement, à terme. Ex1: Diminution exode rural sur une génération. Les partenaires limitrophes sont des individus, groupes et organismes avec qui le programme interagit directement pour susciter le changement et de qui il peut attendre certaines possibilités d'influence (Earl et al. 2016). Les partenaires limitrophes sont les acteurs qui contrôlent les changements qui les concernent, les programmes n’étant là que pour faciliter le processus (Hadjaj Castro, 2007) en mettant à disposition des ressources (un volontaire). Cerner l’objectif : évaluer les résultats, approcher les effets / incidences et la façon dont ils sont consolidés et exploités Pour nous l’objectif des outils à mettre en place doit se limiter à l’évaluation des résultats (output) de la CEP ; de ses effets ou incidences (outcomes) et de la façon dont ils sont

31

exploités et consolidés. Ceci permet une première approche de l’impact mais il ne s’agira en aucune façon de mesurer l’impact. L’objectif de mesure de l’impact est du reste écarté tant dans la version 2011 de la « méthode UNV » d’évaluation des effets des volontaires des Nations Unies, que par Eirene dans le document d’Edith Kolo (« nous pensons que prétendre à une telle mesure (de l’impact) n’est pas possible ni même souhaitable à notre niveau »). Ce document précise que « par contre, il importe ici de dégager des hypothèses de changement avec une chaîne des résultats réalisée par contexte d’action, sur la base de nos différents partenariats ». L’impact sera donc approché de deux façons :

En inventoriant des effets qui permettent une approche d’un impact potentiel,

En énonçant une théorie du changement basée sur des hypothèses de changement déclinées depuis le niveau global jusqu’à celui du partenariat et du volontariat, comme stipulé précédemment : il est nécessaire d’inscrire l’affectation dans des hypothèses de changement (et d’impact), pour être clair sur l’impact potentiel (et le discuter avec le partenaire).

2.4. Se baser sur des modèles révisés : modèle d’impact, modèle offre-demande Le modèle d’impact Un modèle d’impact implicitement mobilisé (au moins par certains volontaires qui veulent absolument transmettre leurs compétences à leurs contreparties) et explicitement posé dans une étude réalisée pour le compte d’Unité en 2010 est le suivant :

Tableau 7 : modèle d’impact des engagements de coopérant(e)s proposé dans l’étude réalisée pour Unité sur « l’efficacité et l’évaluation d’impact dans la coopération par l’échange de personne (Egli, 2010)

Nous retrouvons ce concept dans cet extrait du document d’Eirene (Edith Folo) : « nous envoyons un-e volontaire pour renforcer un partenaire qui agit dans le cadre de projets spécifiques, pour/avec une population donnée, dans un contexte spécifique ».

32

Ce modèle se veut simplifié mais il simplifie trop la réalité. Nous proposons de le complexifier un peu pour qu’il corresponde mieux à la réalité et soit utilisable comme une référence partagée, tout en restant le plus simple possible :

Figure 1 : proposition de modèle d’impact de la CEP

Les éléments clés de la chaîne de causalité de ce modèle sont les suivants :

- Toute affectation s’inscrit dans un partenariat et une séquence d’affectation (avant et/ou après), eux-mêmes inscrits dans un programme régional, eux-mêmes inscrits dans un plan quadriennal et la vision de l’organisation d’envoi. Il n’est pas inutile de le rappeler aux volontaires.

- Le volontaire en affectation intervient de deux façons, par des actions visant le renforcement du partenaire, par un travail conjoint et des situations d’échange (dans le travail et dans la vie personnelle), les deux étant vecteurs d’effets (distincts ou combinés).

- L’action du volontaire a des résultats effectifs à comparer aux résultats attendus, puis des effets à identifier. Ces effets peuvent être très différents de ceux initialement envisagés, porter sur des acteurs qui n’étaient pas dans le « scope » initial de l’action, ce qui n’est pas un problème en soi (mais le produits d’ajustements de la mission très fréquemment nécessaires ou d’effets imprévisibles) : il est inutile de dépenser trop d’énergie à justifier les écarts, l’essentiel est plutôt de saisir les déterminants de la production d’effets positifs ou négatifs.

- La durabilité des effets (si elle est souhaitable) d’une affectation est déterminée par la façon dont ils seront consolidés et exploités par le partenaire, par d’autres affectations, ou par d’autres partenaires limitrophes de l’action : ceci doit être l’objet d’une attention particulière dans toute évaluation.

- Certains effets sont rétroactifs, du Sud au bénéfice des acteurs du Nord que sont le volontaire, Eirene, la société suisse : ils font partie du modèle d’impact.

- L’impact est le résultat des effets, de leur exploitation et de leur combinaison avec des facteurs contextuels : si les contours d’un impact potentiel sont approchés par l’établissement d’hypothèses de changement et l’identification des effets, la mesure de l’impact ne fait pas partie des objectifs que l’on se donne.

Affecta on

Partenariat

Programme

EireneSuisse Temps

Renforcementins tu onnel

Co-travail,échanges

Effets

Exploita ondeseffets

Impact

Exploita ondeseffets

Effetssurlevolontaire,leprogramme,Eirene…

CEP

33

Le modèle d’offre / demande Même si ceci concerne plus la mise en œuvre des affectations que l’évaluation des effets, il est important d’avoir des références communes à ce niveau pour guider l’interprétation des effets identifiés et de leurs déterminants. Il apparaît en effet que la façon dont se déroulent les ajustements entre une demande et une offre de compétences joue un rôle clé dans la construction de certains effets. Nous proposons de prendre pour référence le modèle suivant :

Figure 2 : modèle d’ajustement offre / demande dans le Coopération par l’Echange de Personnes

A une demande peut répondre une offre, mais à une offre peut aussi répondre une initiative qui supporte un besoin et une demande : c’est par exemple l’offre d’un civiliste ingénieur civil qui engendre l’initiative prise par ODESAR de construction de maisons à bas coûts, à laquelle correspondent des besoins et une demande. Dans un troisième cas de figure, l’offre et la demande sont co-construits sans que l’une ne précède clairement l’autre. Dans tous les cas, un processus d’ajustement est nécessaire, entre ce que l’on demande de faire au volontaire et les compétences mobilisées (choix du profil, puis choix des compétences que le volontaire va développer et mobiliser) : il commence en amont de l’affectation et se poursuit pendant l’affectation, avec un temps fort entre un et trois mois après le début de l’affectation, après un round d’observation et d’immersion dans l’organisation partenaire et la réalité locale. 2.5. Pourquoi la « méthode UNV » (adaptée par E-Changer) n’a-t-elle pas été mise en œuvre ? Analyse et déductions opérationnelles Nous répondons ici à une question qui nous est explicitement posée dans les termes de référence de la mission. Elle est pertinente car elle nous permettra de souligner certains points de blocage à considérer. La « méthode UNV » a fait l’objet d’une expérience-pilote en Amérique Centrale, avec l’assessorat d’un consultant, impliquant E-Changer et Eirene. Elle n’est plus utilisée par Eirene, et E-Changer/Comundo n’en utilise que quelques éléments, essentiellement liés au « story telling » de la méthode du Most Significant Change.

Besoinsperçusparlepartenaire

Demanded’affecta on

Processusd’ajustement

Enamont

Temps

Audébut

Encoursd’affecta on

Offredecompétences

Profilsdisponibles

34

Les leçons à tirer de son expérimentation par Eirene au niveau « affectation » La méthode UNV a été expérimentée par Eirene à l’échelle de l’affectation, avec la réalisation d’un atelier réunissant le volontaire, des représentants du partenaire (direction et contrepartie du volontaire), un ou deux représentants des bénéficiaires. Le rapport de sa mise en œuvre avec un volontaire affecté à FADCANIC (Pascal Blunier), montre bien les difficultés de compréhension de concepts assez abstraits pour les participants. En ce qui concerne la méthode du Most Significant Change, les participants ont beaucoup de difficultés à saisir ce qu’est un changement significatif : dans leur story telling, racontent ce qu’a fait le coopérant (confusion réalisé / effets) ou apportent leur témoignage personnel sur leur perception de l’apport du coopérant (c’était bien…), sans se focaliser sur des changements. Certains évoquent des résultats mais ne parviennent pas à prendre de distance vis à vis des résultats attendus et du cadre logique. Au final, cet exercice n’apporte rien. La partie sur les outcomes, inspirée de la cartographie des incidences, est plus intéressante. Des changements de comportements et approches sont mentionnés, même si l’on reste souvent très imprécis sur le « qui » change (on parle par exemple d’un plus grand intérêt pour les méthodes participatives, sans préciser qui porte cet intérêt). Enfin, le SWOT/SEPO est intéressant car l’exercice est articulé avec l’énoncé de recommandations Les participants se montrent intéressés par la méthode car elle est participative et jugée « plus intégrale » car elle considère les aspects personnels et humains comme les aspects professionnels et institutionnels : cette réflexion est intéressante et à retenir pour proposer une méthode qui garde ces atouts. Il faut par contre être pragmatique : une projection dans des effets est difficile pour certains et un tel travail doit être l’objet d’un effort de facilitation très conséquent. Ce qu’en retient E-Changer au Nicaragua Selon le coordonnateur d’E-Changer, cette méthode n’est pas idéale mais il en ressort certains éléments intéressants :

Elle offre un point de vue complémentaire par rapport au cadre logique et attire l’attention sur des éléments plus qualitatifs. Elle a donné lieu à une analyse « de choses que nous n’étudions pas habituellement ».

Elle a permis de constater que les récits de changements illustraient surtout l’accompagnement quotidien donné par les volontaires aux projets locaux et des effets qui allaient au-delà des résultats attendus. Elle révèle une valeur ajoutée issue de l’accompagnement quotidien (ce qui rejoint les conclusions de l’inventaire des effets que nous avons réalisé)

Elle contribue à montrer que la CEP a une valeur ajoutée vis à vis d’autres formes de coopération

Dès lors, le coopérants d’E-Changer doivent désormais, en plus de leur rapport qui reste basé sur le cadre logique, ajouter une partie plus narrative basée sur une « anecdote », le récit d’un changement. Si E-changer en fait une analyse à une échelle multi-pays, il n’y a en tout cas pas de feed-back vers le niveau pays. Déductions Ce type de méthode se heurte à des difficultés importantes d’appropriation des concepts par les équipes supposés les utiliser : dès lors, soit l’on mobilise des ressources externes pour la facilitation des ateliers (ce qui est peu envisageable en termes de coût), soit l’on forme tous les coordonnateurs et/ou les volontaires avant leur départ (ce qui reste difficile à envisager

35

en termes de coûts), soit l’on simplifie au maximum les concepts et l’on construit un « mode d’emploi » très accessible. Sous sa forme actuelle, une méthode inadaptée à une petite organisation d’envoi de volontaires D’autres déductions proviennent de notre propre analyse de la méthode et du rapport de l’expérience pilote conduite par E-Changer. Cette méthode est beaucoup plus adaptée à E-Changer qu’à une petite organisation comme Eirene car :

La méthode UNV correspond très bien aux espaces privilégiés du cycle de gestion des affectations de E-Changer. En effet E-Changer organise des rencontres annuelles avec tous les coopérants et tous les partenaires dans chaque pays, ce qui correspond au niveau « programme » (Eirene ne le fait qu’en Amérique Centrale). E-Changer organise un séminaire de coordination à l’échelle de son action, ce qui correspond au niveau global de la méthode UNV (Eirene ne le fait pas).

La méthode sollicite beaucoup les coordonnateurs locaux, or ces coordinations sont faibles dans le cas d’Eirene comme nous l’avons montré, avec des coordinations à temps partiels, en raison du faible nombre de coopérants par pays et de leur dispersion.

E-Changer a suffisamment de coopérant par pays (par exemple près d’une quinzaine au Nicaragua) pour qu’il soit pertinent d’évaluer les effets d’un programme pays : ce n’est pas le cas pour Eirene, en raison du faible nombre de coopérants et de la dispersion thématique qui existe au sein de chaque pays. Pour Eirene, avoir un programme pays est pertinent pour se fixer des lignes directrices, pas pour agglomérer des effets.

Cette méthode, dans sa forme actuelle, n’est pas adaptée à de petites organisations. Son usage supposerait d’une part un gros effort d’adaptation, d’autre part la mobilisation de ressources pour la facilitation et/ou la formation, ou un gros travail de simplification et traduction des concepts sous une forme très accessible. Certaines de ses composantes ont cependant inspiré l’outil que nous allons maintenant proposer.

36

3. Ce que nous proposons 3.1. Les concepts mobilisés La démarche proposée s’inspire notamment de la cartographie des incidences, tout en empruntant des éléments à la méthode UNV et au Most Significant Change La cartographie des incidences, ou outcome mapping, nous semble particulièrement bien indiquée car elle considère des incidences : ce seront ici des changements dans les relations, activités, actions ou comportements des partenaires limitrophes pouvant être logiquement reliés à une affectation ou une séquence d’affectations. Ces changements visent des aspects précis du mieux-être humain et écologique en offrant aux partenaires limitrophes des outils, techniques et ressources pour contribuer au développement (Earl et al., 2016). Une nouvelle compétence acquise, un accès à l’eau potable pour les élèves du centre de formation de Wawashang, des outils pour le montage de projets individualisés d’éducation inclusive relèvent bien de cette définition des incidences. Elle considère ensuite des « partenaires limitrophes » ici définis comme des individus, groupes et organismes avec qui le volontaire interagit pour susciter le changement et qui pourront avoir certaines possibilités d'influence, dans la durée (à partir de Earl et al. 2016). Cette notion a l’avantage de mettre en avant des acteurs (les partenaires limitrophes) qui contrôlent les changements qui les concernent et sont en mesure de pérenniser ces changements. Ainsi, créer une adduction d’eau laissée à la communauté sans qu’elle ne la maîtrise est un résultat probablement peu durable, la créer comme une nouvelle ressource pour une communauté d’usager est une véritable incidence : ce qui est recherché avec la CEP, ce sont précisément des incidences. Les partenaires limitrophes ne se limitent pas au partenaire qui reçoit le volontaire : l’affectation pourra avoir des incidences sur le partenaire, un groupe de femmes cible de l’action, une collectivité locale, un réseau d’acteurs de la société civile, etc.. La cartographie des incidences aura enfin l’avantage de se baser sur une réflexion partagée avec le partenaire sur sa théorie du changement : on ne tentera pas de mesurer l’impact, mais cette réflexion préalable est importante pour s’assurer que les incidences souhaitées peuvent alimenter un processus qui conduira à produire un impact. Une limite de la cartographie des incidences est de travailler sur des incidences prévues, à partir d’activités prévues. Or, notre analyse montre que le volontaire diversifie fréquemment son action vers des activités non prévues, pour des incidences peu prévisibles : face à cela, nous ajouterons la notion d’effets périphériques. Le cœur de l’affectation reste ce qui a été imaginé dans le cahier des charges convenu entre l’organisation d’envoi et le partenaire, mais il existe une activité et des effets périphériques, non prévus, qu’il est indispensable de considérer dans l’analyse des effets. 3.2. La démarche proposée Nous proposons une démarche simplifiée de cartographie des incidences, révisée de façon à mieux prendre en compte les effets imprévus et adaptée de façon à considérer les niveaux « affectation » et « séquence d’affectations ». Nous présentons ici la démarche pas à pas, en présentant pour chaque étape les parties à mobiliser, la durée prévue de l’exercice, les produits attendus. Les échanges se feront de préférence en présentiel mais peuvent aussi se faire à distance, si les partenaires se connaissent déjà suffisamment.

37

3.2.1. Etape n° 1 : rencontre de préparation de l’affectation Quand ? En amont de l’affectation Quoi ? Préciser la théorie du changement dans laquelle s’inscrit l’affectation puis

construire un premier cahier des charges de l’affectation envisagée Qui? La coordination locale et le partenaire. Durée 2 à 3 Hrs Produits des éléments intégrés dans la demande d’affectation Tâche 1.1. Préciser la théorie du changement dans laquelle s’inscrit l’affectation, donc l’impact escompté à terme Il s’agit d’abord de préciser la façon dont l’impact est envisagé, à partir d’une théorie du changement explicite. Pour ceux qui souhaiteraient s’y référer, ceci correspond aux étapes 0, 1, 2 du stade 1 de la cartographie des incidences.

Eirene et son partenaire se poseront ensemble la question : quelle est la théorie du changement du partenaire ? Cette question peut être « traduite par » : par quel processus le partenaire pense-t-il que son action peut transformer la société, à une certaine échelle (qui peut être globale ou locale) ? Nombre de partenaires peuvent fournir des réponses très claires à cette question : mais si ce n’est pas le cas et surtout si la relation de partenariat est nouvelle, on pourra reprendre le cheminement suivant (ce qui prendra alors plus de temps) :

- Comprendre la raison d’être de l’organisation : qu’est-ce qui a déterminé la création de l’organisation partenaire ? Elle a été créée par qui et pour quoi faire ? Y-a-t-il eu, depuis, des inflexions majeures ?

- Expliciter la vision du partenaire : dans le contexte actuel, comment le partenaire voit-il un « mieux-être » là où il agit, qu’est-ce qu’il y aurait en plus, qu’est-ce qu’il y aurait en moins, qu’est-ce qui serait différent ?

- Expliciter sa « théorie du changement » : (a). Quels sont les freins et facteurs de blocages qui empêche ceci de se réaliser, les opportunités éventuelles qui pourraient favoriser sa réalisation ? (b). Sur lesquels de ces freins, blocages, opportunités le partenaire entend-il agir pour stimuler un changement ? (c). A partir de là, comment pourrait se produire le changement, quels pourraient être les « chemins du changement » ?

On pourra éventuellement ouvrir un débat sur cette théorie du changement, pour inciter le partenaire à la préciser si nécessaire, voire à la modifier si elle ne semble pas réaliste, mais on doit la respecter comme étant celle dans laquelle s’inscrit la CEP. Eirene et son partenaire se poseront ensemble la question : comment l’affectation proposée d’une part, la séquence d’affectations dans laquelle elle s’inscrit d’autre part, peuvent-elle apporter une contribution au processus de transformation sociale tel qu’il est envisagé dans cette théorie du changement ? Tâche 1.2. Etablissement du cahier des charges de l’affectation, version de base Pour ceux qui souhaiteraient s’y référer, ceci correspond aux étapes 3, 4, 6 et 7 du stade 1 de la cartographie des incidences.

Eirene et son partenaire se poseront ensemble la question : Avec quels acteurs (partenaires limitrophes) le volontaire va-t-il travailler pour produire une contribution aux changements envisagés ? Ces acteurs sont définis par Eirene et son partenaire, à partir d’une question : qui sont les acteurs clés du changement envisagé ? On se posera ensuite ensemble les questions suivantes : quelles sont les ressources clés dont ils doivent

38

disposer ? Quelles incidences sont visées auprès de chacun d’entre eux et comment imagine-t-on obtenir ces incidences ? En conséquence, quelles activités le volontaire va-t-il mettre en œuvre : on fixera ici des objectifs de réalisation. On établira, sur cette base, le cahier des charges de l’affectation (qui pourra comprendre un cadre logique, mais cela ne nous semble pas forcément utile, il peut être très simplifié). 3.2.2. Etape n°2: rencontre d’ajustement du cahier des charges et de définition d’indicateurs Quand ? Après un temps de d’immersion, 1 à 3 mois après le début de l’affectation Quoi ? Ajustement du cahier des charges de l’affectation et d’indicateurs d’effets Qui ? Le partenaire et le volontaire. Validation par la coordination Durée 2 Hrs, précédées d’un réflexion personnelle de chacune des parties Produits Cahier des charges révisé de l’affectation Pour ceux qui voudraient s’y référer, on reprend ici les étapes 3, 4, 6 et 7 du stade 1 de la cartographie des incidences et l’on introduit l’étape 5. Le volontaire et le partenaire prendront un temps de questionnement et de construction commune, à partir des questions :

Du point de vue du volontaire : compte tenu de ce que j’observe et comprends de la situation locale, de l’action du partenaire, du fonctionnement de l’équipe et de ce que je pense pouvoir partager avec l’équipe de travail et les partenaires limitrophes…,

Du point de vue du partenaire : compte tenu des premières interactions entre l’équipe et le volontaire, de ce que j’observe de ce que tu (le volontaire) sais faire, peut faire et préfère faire…,

…en quoi faut-il réviser le cahier des charges en termes de partenaires limitrophes, incidences visées, stratégies pour les obtenir, activités à réaliser ?

En quoi l’affectation pourrait-elle jouer un rôle de catalyseur de certains changements inscrits dans la théorie du changement du partenaire ? Quels marqueurs de progrès peut-on définir ensemble pour suivre l’obtention des incidences visées ? Par quels moyens pourra-t-on tenter de suivre d’éventuels effets imprévus (qualifiés ici d’effets périphériques) ?

Ce temps de rencontre doit être l’aboutissement des réflexions personnelles des uns et des autres et d’échanges informels. La coordination peut y participer si le partenaire ou le volontaire le demande, mais sinon, elle intervient pour valider la proposition de cahier des charges révisé de l’affectation, après avoir demandé des précisions s’il y a lieu. 3.2.3. Etape n°3 : tenue d’un journal des incidences et suivi des indicateurs Quand ? Pendant l’affectation Quoi ? Tenue d’un journal des incidences (visées ou non), suivi des marqueurs de

progrès et d’éventuels effets périphériques Qui? Le volontaire Durée Variable, selon la durée de l’affectation et l’intérêt du volontaire Produits Synthèse des incidences observées et du suivi des indicateurs, produite par le

volontaire et jointe au « journal du partenariat » Tâche 3.1. Tenue du journal des incidences

Le volontaire est invité à tenir un journal dans lequel il note ce qu’il pense être des effets de son action, prévus ou imprévus, d’une façon très libre, qui peut être plutôt narrative ou

39

basée sur des éléments objectivement vérifiables. Parmi ces effets figurent des incidences visées : en ce qui les concerne et s’ils se révèlent pertinents, il suit les marqueurs de progrès définis au préalable. On précisera au volontaire qu’il est libre de réaliser ce travail comme il le souhaite, soit sous la forme d’un journal alimenté régulièrement, soit en prenant un temps de recul tous les semestres ou à l’occasion de la rédaction de son rapport annuel. L’important est qu’il le fasse, ce qui suppose qu’il saisisse l’intérêt d’un suivi des effets de son action : le siège d’Eirene et la coordination locale ont un rôle à jouer à ce niveau. Tâche 3.2. Synthèse des activités réalisées, des incidences perçues et des indicateurs, en fin d’affectation Le volontaire construit une synthèse de son journal des incidences qui constitue une partie importante de son bilan intermédiaire ou final d’affectation (qui présente aussi le réalisé), dans laquelle il distingue :

(a). Les incidences visées et le suivi des marqueurs de progrès d’une part,

(b). Les effets périphériques et le suivi d’indicateurs qu’il aura choisi pour attester de ces effets d’autre part.

La synthèse se termine par des éléments portant sur :

(c). Des éléments clés à considérer pour la consolidation et l’exploitation des incidences obtenues,

(d). Des opportunités et des risques à considérer pour une bonne articulation entre son affectation et les suivantes (prévues ou non).

Cette synthèse sera jointe au journal du partenariat. Le journal du partenariat est un document de dialogue entre chaque volontaire, Eirene et son partenaire, qui sert à suivre les incidences et effets périphériques liés à chaque affectation et à une séquence d’affectations, de façon à suivre des incidences et effets périphériques cumulés et à gérer les enjeux de consolidation et d’exploitation des effets de chaque affectation, en aval de l’affectation. 3.2.4. Etape n°4 : Atelier-bilan de fin d’affectation, analyse des incidences, de leur obtention (regard vers l’arrière), de leur consolidation(regard vers l’avant) Quand ? En fin d’affectation Quoi ? Inventaire des incidences (visées ou non), analyse de la façon dont elles ont

été obtenue (regarder en arrière) et de la façon dont elles pourraient être consolidées et exploitées (regarder vers l’avant)

Qui? Le volontaire, le partenaire (niveau décisionnel + contrepartie du volontaire), un ou deux représentants des bénéficiaires, la coordination.

Durée 2 Hrs 30 avec tous les participants + 1 Hr à 1 Hrs 30 avec seulement le volontaire, le partenaire et la coordination.

Produits Rapport d’identification des effets (tâche 4.1.), d’auto-évaluation de l’affectation et de consolidation des incidences (tâche 4.2., présentée sous la forme de constats et recommandations), le tout compris entre 3 à 5 pages, joint au journal du partenariat.

Cet atelier doit être un moment privilégié d’échange, d’auto-évaluation et de projection dans la suite du partenariat. Nous proposons deux étapes avec certains éléments optionnels : on

40

pourra par exemple choisir de réaliser le story telling ou de passer directement au brainstorming sur les effets significatifs, selon les situations. Tâche 4.1. Atelier-bilan des incidences et des effets périphériques obtenus Cet atelier réunit le volontaire, le partenaire (niveau décisionnel + homologue du volontaire), un ou deux représentants des bénéficiaires, la coordination. Il est animé par la coordination et se déroule comme suit :

Témoignages (45 mn) : récits d’histoires de changements / story telling. La façon dont ceci est présenté est déterminante quant à l’intérêt des récits qui seront proposés : il est donc important d’y prêter une grande attention. Chacun, à tour de rôle est invité à raconter l’histoire d’un changement lié directement ou indirectement à la présence du volontaire (il peut être lié à une activité particulière, à des échanges ou à sa simple présence), qu’il juge significatif (c’est à dire qu’il pourrait avoir des conséquences importantes pour le bien-être d’individus ou de groupes, le respect de droits des personnes ou encore le milieu naturel). Chacun note sur un post-it, à l’issue de 5 minutes de réflexions individuelles ou en binôme, le titre qu’il donne à l’histoire de changement qu’il veut raconter : les post-it sont affichés et chacun dispose de 5 minutes pour développer son récit.

Elargissement, inventaire (40 mn) : brainstorming sur les effets de l’affectation, directs ou indirects, visés ou imprévus, positifs ou négatifs. Chacun est invité à citer d’autres changements qui n’auraient pas encore été cités : l’animateur leur donne un titre en accord avec celui qui les énonce, écrit chaque titre sur un post-it et regroupe les post-it par catégories, au fur et à mesure que les post-it sont posés. Une catégorisation des effets apparaît.

Hiérarchisation (20 mn) : parmi les changements cités, on fait ressortir ceux qui semblent les plus importants aux yeux des participants (3 au minimum, 5 au maximum), que l’on met à part.

Consolidation (30 mn) : on ne travaille ici que sur les changements les plus importants qui sont ressortis (entre 3 et 5), pour réfléchir ensemble à la façon dont ils devraient et pourraient être consolidés (ou éliminés s’il s’agit de changements négatifs) et exploités au mieux.

Discussion libre / pause (15 mn) L’introduction de la notion d’effets périphériques est une modulation importante par rapport à la cartographie des incidences : il s’agit ici de tenir compte du fait que nombre d’effets de la CEP sont peu prévisibles, ce que la cartographie des incidences prend insuffisamment en compte. Par ailleurs et à la suite de la « méthode UNV » et du Most Significative Change, nous proposons ici de repartir des effets constatés plutôt que des activités réalisées et/ou des effets escomptés, ce qui est très important pour tenir compte de la large gamme des effets imprévus. Tâche 4.2. Evaluation de l’affectation et projection dans une séquence d’affectations Ce temps d’échange ne réunit plus que la volontaire, la coordination et le partenaire (niveau décisionnel avant tout) Première séquence (30 à 45 mn) :on commencera par un regard rétrospectif sur la façon dont les incidences ont été obtenues, les freins, les facteurs déterminants quant aux succès et échecs observés, ce qui s’est bien passé et ce qui s’est mal passé dans l’affectation et son articulation avec les précédentes, pour en tirer des leçons. Seconde séquence (30 à 45 mn) :il s’agit de se projeter dans une séquence d’affectations et dans le futur du partenariat. Comment peut-on consolider et exploiter au mieux ce qui a

41

été obtenu, quelles affectations futures pourraient jouer un rôle complémentaire et/ou de prolongation/consolidation ? 3.2.5. Etape n°5 : rencontre de bilan intermédiaire de la CEP avec le partenaire et analyse des effets des séquences d’affectations Quand ? Tous les quatre ans, en phase avec le plan quadriennal (avec éventuellement

un point à mi-parcours si les parties en ressentent le besoin), Quoi ? Reprise du journal des incidences, analyse des effets du partenariat, analyse

des effets des séquences d’affectations Qui ? Le partenaire et la coordination, Durée 2 à 3 Hrs Produit Une synthèse ajoutée au journal du partenariat et qui alimentera la

construction du programme du prochain plan quadriennal Tâche 5.1. Agréger les effets, analyser leur durabilité, en tirer des leçons On commencera par faire le point de l’évolution du contexte et du partenaire : que s’est-il passé depuis quatre ans ? On se penchera sur la trajectoire de l’organisation, les éventuels points d’inflexion, les évolutions majeures du contexte, ce que l’organisation a gagné (identité, capacités, légitimité), ce qu’elle a perdu. On situera les affectations dans cette trajectoire .Il s’agit ensuite, à partir du journal du partenariat, de :

Inventorier l’ensemble des effets obtenus, issus des affectations mises en œuvre durant les quatre années, faire ressortir les catégories d’effets et les effets hiérarchisés comme étant les plus importants. Ceci sera relativement simple à réaliser à partir du journal du partenariat et peut être préparé par la coordination.

Distinguer trois types d’effets : les effets consolidés, intégrés dans les routines de fonctionnement de partenaires limitrophes, ceux qu’il reste à consolider, ceux qui ont été obtenus puis perdus.

En tirer des leçons quant à la séquence des affectations

Ouvrir un temps de discussion spécifique sur les échecs, opportunités non exploitées, effets entrevus mais non obtenus et leurs déterminants : quelles leçons en tirer pour la CEP dans le cadre de ce partenariat et plus généralement ?

Tâche 5.2. Approche de l’impact et projection à quatre ans Les deux partenaires se poseront ensemble les questions suivantes

A-t-on progressé (et dans quelle mesure) vers un impact tel qu’il était envisagé dans la théorie du changement énoncée par le partenaire d’une part, énoncée avec le partenaire en ce qui concerne la contribution de la CEP d’autre part ? (revenir à la tâche 1.1.)

La théorie et les hypothèses de changement restent-ils pertinents compte tenu de l’évolution du contexte. Faut-il les modifier ?

Comment envisager les quatre années à venir ? 3.3. Une démarche à situer dans un processus allant de chaque terrain à l’ensemble de l’action de l’organisation d’envoi La démarche proposée repose sur un aller-retour entre les niveaux « affectation » et

« partenariat / séquence d’affectations » (cf. Tableau 8) : sur cette base sera envisagée une

« simple » agglomération des effets aux niveaux qui dépassent l’échelle des partenariats.

42

Niveau affectation Niveau partenariat / séquence d’affectations

Temps Qui ?

Etape n° 1, en amont de l’affectation : rencontre de préparation de l’affectation

Tâche 1.1. Préciser la théorie du changement dans laquelle s’inscrit l’affectation, donc l’impact escompté

2 Hrs en amont de l’affectation Partenaire Coordination

Tâche 1.2. Etablissement du cahier des charges de l’affectation, version de base

Etape n°2 / tâche n°2 : après un temps de d’immersion, entre 1 et 3 mois après le début de l’affectation, rencontre d’ajustement du cahier des charges

Tâche n°2 : Ajustement du cahier des charges et définition de marqueurs de progrès et d’indicateurs d’effets induits

2 Hrs au début de l’affectation, après immersion Volontaire Partenaire

Etape n°3 : Pendant l’affectation : tenue d’un journal des incidences (visées ou non visées), suivi des marqueurs de progrès et d’éventuels effets périphériques

Tâche 3.1. Tenue du journal des incidences

Au fil du temps Volontaire

Tâche 3.2. Synthèse des activités réalisées, des incidences perçues et des indicateurs, en fin d’affectation

Tâche 3.2. Synthèse des activités réalisées, des incidences perçues et des indicateurs, en fin d’affectation (à joindre au journal du partenariat)

Etape n°4 : inventaire des incidences (visées ou non), analyse de la façon dont elles ont été obtenue (regarder en arrière) et de la façon dont elles pourraient être consolidées et exploitées (regarder vers l’avant).

Tâche 4.1. Atelier-bilan des incidences et des effets périphériques obtenus (2 Hrs 30)

Une demi journée Volontaire Partenaire Bénéficiaire Coordination

Tâche 4.2. Evaluation de l’affectation et projection dans une séquence d’affectations

Etape n°5 : rencontre de « bilan CEP » intermédiaire. Tous les quatre ans, en phase avec le plan quadriennal

Tâche 5.1. Agréger les effets, analyser leur durabilité, en tirer des leçons

2 à 3 Hrs Partenaire Coordination Tâche 5.2. Approche de l’impact et

projection à quatre ans

Tableau 8 : démarche de suivi et d’évaluation des effets et d’approche de l’impact

Pour une organisation de petite taille comme Eirene, il est inutile de tenter d’identifier les effets d’un programme à une échelle pays, voire supérieure, faute de disposer d’un nombre d’affectations suffisant. D’autres organisations d’envoi, dont les coopérants sont plus nombreux et sont concentrés par exemple dans une région du Nicaragua et sur une même thématique générale peuvent le faire : ce n’est pas le cas d’Eirene. Le travail d’agglomération (addition) des effets à un niveau supérieur, par programme et pour l’ensemble d’Eirene, sera fait respectivement par la coordination et par le siège à partir des documents issus de la démarche proposée, ce qui alimentera notamment le rapport annuel.

43

Ceci alimentera également l’exercice de planification quadriennale : en prévision de cet exercice, les coordinations locales rédigeront chacune une synthèse des ateliers de bilan-CEP réalisés avec chaque partenaire. Les trois synthèses alimenteront un travail d’auto-évaluation réalisé de préférence à l’occasion d’une rencontre de planification associant l’équipe du siège, le bureau de l’association et les coordinations locales. 3.4. Une modulation possible : placer l’atelier-bilan des incidences au niveau « partenariat » Une alternative au scénario proposé consiste à placer le temps fort d’analyse conjointe des incidences et des effets périphériques non plus à l’échelle des affectations mais à l’échelle du partenariat : la tâche 4.1. sera alors transférée dans l’étape n°5, avec un atelier bilan réalisé sans volontaire mais animé par la coordination, avec le partenaire et des représentants des bénéficiaires. Ceci aurait certains avantages :

Donner plus de recul sur les effets cumulés de séquences d’affectation

En l’absence du volontaire, il est plus facile de sortir d’une ambiance de consensus mou et de congratulation mutuelle liée à la situation (le volontaire va partir, l’heure n’est pas à l’analyse critique)

Les volontaires auront apporté leur contribution et leur vision des choses via la tâche 3.2. : la synthèse que chacun aura produit (Synthèse des activités réalisées, des incidences perçues et des indicateurs en fin d’affectation) aura été discutée entre la coordination, le partenaire et lui-même dans le cadre de la tâche 4.2. : ceci pallierait partiellement à l’absence des volontaires lors de l’atelier-bilan des incidences.

Dans une région d’intervention (en choisissant de préférence celle où il y a le plus de volontaires) les ateliers-bilans des incidences pourraient être réalisés dans le cadre de l’analyse institutionnelle quadriennale, qui deviendrait alors (comme le recommande la dernière évaluation d’Unité) un temps fort d’évaluation des effets et d’approche de l’impact. Le consultant chargé de l’analyse institutionnelle pourrait alors animer ces ateliers-bilans à sa façon, ce qui soulagerait la coordination locale.

Un inconvénient est le risque de manquer d’acteurs disposant d’un recul sur l’ensemble des quatre dernières années, en cas de turn over important.

44

Conclusion Nous avons ici énoncé des éléments de base à considérer pour la construction d’une démarche puis avons proposé une démarche d’évaluation des effets et d’approche de l’impact : ce n’est qu’une base de travail et nous voulons ici insister sur trois conditions sine qua non de la mise en place d’une démarche (celle-ci, plus ou moins révisée, ou une autre) :

Il est certain que cette démarche n’a aucune chance d’être mise en œuvre si elle n’est pas retravaillée collectivement au sein d’Eirene, si possible avec l’appui d’un facilitateur. C’est une opération à prévoir au début du prochain quadriennal.

Compte tenu du rôle clé qui leur revient dans la mise en œuvre de ces outils, les coordinations locales doivent impérativement être associées à ce travail : la mise en œuvre d’un outil, quel qu’il soit, n’est envisageable que si les coordinations locales se l’approprient, ce qui suppose qu’elles soient associées à sa mise au point.

Les coordinations locales doivent être suffisamment solides et disponibles pour gérer ce dispositif à leur échelle : il n’est pas sûr que toutes le soient suffisamment aujourd’hui. Eirene Suisse devra être vigilant pour créer des conditions telles que toutes aient la capacité et la volonté d’y investir un temps suffisant (la démarche a été conçue pour que le temps nécessaire ne soit pas excessif).

Nous avons attaché beaucoup d’attention à l’identification des effets, car leur qualification est très importante pour guider la conception de l’outil de suivi-évaluation qui pourra être mise en œuvre. Pour ce qui est de l’outil proposé, nous insistons sur le fait que nous avons posé des bases (à quel niveau faire porter l’analyse notamment), mais qu’un travail de construction collective est incontournable si l’on veut aboutir à un outil approprié, et utilisé.

45

BIBLIOGRAPHIE (hors documents d’Eirene Suisse) Oettli E., Locher U., 2016, Evaluation d’Unité 2015 / 2016, Beringen / Zürich, février 2016. FADCANIC (2016) Sistematizacion de experiencias 2013-2015 delproyectocentro de educaciontecnicaambiental y agroforestal (CETAA) de Wawashang, RAAS FADCANIC (2016) Sistematizacion de experiencias 2013-2015 delprogramaProfesionalizacion de Maestras y Maestrosemiricos(as) de la RACS – Fase V. Lecocq C., 2015, evaluacion de impacto de las acciones desarrolladas en el marco del plan estrategico 2010-2015, ODESAR, Matagalpa, 155p. Earl S., Carden F., Smutylo T., La cartographie des incidences : intégrer l’apprentissage et la réflexion dans les programmes de développement, site internet consulté le 23/04/2016 : https://idl-bnc.idrc.ca/dspace/bitstream/10625/32195/1/118176_f.pdf

46

ANNEXES Annexe n°1 : Personnes rencontrées et activités réalisées En amont de la mission de terrain

Date Activité réalisée Participants 13/07 2015

Briefing, discussion des TDR, Mariana Groba Béatrice Faidutti Martin Schreiber (Unité)

11/11 2015

Entretien préparatoire en amont d’une mission « desk » en Amérique Centrale

Béatrice Faidutti

10/12 2015

Entretien bureau d’Eirene à Genève, consultation de documents

Mariana Groba Béatrice Faidutti

13/12 2015

Entretien skype avec le coordonnateur Grands Lacs Jean-Pierre Kabirigi

11/02 2016

Discussion sur la base du document élaboré en amont (mesure des effets et hypothèses de changement)

Edith KoloFavoreu

11/02 2016

Rencontre avec le coordonnateur Haïti Pierre Faubert Lubin

Mission sur le terrain, du 10 au 24 avril 2016

Date Lieux / Activités / Participants 10/04 Arrivée à San Salvador Lundi 11/04

San Salvador / Guarjila Matin : entrevues au bureau de Los Angelitos, San Salvador, avec Paco Kleutgens (Coordinateur), puis avec Wilfredo, (Responsable du secteur Education). Après midi : voyage à Guarjila. Entrevue avec Felix, éducateur et contre-partie de Jean-Marc Varidel.

Mardi 12/04

Guarjila Entrevue avec Jean-Marc Varidel (coopérant Eirene Suisse en affectation de courte durée depuis le 1er janvier 2016). Entrevues avec deux promoteures de Guarjila : Sonia, Rosibel et Dina Entrevues avec Iliana et Jeannette, physiothérapeutes et contreparties de Carole Bucella, en affectation de longue durée

Mercredi 13/04

San Salvador Retour à San Salvador Entrevues à UNES avec Cecilia Olivares et Nidia Hidalgo Entrevue avec Giulia Boo, cooperante de Eirene Suisse en affectation de courtedurée, depuis le 01/03/2016.

Jeudi 14/04

San Salvador Suite des entretiens à UNES et visite de terrain à PalmeraGuarita. Transfert à l’aéroport et voyage à Managua, Nicaragua

Vendredi 15/04

Managua Matin : réunion au bureau d’Eirene Suisse, avec Mila Incer (Coordinatrice locale), puis Federico Coppens (coordonnateur de Comundo). Entretien avec Ray Hooker, président-fondateur de FADCANIC Après-midi : entretien avec le coordonnateur d’Interteam, puis entrevue avec EdinKobilic, à propos de la capitalisation du projet de muralisme (sobre sistematizaciónproyectomuralismo en la Costa Caribe)

47

Samedi 16/04

Managua Entretiens avec Silver Borges, coordonnateur du programme innovations de FADCANIC. Entretien avec Tatiana, economista en FADCANIC, programa Agroforestal Sostenible para la reduccion de emisiones y deforestacion en Centroamerica.

Dimanche 17/04

Bluefields Voyage de Managua à Bluefields Entretien avec Stéphane Charmillot, volontaire en affectation de longue durée à FADCANIC

Lundi 18/04

Bluefields Entrevue avec Hazel Wilson (en affectation Sud Nord auparavant) et d’autres membres de l’équipe de FADCANIC : entretiens avec Katherine Flores, ingénieur en transformation alimentaire et contrepartie de Stéphane Charmillot, NoemaJoya, programme innovation, Grete, responsable administratif et financier à Bluefiels, Grace, chargée du suivi évaluation de programme éducation.

Mardi 19/04

Wawashang Voyage Bluefields / Wawashang. Entrevues avec les coopérants puis leurs contre-parties : Jean Pascal Herrera et EfrainBrenes ; Stéphane Charmillot puis et sa contrepartie, Hernan. Entretien avec Rodolfo Canales, responsable de l’agenda de l’innovation. Visite du centre de formation et des infrastructures d’approvisionnement et de gestion de l’eau mises en place.

Mercredi 20/04

Wawashang Visite de l’atelier de menuiserie, de l’atelier de transformation et discussion avec l’équipe, visite de la réserve naturelle de Khaka Creek et discussion et l’équipe.

Jeudi 21/04

Bluefields Retour deWawashang à Bluefields, puis à Managua. Transfert à Matagalpa

Vendredi 22/04

Matagalpa Entrevues à ODESAR avec Marcia Aviles (Directrice), Javier Mendoza (Responsable infrastructures, contrepartie des derniers coopérants) et Jamileth. Visite de terrain dans des quartiers périphériques de Matagalpa et entrevues avec des familles bénéficiaires du programme d’ODESAR, là où ont travaillé d’ancien volontaires suisses (Diego Prieto, David Steiger puis Matteo Campiche, en service civique en 2015-2016.

Samedi 23/04

Managua Voyage retour Matagalpa-Managua

Dimanche 24/04

Retour en Europe (14 Hrs 49, KL 3024).

En aval de la mission de terrain

Date Activité réalisée Participants 27/04 2016

Debriefing de la mission et question complémentaires Béatrice Faidutti

29/04

Entretien avec membre de la commission projets d’Eirene, à propos du positionnement de cette commission

Patrick Matthey

04/05 Entretien avec Carole Buccella en échange Sud Nord lors de la mission

Carole Buccella

48

Annexe n° 2 : enquête sur les effets et l’impact auprès d’anciens volontaires GVOM-Eirene en Amérique Centrale Texte de présentation de l’enquête auprès des anciens volontaires Eirene Suisse, fruit de la fusion d’Eirene et de GVOM, m’a demandé une aide pour la mise au point d’un outil d’évaluation des effets de l’affectation de volontaires auprès des organisations partenaires. Pour cela, il nous semble nécessaire de revenir sur ce que les missions de volontariat ont produit, au cours du temps, et la façon dont les anciens volontaires ont vu (et voient aujourd’hui, avec un peu de recul), les résultats et effets de leur mission. Je me permets donc de vous solliciter pour apporter votre témoignage par le biais d’une enquête rapide. Vous faites en effet partie des anciens volontaires de l’une de ces deux organisations et avez réalisé dans le passé une mission en Amérique Centrale : vos analyses et ressentis seraient pour nous un apport précieux. Même lorsque la mission a été réalisée il y a longtemps, vos ressentis, à ce sujet, nous intéressent. Il vous suffit pour cela de répondre aux quatre questions suivantes, en développant plus ou moins votre propos selon votre disponibilité et votre envie :

1. Le contenu effectif de votre mission sur place :

a. Quelle mission vous était proposée ? b. Une fois sur place, dans quels domaines avez-vous appuyé l’organisation

locale et ses actions ? c. Avez-vous formé une/des personne(s) pour assurer un transfert de

compétences ?

2. Les effets de votre mission : que voyez-vous (avec le recul que vous avez aujourd’hui), comme effets de votre mission (que ce soit pour vous des certitudes ou des ressentis) :

a. D’abord sur l’organisation locale, votre mission a-t-elle changé quelque chose dans cette organisation ?

b. Pour d’autres organisations locales ensuite, votre mission a-t-elle provoqué ou stimulé des changements ?

c. Pour la population bénéficiaire de l’action menée par l’organisation partenaire enfin, votre mission a-t-elle eu des effets directs ou indirects ?

d. Sur vous-même ?

3. Quel est, pour vous, le changement le plus significatif (autre que sur vous-même) induit par votre mission, celui dont vous avez envie de nous parler un peu plus ? Pouvez-vous nous en dire plus…

4. Enfin, quels étaient, lorsque vous étiez sur place, les points forts et points faibles principaux de l’organisation partenaire, selon vous ?

49

Annexe n°3 : Etat des lieux des outils et méthodes employés pour l’évaluation des effets et de l’impact de la Coopération par l’Echange de Personnes Alan BEURET, mars 2016 Liste des abréviations AVI :Australian Volunteers International AVID :Australian Volunteers for International Development CEP : Coopération par l’Echange de Personnes FSE : Fond Social Européen GCP : Gestion du Cycle de Projet GDI :German Development Institute IVCO: International Volunteer Cooperation Organizations IVIS :International Volunteering Impacts Survey MAC :Matabeleland AIDS Council (MAC) MAPP :Method for Impact Assessment of Programme and Projects (MAPP) MSC : Most Significant Change OMD : Objectifs du Millénaire pour le Développement ONG : Organisation Non Gouvernementale PREFAR : Presidential Emergency Plan for AIDS Relief (PREFAR) SI :SkillShare International S&E :Suivi et Evaluation SoC :Stories of Change ToC :Theory of Change SWOT : Strength Weakness Opportunities and Threats UNV : United Nations Volunteers

1. Outils méthodologiques de base 1.1. Collecte de données 1.1.1. Triangulation

Il s’agit d’un outil de base utilisé dans la quasi-totalité des systèmes de suivi-évaluation

envisagés ci-dessous. Le principe étant, dans la collecte de données quantitatives, mais surtout qualitatives, de multiplier les sources de vérification afin d’améliorer la fiabilité des résultats. Dans une situation de S&E de la CEP, il s’agira principalement de prendre l’information de quatre sources distinctes quant à la contribution du volontaire : le volontaire lui-même, la coordination nationale, le partenaire et, le cas échéant, les groupes cibles. 1.1.2. Ateliers et entretiens semi-structurés Dans la majeure partie des cas, le S&E se fait à travers la collecte de données qualitatives. Les deux méthodes principales de collecte de données sont des ateliers collectifs ou des entretiens individuels semi-structurés. Les ateliers peuvent prendre différentes formes allant de la réunion tripartite simple à des ateliers structurés avec des nombreux participants et animés par des professionnels. De même, les entretiens vont d’une discussion presque informelle à des méthodes d’entretien très cadrées avec guide d’entretien et analyse de discours.

50

1.2. Modèles d’impact et d’analyse 1.2.1. Le modèle du Cadre Logique et ResultFrameworks, et son application au renforcement des capacités

Issu de la Gestion de Cycle de Projet (GCP), le modèle du cadre logique est le modèle

d’impact le plus répandu dans le secteur du développement. Il s’appuie sur deux notions fondamentales, que sont une chaîne de causalité et le cadre lui-même. Il s’agit d’une représentation linéaire et temporelle qui suppose que l’impact est le résultat logique d’une chaîne de causalité.3

Un fois ce principe établi, on construit le cadre lui-même qui entend mesurer ces

différentes étapes de la chaîne de causalité à travers des indicateurs devant être le plus objectifs et fiables possibles. Les modèles de cadre sont nombreux et peuvent être appelés selon leur complexité et si on ajoute des niveaux d’analyse, ResultFrameworks.4

Dans le cadre spécifique du suivi-évaluation du renforcement des capacités, on ajoute

parfois une étape à la chaîne de causalité (figure 3). En effet, on s’intéresse non seulement aux effets, mais également à la manière dont ceux-ci sont mobilisés par le partenaire/individu renforcé pour parvenir à un impact.5

Commentaire : le principal atout du cadre logique est d’être compris de tous. Nous lui préfèrerons d’autres modèles comme celui de la cartographie des incidences dans le cas de la CEP, surtout si l’on vient complexifier des cadres déjà peu lisibles. Malgré tout, s’intéresser à l’exploitation des effets, par le partenaire, n’est pas inintéressant. 1.2.2. Modèle du CapacityDevelopment Il ne s’agit pas ici à proprement parler, ou en tout cas pas seulement, d’un modèle d’impact. Toutefois, il apporte une contribution essentielle quant aux cibles potentielles de l’intervention et donc de l’analyse d’impact6. De plus, en établissant justement une chaîne de causalité entre plusieurs niveaux d’impact, il s’apparente déjà à un modèle. Ainsi, le CapacityDevelopment identifie quatre niveaux d’impact pour une intervention de renforcement des capacités que sont :

Processus d’apprentissage individuels

Processus d’apprentissage organisationnels et de développement organisationnel

Processus de création et de développement de réseaux

3 Commission Européenne, Manuel de Gestion du Cycle de Projet, mars 2001. 4EGLI W.,,L’efficacité et l’évaluation d’impact dans la coopération par l’échange de personnes, étude pour UNITE, Novembre 2010. 5Ibd. 6Ibd.

Activités Résultats Effets Impact

Effets Impact Outcomesexpotation

51

Processus de développement institutionnel ou du système7

Ainsi, un suivi-évaluation d’impact s’intéressera à l’ensemble de ces processus et à leurs interactions afin d’identifier l’impact d’une intervention qui peut agir à travers l’ensemble de ces processus.8 Il s’agit, avec le cadre logique, des deux grands modèles de base utilisés directement ou indirectement dans l’ensemble des systèmes analysés ici. 1.2.3. Modèle de Cartographie des Incidences Plus récent, ce modèle entend dépasser les limites et critiques qui ont été faites au cadre logique. Non plus un cadre, mais un graphique, ce modèle introduit de nouveaux concepts et une nouvelle perspective. L’avantage majeur pour le suivi-évaluation d’impact d’une affectation de volontaire est que le modèle est centré sur l’identification d’incidences de l’intervention, principalement dans les changements de comportement, relations ou agissements des acteurs et partenaires. Notons toutefois que le modèle parle d’incidence et se refuse à parler d’impact, pour éviter les enjeux complexes d’imputabilité (attribution) et de temporalité (quand mesurer ?) de la notion d’impact.9

On est centré ici sur l’agent de changement qui peut être le volontaire ou l’organisation10. Il se réunit avec les partenaires pour définir une vision commune. En parallèle ou en fonction de cette vision, l’agent changement a une mission qui lui est propre. Pour agir, il doit

7Désigne ici les processus de fonctionnement en système des organisations et leurs procédures communes ainsi que le cadre institutionnel qui structure leurs activités 8Programme des Nations Unies pour le Développement (PNUD) Développement de capacités : un guide du PNUD, 13 Octobre 2009. 9EARL S., CARDEN F., SMUTYLO T., La cartographie des incidences Intégrer l'apprentissage et la réflexion dans les programmes de développement, Centre de Recherche pour le Développement International, 2002. 10Egli, 2010, op. cit.

EGLI W.., 2010.

52

d’abord identifier des partenaires limitrophes qui influent sur la vision et sa réalisation. Dans un premier temps, l’agent doit définir des marqueurs de progrès, premier élément de suivi-évaluation de ce modèle. Il ne s’agit pas d’indicateurs, mais plutôt de marqueurs sur un temps long qui envisage le comportement attendu (que l’on pense rencontrer), puis souhaité (qui serait mieux) et, enfin, escompté (vers lequel on veut tendre). Pour atteindre ces objectifs, l’agent établit pour chaque partenaire limitrophe, un schéma stratégique définissant la stratégie à adopter pour entraîner un changement chez le partenaire. Elément original, le modèle s’intéresse également aux pratiques organisationnelles de l’agent, comme encadrant les différentes stratégies. Il s’agit ici d’encourager l’agent à réfléchir sur ses propres pratiques et leur influence sur sa propre efficacité dans la réalisation de sa mission11. En termes de suivi-évaluation, on utilise les marqueurs de progrès, mais également d’autre outils. Tout d’abord, et c’est important, le modèle préconise une définition claire et comprise de tous des éléments à évaluer ou à suivre. En fonction de cela, Les journaux (des incidences, des stratégies, du rendement) permettent de suivre un ensemble prédéfini d’éléments12. Commentaire : ce modèle nous paraît des plus pertinent si l’on considère le volontaire comme « agent de changement ». C’est un bon outil pour analyser les changements dans l’organisation et amener les acteurs à s’interroger sur leur stratégie. Il a cependant le désavantage d’être parfois compliqué à comprendre pour certains acteurs. 1.2.4. Modèle du Most Significant Change (MSC) Basé sur l’information qualitative qu’est la perception des acteurs, cet outil est utilisé dans de nombreux système de S&E dans la CEP13. Sa force réside principalement dans la rigueur avec laquelle cette perception est analysée. La première étape consiste à collecter, chez un nombre variable d’acteurs et avec des méthodes diverses (envoi de courriers ou d’email, ateliers, entretiens…) des « Stories of Change ». On sort de la logique par résultat qui guide la GCP ou la cartographie des incidences, pour se tourner d’abord vers la perception des acteurs. Ceux-ci sont invités à décrire les changements observés dans un cadre précis sous la forme d’un récit détaillé. Par la suite, cette matière première est compilée et analysée pour tirer des enseignements et déduire des effets ou impact aux niveaux supérieur par l’agrégation, d’abord des Stories of Change, et ensuite de leurs synthèses. Ce modèle se base sur la perception de changements pour revenir à l’action, plutôt que de suivre le chemin inverse. Commentaire : ludique, simple, ne demandant que peu de ressources, le MSC nous semble être est un bon outil dont on aurait tort de se priver. Malheureusement, la frontière entre véritable S&E et simple partage de belles histoires est parfois mince.

11Earl, Carden, Smutylo, 2002, op. cit. 12Ibd. 13Egli, 2010, op. cit.voiraussi SIBINDI M., Partnering with community volunteers to ensure sustainable development: A case presentation of Matabeleland AIDS Council, Bulawayo, Zimbabwe, Matabeleland AIDS Council (MAC), Intervention au Forum International du Volontariat pour le Développement, 24 Novembre 2008 ; United Nations Volunteers (UNV), Assessing the Contribution of Volunteering to Development: A Participatory Methodology, Handbook for UN Volunteers, Programme Officers and Managers, August 2011.

53

1.2.5. Analyse de Contribution « l’interprétation contradictoire de tous les indices confirmant ou réfutant les hypothèses causales de la logique d’une intervention »14. Elle implique donc, et c’est fondamental, que ces hypothèses causales, ainsi que les hypothèses de changement soient claires et transparentes15. Malgré tout, on reste ici dans la chaîne de causalité classique du cadre logique. Elle se développe en 6 étapes :

Circonscrire la question causale : déterminer les hypothèses de causalité qui fondent l’intervention.

Décrire le modèle explicatif : expliciter l’ensemble de la chaîne de causalité sur laquelle repose l’intervention et s’intéresser aux autres facteurs pouvant venir positivement ou négativement influencer les éléments de cette chaîne.

Recueillir et analyser les indices : rassembler les indices infirmant ou confirmant les hypothèses de causalité.

Rédiger un récit de contribution provisoire : développer une argumentation logique et structurée pour établir l’importance et l’existence des effets supposés.

Compléter et ré-analyser les indices : critiquer de manière systématique et contradictoire le récit provisoire pour tenter d’en identifier les failles. Collecter les données nécessaires pour améliorer la solidité du raisonnement et le compléter.

Finaliser le rapport de contribution : Avec les nouveaux éléments, établir un récit de contribution solide permettant de conclure sur les effets de la contribution.16

Le premier point qui nous paraît intéressant dans ce modèle est le vocabulaire. On parle

ici de « contribution » d’une intervention, sous-entendu, à un changement plus large. Ensuite, on teste des « hypothèses » avec des « indices ». Cette forme de prudence et d’humilité de l’analyse nous paraît pertinente pour réaliser une évaluation plus pragmatique et réaliste des effets de la CEP. Le modèle qui va suivre continue dans cette tendance mais allant jusqu’à inverser la chaîne de causalité classique issue du cadre logique. Commentaire : un modèle intéressant mais, malheureusement relativement complexe et plus adapté à une évaluation ponctuelle qu’à un système de S&E. De plus, son appropriation est difficile. 1.2.6. Method for Impact Assessment of Programme and Projects (MAPP) Développé en 1999 par le German Development Institute (GDI)17, cette méthode basée sur l’analyse de perception des acteurs renverse la perspective du cadre logique18. En effet, on s’intéresse d’abord aux changements globaux dans la zone cible ou le groupe cible du projet, avant de tenter d’en attribuer une partie au projet. Cette méthode permet une meilleure prise en compte à la fois de l’influence extérieur et des effets non-prévus (positifs ou négatifs) du projet. Les étapes d’analyse sont les suivantes :

14Euréval, L’analyse de contribution, fiche technique, 2009. 15EIRICH F., MORRISON A., Guide 6: Contribution Analysis, Social Sciences Methods Series, Scottish Government, May 2011. 16Euréval, 2009, op. cit. 17ZEWO Foundation, Method for Impact Assessment of Programmes and Projects (MAPP), in Outcomes and Impact

Assessment in International Development Zewo Guidelines for Projects and Programmes, Online resource, accessed on

March 15th 2016 http://impact.zewo.ch/en/impact/resources/mapp 18Egli, 2010, op. cit.

54

La ligne de vie (lifeline) : Analyser sur une période plus longue que le projet (commence avant, fini après) les grands changements et les tendances en matière de développement dans la zone ou dans la communauté cible.

Analyse de tendances : Matrice spécifique d’analyse des grandes tendances de développement identifiées par la courbe de vie. Des indicateurs sont établis pour chaque tendance. MAPP suggère d’établir 2 à 3 indicateurs pour des tendances générales telles que : modifications des conditions de vie, accès aux ressources, développement du savoir, participation axée sur les droits et le pouvoir. Une fois cela fait, chaque tendance peut être notée et évaluée.

Triangulation : Mise œuvre d’outils pratiques de triangulation des tendances observées.

Liste des interventions et des activités : On établit une liste de l’ensemble des interventions menées sur la zone par des partenaires, bailleurs ou ONGs. La contribution des bénéficiaires eux-mêmes est également établie en terme financier et de travail.

Matrice d’influence : Il s’agit d’évaluer l’influence de chaque intervention sur les grands indicateurs de développement construits plus hauts à travers les grandes tendances. Cela établit les liens de causalité intervention/changement. Ensuite, on fait la somme des passifs et des actifs. Les actifs montrent quelles interventions ont un impact sur le plus d’indicateurs de développement quand les passifs identifient les indicateurs de développement ayant peu performé.

Profil de développement et d’impact : Un graphique résume l’ensemble des résultats obtenus précédemment et permet de les interpréter. De plus, les acteurs principaux du changement sont isolés pour établir un profil de développement permettant d’évaluer la fragilité et la durabilité du développement.19 Il existe d’autres étapes mais qui sont moins pertinente pour l’évaluation de la CEP.

L’intérêt ici est le renversement de la perspective du cadre logique et l’accessibilité des outils développés par cette méthode qui sont mobilisables sans compétences particulières. Commentaire : cette démarche pose des questions d’attribution des changements à l’action du volontaire. Toutefois, ce modèle, simple à utiliser et comprendre (contrairement aux apparences), nous semble pertinent si l’on veut analyser les changements dans l’organisation et mesurer le degré d’attribution de ces changements aux actions du volontaire (cf. fin du document). 1.2.7. International Volunteer Impact Survey (IVIS) Il ne s’agit pas ici d’un outil de S&E en tant que tel, mais d’un instrument développé spécifiquement pour analyser l’impact de volontariats de 2 à 12 mois. Sa principale différence est d’ambitionner de mesurer les effets du volontariat international à travers des méthodes quantitatives20. Or presque aucun système de S&E de la CEP ne mobilise les données quantitatives. L’outil commence par identifier un ensemble d’hypothèses d’effet qui pourraient être communes à tous les volontariats internationaux. Il est intéressant de noter que la majeure partie du sondage s’intéresse à l’impact sur le volontaire et sur sa culture d’origine et moins sur le programme où il est affecté. On parle ainsi de compétences et connaissances acquises, trajectoire de vie, engagement civique, contacts sociaux internationaux, compétences interculturelles.21

19 ZEWO Foundation, op. cit. 20MOORE MCBRIDE A., SHERRADEN M. S., LOUGH B. (dir.), Measuring Volunteer Outcomes: Development of the International Volunteer Impacts Survey, Center for Social Development, 2009. 21Ibd.

55

A travers trente-quatre questions, ces différents aspects sont interrogés. Le IVIS a été testé de manière expérimentale à travers un échantillon de volontaire et un échantillon comparatif de personne n’étant pas encore partis en volontariat. S’il est vrai que les volontaires observés dans cet outil sont différents des placements professionnels et à long terme d’EIRENE, il nous semble intéressant de voir que l’impact est vu et vécu différemment selon les organisations et perspectives de chacun et que l’impact est aussi important sur les volontaires eux-mêmes et leur milieu d’origine. Commentaire : c’est un outil intéressant et passionnant, peut-être moins dans sa méthode que dans sa volonté de chercher l’impact d’abord sur le volontaire et les sociétés du Nord. Plutôt clé en main, il pourrait être intéressant à diffuser après le volontariat. 1.2.8. Evaluations à 360° Cette méthode d’évaluation du personnel vient des Ressources Humaines et nous semble une piste intéressante puisque formalisant des processus déjà informels. Chaque connexion de l’individu dans l’organisation se voit attribuer un ensemble de critères pour évaluer sa performance, sont considérées les connexions avec la hiérarchie, les collègues, les subordonnés et les clients. Le choix des observateurs de chaque groupe se fait avec la Direction des Ressources Humaines (DRH) et l’individu lui-même. Des observateurs extérieurs, travaillant dans l’organisation mais n’étant pas directement en lien avec l’individu concerné peuvent également être mobilisés.22 Il est intéressant de noter que chaque type de personne ressource se voit attribuer des éléments à évaluer selon sa position par rapport à l’individu, en lieu et place de questions/indicateurs standardisés qui seraient les même pour tous. Nous ne les détaillerons pas ici, en effet, ils dépendent grandement de la nature de l’organisation et de la fonction précise de l’individu et se composent généralement d’une centaine d’élément à mesurer à partir d’un échelle prédéfinie (ex : gradient de 1 à 5). Toutefois, le concept pourrait être adapté à la CEP. Les objectifs sont d’abord définis, puis communiqués à tous, les critères sont choisis pour chaque groupe ressource puis les questionnaires sont diffusés. La méthode se veut simple, réplicable et relativement rapide. De surcroit, il s’agit d’une méthode utilisant des marqueurs qualitatifs et comportementaux, mais pour produire des analyses graphiques quantitatives, ce qui est encore rare dans le S&E de la CEP. Commentaire : un outil intéressant plus par ses enseignements tacites (différents acteurs autour du volontaire ont des contributions différentes à apporter au S&E des effets selon leur position) que par sa méthode qui est lourde, complexe et demande des compétences en traitement des données et construction de questionnaire relativement importantes. De plus, elle demanderait l’implication forte d’une personne « jouant le rôle de DRH » qui ne soit ni le partenaire ni le volontaire et EIRENE ne semble pas disposer d’une telle ressource.

22 ABAHROUZ H., LOUIS M., PALAU C., L’évaluation à 360° : Feedback, Fiche outil ressources humaines, IAE Toulouse, 2009.

56

1.3. Systèmes de Suivi-évaluation mis en œuvre par certaines organisations de CEP 1.3.1. Le « modèle UNV »

Ce modèle, élaboré par la structure éponyme, est aujourd’hui une référence et beaucoup d’organisations l’adaptent à leurs propres besoins. En introduction, il est important de noter que dans sa révision de 2011, les auteurs précisent explicitement que le système ne mesure pas l’impact, mais les résultats et contributions des affectations, car il serait trop ambitieux de considérer que l’affectation produit un impact et que celui-ci est mesurable.23 La méthode est basée sur une série de quatre ateliers aux différents niveaux stratégiques de mesure des résultats et contributions : affectation, programme, inter-organisationnel (national) et global. De ce fait, la facilitation est l’élément clé qui déterminera la qualité du suivi-évaluation, autant que l’analyse elle-même. Le premier atelier peut être organisé par le volontaire et consiste en plusieurs étapes, menés avec les acteurs ayant travaillé avec le(s) volontaire(s). L’introduction consiste à la rédaction de Stories of Change (SoC) sur la contribution du volontaire, pour lancer le débat. Puis, on mobilise le cadre logique pour analyser les activités, les outputs et les effets de la contribution du volontaire. S’ajoute à cela, un focus spécifique sur la contribution aux Objectifs du Millénaire pour le Développement (OMD) et une analyse SWOT 24 de l’affectation. Un document de conclusion (lessons learnt) est rédigé pour nourrir le processus suivant. Ce type d’atelier peut être organisé régulièrement par les volontaires lors de la seconde partie de leur mission. La structure du second atelier, au niveau programme, est relativement similaire. On commence par agréger les différentes SoC remontées des ateliers pour les analyser et choisir les plus pertinentes. Ensuite on analyse la contribution du volontariat aux OMD, au niveau programmatique. Puis, on mobilise la cartographie des incidences pour analyser, au niveau programme, la contribution des volontaires : Ils sont des « Catalyseurs de Changement » qui a travers leur mission visent à la réalisation d’une vision (les objectifs du programme) et développent des stratégies envers différents partenaires pour parvenir à ces objectifs. Une analyse SWOT clos là-encore, la collecte de données, cette fois au niveau programme. Un document de conclusion (lessons learnt) est de nouveau produit.25 Au niveau inter-organisationnel comme global, il s’agit principalement d’agréger les documents de conclusion produit par les autres ateliers pour en tirer les enseignement clés. De plus, on ajoute une analyse de la perception des acteurs sur les volontaires et leur intérêt pour cette forme d’engagement.26 Doté d’un manuel « clé en main » et d’un fonctionnement relativement simple, ce système est un outil très important. Son principalement défaut étant toutefois la quantité de ressources nécessaires à sa mise en place. Ainsi reprendre certaines structures d’ateliers, notamment au niveau « affection », peut être pertinent mais un calque de ce modèle ne serait pas adapté à une petite organisation. Commentaire : c’est l’atelier au niveau « affectation » qui pourrait être repris et adapté. Toutefois, ce modèle montre bien le rôle important de la facilitation. Or si l’on s’en remet au

23 United Nations Volunteers (UNV), Assessing the Contribution of Volunteering to Development: A Participatory Methodology, Handbook for UN Volunteers, Programme Officers and Managers, August 2011. 24 Analyse Forces, Faiblesses, Opportunités et Menaces (en anglais Strength, Weaknesses, Opportunities, Threats (SWOT)) 25Ibd. 26Ibd.

57

volontaire, ses capacités en la matière seront variables, il faudrait donc s’en remettre à des coordinations locales souvent déjà bien occupées. 1.3.2. SkillShare International

En préambule, nous préciserons que le modèle présenté ici date de 2010 et nous n’avons pu nous procurer des informations récentes sur la méthodologie mise en œuvre par SI depuis. Toutefois, nous tenons à présenter le modèle car il nous parait pertinent pour de petites organisations travaillant avec un nombre limité de partenaires et de volontaires. Le S&E de SI s’inscrit dans une stratégie d’action plus globale et s’appuie sur des éléments spécifiques de planification de l’affectation par les acteurs. Ainsi, avant une affectation, les acteurs co-construisent un diagnostic du partenaire qui établit sa situation. En fonction de celui-ci, on élabore ensemble une stratégie de changement sur laquelle sera basé un accord de partenariat définissant les termes de références de l’affectation. Durant l’affectation, le suivi s’effectue avec un cadre logique issue de cet accord et qui doit prévoir une stratégie de désengagement pour le volontaire et plus largement SI en tant que soutien du partenaire. Le Suivi-Evaluation utilise donc le cadre logique avec les outils particuliers listés ci-dessus. Il est réalisé principalement par la coordination nationale à travers une série de six analyses en deux ans s’intéressant à toutes les étapes de la chaîne de causalité du cadre logique (prestations, résultats, effets…). Plus intéressant encore, une analyse est réalisée 6 mois après l’affectation, pour en évaluer la durabilité et l’impact.27 Au niveau supérieur, SI utilise des Stories of Change et les conclusions des différentes analyses individuelles pour produire des rapports réguliers au niveau national et au niveau global. 1.3.3. Presidential Emergency Plan for AIDS Relief 2 (PREFAR 2)

De la même manière que SI, le S&E du programme de renforcement de capacité PREFAR 2 met en avant la place du S&E dans toutes les étapes de l’intervention. Et même avant, puisqu’il exige de disposer d’informations pré-projet suffisantes (baseline) : niveau de capacité organisationnelle et systémique, ressources humaines, performance etc. C’est ce qui permet d’évaluer avec soin les besoins de l’organisation en termes de renforcement des capacités.28 De là, on construit un cadre logique de l’intervention de renforcement de capacités, qui sert de base au S&E, avec des objectifs et des indicateurs. L’importance des hypothèses de changement et de la Théorie du Changement (ToC) du partenaire comme de PREFAR 2, est une nouvelle fois mise en avant, au côté d’un plan de S&E clair à tous les niveau (intervention, programme, pays, global). Dans le cadre d’un partenariat stratégique, il est intéressant de noter que le partenaire local est considéré comme un acteur clé du S&E et doit y être impliqué à tous les niveaux et toutes les étapes, non pas seulement comme source de données et participant aux ateliers, mais comme décideur à part entière. Commentaire : il s’agit là de l’un des systèmes certainement les plus abouti, bien qu’il manque d’aspects participatifs. Skillshare International a bien adapté son système à sa structure. Toutefois, son application dans le cas d’Eirene peut être difficile car il sollicite

27Egli, 2010, op. cit. 28President ‘s Emergency Plan for AIDS Relief (PEPFAR), Capacity Building and Strengthening Framework, Version 2.0, 2012.

58

beaucoup la coordination nationale. Surtout, il s’agit d’une réflexion et d’un cadre qui va bien au-delà du S&E mais touche la planification des activités. 1.3.4. Le Fond Social Européen en Lituanie

Il s’agit ici, en réalité, d’une étude réalisée par un universitaire, utilisant l’analyse de contribution pour évaluer l’impact du renforcement des capacités de l’administration lituanienne par le Fond Social Européen (FSE). Il s’agit donc d’élaborer un modèle de causalité pour cette intervention de renforcement des capacités de l’administration. Cette analyse a également bénéficié de la possibilité de mener une étude comparative avec d’autres projets mis en œuvre dans la même zone. La question de l’attribution est là encore posée dans toute sa difficulté, l’idée étant qu’en répondant à « Qu’arriverait-il sans l’intervention ? », à travers la comparaison, on puisse plus ou moins dépasser cet obstacle. Les théories globales doivent aussi être traduites en modèles de causalité plus détaillés et précis à l’échelle de chaque intervention. La collecte de données est quantitative et qualitative, et la triangulation, systématique.29 Bien que déployant des ressources hors de portée d’EIRENE, cet exemple a pour avantage de démontrer la faisabilité de l’analyse de contribution dans le cadre du renforcement de capacités. La démarche analytique est intéressante et permet de se poser les questions sous un angle différent. De plus, cela permet également de réinterroger les hypothèses de changement de l’intervention. Ainsi dans le cadre de cette étude, la question de la conditionnalité, qui poserait des conditions préalables à l’intervention et des conditions « à atteindre », une fois celle-ci terminée 30 , démontre l’importance d’hypothèses claires et comprises de tous. Commentaire : il s’agit là d’un dispositif intéressant, notamment pour ses enseignements par rapport à la ToC et aux hypothèses d’effets, mais sans doute trop complexe pour EIRENE. 1.3.5. Matabeleland AIDS Council (MAC) : une organisation locale mêlant MSC et

Cartographie des Incidences pour évaluer la contribution de volontaires

communautaires

Cet exemple peut sembler un peu à part puisqu’il s’agit d’un système de S&E mesurant la contribution de volontaires communautaires et non pas internationaux. Toutefois, par son échelle plus réduite, ce système nous a paru intéressant à observer. Une nouvelle fois, les définitions et la ToC sont clairement établis et comprises de tous afin de permettre un S&E pertinent. Si la logique est celle du cadre logique, avec un cahier des charges clairs et des objectifs à tous les niveaux, établissant le rôle de chacun, ce dernier est adapté pour être intelligible pour l’ensemble des acteurs impliqués. Le MSC est mobilisé en interrogeant deux temporalité « ici et maintenant » / « là-bas et ensuite » et le processus qui permettre d’aller de l’un à l’autre, appelé le « sentier du changement ». On interroge le changement par son objet (qui ? quoi ? personnes, relations, processus…), son moment (Quand ? ligne de temps), son importance (Pourquoi est-il significatif ?) et sa durabilité (Peut-il durer ? Doit-il durer ?). Dans ce processus, on met en

29NAKROSIS V., Theory-based evaluation of capacity-building interventions, Evaluation 2014, Vol. 20(1) 134 –150, 2014. 30Ibd.

59

avant les éléments de la cartographie comme essentiels pour guider la logique de l’analyse d’impact dont le MSC est la méthode. 31 Cette combinaison de deux outils montre le rôle de chacun. Le MSC fournit la méthodologie alors que la Cartographie apporte le cadre analytique, les cibles de l’analyse et la logique qui doit la guider. Ainsi, MAC, une organisation de taille réduite parvient à mettre en œuvre une articulation complexe d’outil d’analyse d’effets et/ou d’impact. Ceci montre qu’en s’adaptant, même les plus petites organisations peuvent monter des systèmes de S&E pertinents. Commentaire : cette démarche nous semble très intéressante, même si notre source d’information est réduite (powerpoint de présentation). La logique du dispositif nous semble très pertinente et peut être reprise, y compris dans une organisation de petite taille 1.4. Remarques issues d’évaluations

En dehors des systèmes présentés ci-dessus, nous avons pu consulter plusieurs évaluations de S&E de la CEP. Ces documents ne donnent pas assez de détails pour pouvoir décrire les systèmes qu’ils entendaient évaluer. Toutefois, les conclusions tirées par ces évaluations nous semblent intéressantes. Il s’agit principalement de l’évaluation des Volontaires Australien pour le Développement International (AVID) 32 et d’une étude de l’International Volunteer Cooperation Organizations (IVCO) du cas canadien33. Ces deux études s’accordent sur deux points qui nous semblent essentiels dans le S&E de la CEP. Tout d’abord, et tout particulièrement dans le cadre de la CEP, un choix doit s’opérer dans les objectifs du S&E. Le dilemme apprentissage/contrôle doit pouvoir être tranché. En effet, ces deux études en viennent à la conclusion que le processus est radicalement différent selon les cas. Et surtout, chacun des acteurs impliqués dans le S&E, et ils sont souvent nombreux dans la CEP, doit être clairement au fait de l’objectif de ce dernier34. En effet, un partenaire, notamment, se sentant sous contrôle ne va pas oser donner son avis sur la contribution du volontaire, tout comme les groupes cibles. La nature des données collectées sera donc différente selon la compréhension que chacun a des objectifs du S&E. De même, la Théorie du Changement (ToC) et les hypothèses liées, pour chaque acteur et chaque affectation, doivent être claires, transparentes et comprises de tous car elles déterminent ce par rapport à quoi on conduit le S&E35. Ainsi, par exemple, l’ampleur du changement visé et ses cibles (partenaire, projet, bénéficiaires, volontaire lui-même, milieu d’origine du volontaire…) doivent être clairement établis et chaque acteur doit se les approprier pour assurer la qualité d’abord de la CEP, mais encore plus de son système de S&E.

31 SIBINDI M., Partneringwithcommunityvolunteers to ensuresustainabledevelopment: A case presentation of Matabeleland AIDS Council, Bulawayo, Zimbabwe, Matabeleland AIDS Council (MAC), Intervention au Forum International du Volontariat pour le Développement, 24 Novembre 2008. 32 HAWKINS A., MILNE C., THALES O., VERSTEGE E., Evaluation of the Australian Volunteers for International Development (AVID) program, Office of Development Effectiveness, January 2014. 33 BUCKLES D., CHEVALIER J., Assessing the impact of international volunteer cooperation: guiding questions and Canadian experiences, a discussion paper for IVCO 2012, International Forum on Development Service, Melbourne, 2012. 34 Hawkins, Milne, Thales, Verstege, 2014, op. cit.citant Buckles, Chevalier, 2012, op. cit. 35Ibd.

60

Bibliographie (Tous les documents ne sont pas mentionnés dans la synthèse ci-dessus, toutefois, leur pertinence au regard du sujet nous a conduit à les mentionner ici) Suivi-Evaluation général ABAHROUZ H., LOUIS M., PALAU C., L’évaluation à 360° : Feedback, Fiche outil ressources humaines, IAE Toulouse, 2009. EARL S., CARDEN F., SMUTYLO T., La cartographie des incidences Intégrer l'apprentissage et la réflexion dans les programmes de développement, Centre de Recherche pour le Développement International, 2002. EIRICH F., MORRISON A., Guide 6: Contribution Analysis, Social Sciences Methods Series, Scottish Government, May 2011. EGLI W., L’efficacité et l’évaluation d’impact dans la coopération par l’échange de personnes, étude pour UNITE, Novembre 2010. Commission Européenne, Manuel de Gestion du Cycle de Projet, mars 2001. Euréval, L’analyse de contribution, fiche technique, 2009. Programme des Nations Unies pour le Développement (PNUD) Développement de capacités : un guide du PNUD, 13 Octobre 2009.

ZEWO Foundation, Method for Impact Assessment of Programmes and Projects (MAPP), in

Outcomes and Impact Assessment in International Development Zewo Guidelines for

Projects and Programmes, Online resource, accessed on March 15th 2016

http://impact.zewo.ch/en/impact/resources/mapp

Systèmes spécifiques de Suivi-Evaluation de la CEP NAKROSIS V., Theory-based evaluation of capacity-building interventions, Evaluation 2014, Vol. 20(1) 134 –150, 2014. MOORE MCBRIDE A., SHERRADEN M. S., LOUGH B. (dir.), Measuring Volunteer Outcomes: Development of the International Volunteer Impacts Survey, Center for Social Development, 2009. SIBINDI M., Partnering with community volunteers to ensure sustainable development: A case presentation of Matabeleland AIDS Council, Bulawayo, Zimbabwe, Matabeleland AIDS Council (MAC), Intervention au Forum International du Volontariat pour le Développement, 24 Novembre 2008. Australian Volunteer International (AVI) The AVI Guidebook for The Australian Volunteers for International Development (AVID) program, August 2014. President ‘s Emergency Plan for AIDS Relief (PEPFAR), Capacity Building and Strengthening Framework, Version 2.0, 2012. United Nations Volunteers (UNV), Assessing the Contribution of Volunteering to Development: A Participatory Methodology, Handbook for UN Volunteers, Programme Officers and Managers, August 2011. Autres documents de recherche et évaluations BUCKLES D., CHEVALIER J., Assessing the impact of international volunteer cooperation: guiding questions and Canadian experiences, a discussion paper for IVCO 2012, International Forum on Development Service, Melbourne, 2012. GRAHAM LA., MAZEMBO MAVUNGU E., PEROLD H., with CRONIN K., MUCHEMWA L., and LOUGH B. International Volunteers and the Development of Host Organizations in Africa: Lessons from Tanzania and Mozambique In South African German Network Deutschland, International Volunteering in Southern Africa: Potential for change? Insights

61

emerging from young German volunteers and host organisations in South Africa, Tanzania and Mozambique, 2011. HAWKINS A., MILNE C., THALES O., VERSTEGE E., Evaluation of the Australian Volunteers for International Development (AVID) program, Office of Development Effectiveness, January 2014. LOUGH B., Participatory research on the contributions of international volunteerism in Kenya: Provisional results, International FORUM on Development Service, Fitzroy, Australia, 2012. MACHIN J., The Impact of Returned International Volunteers on the UK: Scoping review, Institut for Volunteering Research, April 2008. MOORE MCBRIDE A., SHERRADEN M. S., LOUGH B. (dir), Measuring International Service Outcomes: Implications for International Social Work Field PlacementsJournal of social work education 48(3):479-499, September 2012