Compte-rendu du séminaire sur les méthodes de l'"évaluation"

15
-1/15- Evaluation pratique, pratiques de l’évaluation Séminaire de la Fondation de France Jacmel 7-8 octobre 2010 Table des matières 1. Introduction et rappel des objectifs du séminaire .................................................................................. 2 2. Tour de table des organisations présentes et de leurs actions en Haïti................................................... 2 3. Attentes des participants.......................................................................................................................... 4 4. Apports méthodologiques sur le suivi et l’évaluation des programmes post-séisme.............................. 4 5. Travail en groupe : Echange de pratiques autour du thème suivi/évaluation ......................................... 7 6. Critères et indicateurs .............................................................................................................................. 9 7. Travail de groupe sur les critères et indicateurs..................................................................................... 11 8. Bilan du séminaire et conclusion ............................................................................................................ 13

description

La Fondation de France a organisé un séminaire à Jacmel en octobre 2010 sur les méthodes de l’évaluation destiné à une quinzaine d’Organisations Non Gouvernementales (ONG) et Organisations de la Société Civile (OSC) financées dans le cadre du programme « Solidarité Haïti ». La Fondation De France (FDF) gère plusieurs programmes au sein des programmes « Urgences et solidarités internationales » : un programme d’agriculture familiale en Afrique, un programme de formation professionnelle au Maghreb et des programmes spécifiques d’urgence à l’international comme en France. Immédiatement après le séisme en Haïti et grâce au capital de confiance dont jouit la Fondation, les chaînes de télévision et de radio nationales françaises l’ont sollicitée pour lancer un appel à dons. Trente-deux millions ont été collectés pour venir en aide à la population haïtienne. La Fondation de France sera donc amenée à soutenir durant plusieurs années des projets liés au séisme en Haïti. Elle a également une responsabilité de traçabilité et de transparence et doit rendre des comptes à ses donateurs sur les actions menées grâce à ces fonds collectés.

Transcript of Compte-rendu du séminaire sur les méthodes de l'"évaluation"

Page 1: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-1/15-

Evaluation pratique, pratiques de l’évaluation

Séminaire de la Fondation de France

Jacmel

7-8 octobre 2010

Table des matières

1. Introduction et rappel des objectifs du séminaire .................................................................................. 2

2. Tour de table des organisations présentes et de leurs actions en Haïti................................................... 2

3. Attentes des participants.......................................................................................................................... 4

4. Apports méthodologiques sur le suivi et l’évaluation des programmes post-séisme.............................. 4

5. Travail en groupe : Echange de pratiques autour du thème suivi/évaluation ......................................... 7

6. Critères et indicateurs .............................................................................................................................. 9

7. Travail de groupe sur les critères et indicateurs..................................................................................... 11

8. Bilan du séminaire et conclusion ............................................................................................................ 13

Page 2: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-2/15-

1. Introduction et rappel des objectifs du séminaire - Martin SPITZ

La Fondation De France (FDF) gère plusieurs programmes au sein des programmes « Urgences et

solidarités internationales » : un programme d’agriculture familiale en Afrique, un programme de

formation professionnelle au Maghreb et des programmes spécifiques d’urgence à l’international

comme en France. Immédiatement après le séisme en Haïti et grâce au capital de confiance dont

jouit la Fondation, les chaînes de télévision et de radio nationales françaises l’ont sollicitée pour

lancer un appel à dons. Trente-deux millions ont été collectés pour venir en aide à la population

haïtienne.

Le premier mois, une partie des fonds a été allouée aux organisations françaises intervenant dans

l’urgence, puis, dès le deuxième mois, aux organisations françaises menant leurs actions en

partenariat avec des ONG haïtiennes. Actuellement, quatre Fonds d’Initiative Locale (FIL) à

destination des porteurs de projets haïtiens sont en cours de montage afin de coller encore plus à

la réalité de terrain et de soutenir les organisations haïtiennes.

La Fondation de France sera donc amenée à soutenir durant plusieurs années des projets liés au

séisme en Haïti. Elle a également une responsabilité de traçabilité et de transparence et doit

rendre des comptes à ses donateurs sur les actions menées grâce à ces fonds collectés.

La Fondation de France possède une culture de l’évaluation qui reste encore modeste mais évolue.

Après le tsunami, plusieurs évaluations externes ont été réalisées par la FDF dans différents

villages en Inde et en Indonésie et au Sri Lanka. En Haïti, une évaluation des projets soutenus dans

le cadre de la phase d’urgence a d’ores et déjà été réalisée. De manière générale, la FDF privilégie

une démarche globale et participative en termes d’impact auprès des populations.

Ce séminaire avait trois objectifs :

1. Favoriser la rencontre et les échanges entre les associations soutenues par la FDF

2. Progresser dans la démarche d’évaluation afin de répondre non seulement à l’exigence de

redevabilité mais également d’évaluer la pertinence, l’efficacité, l’efficience, la cohérence

et l’impact des actions.

3. Finaliser la mise en place des 4 Fonds d’Initiative Locale (FIL) : Le FIL micro- réalisations

urbaines (piloté par le GRET), le FIL micro- réalisations rurales (piloté par AVSF), le FIL

micro-entreprises (piloté par EdM) et le FIL culturel (piloté par FCC)

L’objectif n’était pas de développer une boîte à outils mais plutôt de partir des pratiques

d’évaluation des associations participantes et de construire ensemble des façons communes de

comprendre l’évaluation : en quoi est-ce utile ? Jusqu’où peut-on aller ? Quelles sont les

contraintes post-séisme ?

2. Tour de table des organisations présentes et de leurs actions en Haïti

Entrepreneurs du Monde (EdM) mène des actions d’entreprenariat social afin d’appuyer la

relance et la création d’entreprises sur les zones touchées par le séisme. Les activités de micro-

crédit sont accompagnées d’un suivi psycho-social avec des travailleurs sociaux (scolarisation,

santé, accès à l’habitat etc.).

Page 3: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-3/15-

ID Microfinance gère 6 agences de micro-crédit à destination de 4500 petits marchands choisis

parmi les plus vulnérables.

Le Mouvement Paysan Papaye (MPP) travaille avec les mouvements paysans dans de nombreux

domaines, notamment le micro-crédit, l’environnement, la sensibilisation et l’éducation.

Frères Des Hommes (FDH) met en place des projets de sécurité alimentaire.

ATD Quart-Monde est présent en Haïti depuis 1981 et travaille avec des familles défavorisées

dans le Haut-Martisant notamment. ATD met en place des universités populaires, travaille sur

l’accès aux droits, mène des activités culturelles avec les enfants des rues, reconstruction de

maison, et sert de lien entre les ONGs et les familles de ces quartiers où beaucoup n’osent pas

entrer.

CROSE reconstruit 70 maisons, travaille sur le relance agricole, l’élevage et la mise en sureté des

micro-entreprises.

VETERIMED accompagne les organisations haïtiennes dans le domaine de l’élevage.

Agronomes et Vétérinaires Sans Frontières (AVSF) développe une approche filière (mangue,

cacao, café..) et participe dans le cadre du CLIO à l’approche développement local en relation avec

CROSE.

ACDED met en place dans le Sud- Est des programmes d’agroforesterie, des programmes

d’éducation, de santé, d’appui psychosocial, de nutrition, de sensibilisation à l’hygiène, et forme

des animateurs communautaires pour les comités de gestion et comités de parents.

Le Groupe de Recherche et d’Etudes (GRET) est présent en Haïti depuis 4 ans avec des projets

antérieurs à cette date et travaille principalement sur l’accès à l’eau et l’assainissement dans les

quartiers, la réhabilitation des réseaux et des infrastructures.

La Fondation Culture et Création (FCC) mène depuis 2002 un programme d’éducation à la

citoyenneté par les arts et développe depuis le séisme un projet de solidarité des enfants du

monde avec les enfants d’Haïti ainsi que des activités psychosociales pour les enfants des écoles.

Les Ateliers Ecole de Camp Perrin (AECP) mène des actions en agriculture et en formation,

notamment auprès de 430 maçons à Camp Perrin à qui elle enseigne tous les principes de base de

la maçonnerie et de la construction parasismique mais aussi de la culture générale.

Concert Action a été créé il y a 12 ans pour développer une responsabilisation accrue des haïtiens

sur la base de l’expérience acquise par Interaide en Haïti. Concertaction travaille à Petit-Goâve et

dans le Nord-Est sur l’accès à l’eau, l’agriculture, le renforcement des communautés locales et la

santé.

ADEMA travaille en partenariat avec ID sur les questions de développement local, l’accès aux

services de base, et l’éducation citoyenne.

Page 4: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-4/15-

3. Attentes des participants

Les participants ont exprimé leurs attentes vis-à-vis du séminaire mais également au-delà.

A) Attentes vis-à-vis du séminaire :

Mieux connaître les approches méthodologiques et les outils :

- Comment lier qualité et évaluation ?

- Importance de la triangulation pour mesurer l’impact réel de l’action sur une « mosaïque »

où interviennent plusieurs acteurs : comment croiser les approches et les disciplines (ex :

comment est intégré l’aspect culturel dans les autres projets)

- Comment se concentrer et prioriser les éléments principaux, quels critères ?

- De quelle évaluation on parle : impact ? Résultats ?

- Comment utilise-t-on l’évaluation ?

- Outils d’évaluation communs sur des domaines aussi différents, élaborer des outils simples

et des indicateurs

- Mieux connaitre la FDF et les outils qu’elle utilise pour évaluer, le cadre de reporting, la

méthodologie

- Y a-t-il une évaluation globale des programmes de la FDF en Haïti qui est prévue ?

Mieux se connaître et mieux se comprendre :

- Connaître la Fondation de France et la façon dont elle fonctionne : quelle est la stratégie de

la Fondation de France à plus long terme en Haïti ? Quelles perspectives ?

- Renforcer les échanges FDF-organisations dans les deux sens

- Comprendre les lignes directrices de la FDF

- Partage d’expérience, d’informations et de pratiques

- Créer des liens inter-associatifs

- Quelles sont les attentes de la FDF sur la mise en place des FIL ?

B) Attentes à plus long-terme :

- Mise en réseau des différentes associations pour continuer à réfléchir sur la question de

l’évaluation

- Avoir l’occasion de se rencontrer plus souvent afin de pouvoir développer des partenariats

- Plus d’espace de concertation et d’échange d’expérience notamment sur la formation et

l’enseignement, sur les cadres réglementaires liée à la reconstruction

- Renforcer les outils méthodologiques au sein de ce réseau

- Prendre un peu de recul et mettre en perspective en croisant avec les impacts des autres

programmes (autres outils, méthodes de travail)

4. Apports méthodologiques sur le suivi et l’évaluation des programmes post-

séisme – Pierre-Jean ROCA

Pierre-Jean ROCA, Ingénieur au CNRS et membre du comité Solidarité Haïti de la Fondation de

France a présenté les concepts-clés en matière d’évaluation afin de favoriser un langage commun

à l’ensemble des participants - Voir présentation Powerpoint complète en annexe 2.

Page 5: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-5/15-

Partir de quelques constats :

- l’évaluation tout le monde en parle, mais peu d’organisations la pratiquent vraiment…

- quand on en fait, on en fait sans s’en apercevoir, pas systématiquement, pas formellement…

- l’évaluation, quand on en fait, on l’a fait « quand on a le temps », comme une activité« optionnelle »…,

- l’évaluation qui suppose de la « collecte de données » passe encore, mais pour trouver du temps pour traiter ces données…,là il y a un pb !!!

- les résultats de l’évaluation : attention ce sont des données « top secret »…

Partir de quelques questions aussi :

- vaut-il mieux évaluer les actions ponctuelles, ou les projets, ou les programmes ?

- l’évaluation a-t-elle pour but d’améliorer les pratiques des acteurs ou les dispositifs qui leur permettent d’être dans l’action ?

- faut-il évaluer les réalisations ou les effets produits quand l’action est terminée ?

- faut-il évaluer les projets ou les organisations (OSC, ONG, associations, etc.) qui mènent ces projets ?

- posées de cette façon, on voit bien que la plupart de ces questions sont…sans réponse précise!

Il faut préciser les choses…

…donc dire d’abord ce qu’elle n’est pas:

-elle n’est pas un exercice d’autosatisfaction,

-pas plus « l’examen final » décidé par le bailleur de fonds, soit pour « sanctionner » le porteur de projets, soit pour le « choisir » à nouveau pour la 2° phase,

-pas non plus une « inspection » à l’improviste pour savoir « ce qui se passe exactement » sur le terrain,

-encore moins, un « passage obligé » pour être inscrit sur le « tableau d’honneur » des « projets-vitrines »…

… et d’abord distinguer des activités qu’on confond souvent :

-le rapport d’activité (ou compte-rendu ou bilan factuel), l’audit, le monitoring, la capitalisation sont souvent confondus avec l’évaluation

- comment distinguer ? comment y voir plus clair ?

- une histoire : « diri a-pwa nou pral manjéansanm »

- audit = comparaison / norme (règles, procédures)

- rapport d’activité = ce qu’on a fait

- monitoring = suivi (prépare l’éval. longitudinale)

- capitalisation = par quel chemin on est passé ?

- évaluation = mesurer la valeur

… alors, c’est quoi l’évaluation ? :

- dire ce qu’elle est, la définir, c’est aussi dire (expliciter) son utilité, ce à quoi elle sert :

- l’évaluation informe

- l’évaluation critique

- l’évaluation contribue à la ré-orientation des actions, des projets et des dispositifs

l’évaluation informe :

elle « produit » soit en temps réel, soit en différé, des informations sur l’action et sur ses résultats ;

plus loin dans le temps, elle donne des informations sur les effets, puis sur les impacts des projets (ou / et programmes

Page 6: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-6/15-

l’évaluation critique :

elle permet de « juger » sous différents angles de vue (les fameux critères, d’où le mot employé : « critiquer ») les résultats, les effets et les impacts, mais aussi la pertinence de l’action elle-même, la

cohérence, etc.

Quand ce « jugement » est suffisamment « partagé » et « partageable », cela permet de « prendre des décisions », d’où…

l’évaluation contribue à la ré-orientation :

ce que produit l’évaluation (d’une ou de x action(s))doit être réemployé pour les actions engagées par la suite.

On apprend des erreurs du passé pour construire l’avenir : tenir compte des résultats de l’évaluation du projet X est la condition sine qua non pour devenir plus « intelligent » collectivement (et plus pertinents, et plus efficaces…) quand on va mener un nouveau projet x+1.

Dit d’une autre façon, l’évaluation permet…

-de mesurer des écarts (entre ce qu’on avait prévu de faire et ce qu’on (a) fait réellement)

-d’améliorer le fond et la forme de nos actions (en identifiant les contraintes et les freins et en essayant d’y apporter des solutions)

-de poser, en prenant de la distance, un regard critique sur l’action (pour, à la fin, se poser la question : »à quoi, à qui, sert l’action ?)

- de préparer des actions de communication

Différentes sortes d’évaluation à présent…

-l’évaluation ex-ante

-l’évaluation à mi-parcours

-l’évaluation finale

-l’évaluation ex-post

-Qui décide de l’évaluation ? (commanditaire ?)

-l’auto-évaluation est-elle « utile » ?

-l’évaluation « externe »

-l’évaluation participative

… l’évaluation porte sur quoi ? :

… autrement dit, on va examiner 5 objets:

- les acteurs

- les activités

- les ressources

- les finalités

- les valeurs

les acteurs :

-qu’est ce qu’un acteur ?

-différence entre acteur et partie prenante ?

-les acteurs sont au centre de « l’évaluation participative »

- connaître leurs attentes et leurs contraintes semble être un premier pas indispensable ; mais peut-être faut-il différencier les « bénéficiaires », les porteurs de projets (ou opérateurs), et les donateurs. Vis-à-vis de qui est-on redevables en dernier ressort ?

-la question de la « redevabilité » (accountability)

Page 7: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-7/15-

les activités:

-l’analyse des résultats obtenus en comparaison des objectifs déclarés est certainement le premier stade de l’évaluation pour ce qui est de l’action…

- mais d’autres critères que l’efficacité entrent ici en ligne de compte.

les ressources:

-il s’agit ici de mesurer les résultats par rapport aux moyens mobilisés ; la mesure de productivité, ou efficience, rend compte de cette utilisation des ressources

-ce point de vue ne peut pas être le seul développé, dans la mesure où les ressources financières ne sont jamais les seules à être mobilisées : l’utilisation de ressources locales, ou non, est àprendre en compte ; l’autonomisation est une question à poser en amont… ; (quand cesse « l’aide », que se passe-t-il ?)

les finalités :

-il s’agit de caractériser le sens et la cohérence de la démarche générale du porteur de projet, en cohérence ou non avec les finalités globales / objectifs généraux des programmes?

- la juxtaposition ou / et l’articulation des projets soutenus conduit-elle à autre chose qu’un « saupoudrage », c'est-à-dire à une dispersion /aux effets attendus des programmes ?

- les projets menés vont-ils dans le même sens que l’action publique, sont-ils cohérents / convergents avec elle ?

les valeurs:

-quelles sont les « références » (les visions à long terme) de l’organisation (ou des projets ?) prise comme un tout ? Attention: Références = Identité?

- les références influencent fortement la perception qu’on a de la qualité d’un projet : que cherche-t-on ? les réalisations matérielles ? le changement social ? le renforcement de capacités des acteurs de base ?

- le fait de rendre explicites ces valeurs (ou références) est fondamental dans l’évaluation participative

- les actions soutenues renforcent-elles la perception que les acteurs extérieurs peuvent avoir des « références mises en avant » ?

5. Travail en groupe : Echange de pratiques autour du thème suivi/évaluation

Chaque groupe a échangé sur ses pratiques de suivi et d’évaluation à partir d’une grille de

questions indicatives.

Groupe 1 : Ce groupe a fait le constat de plusieurs points de rencontres et de divergence.

Veterimed utilise des évaluations ex ante, des réunions d’information sur le projet et la répartition

des tâches en début du projet, une auto-évaluation du projet à la fin et évaluation externe

commanditée par les bailleurs mais ne sont pas communiqués en interne. MPP procède à une

auto-évaluation pour définir les mesures correctives à apporter et à une évaluation participative

faire par les paysans. Concert Action effectue un suivi régulier via des rapports mensuels et

trimestriels, des réunions de staff chaque trimestre, mais n’a pas de compte à rendre à des

bailleurs donc il n’ya pas d’évaluation externe mais l’assemblée générale évalue l’ensemble des

actions. CROSE utilise des rapports mensuels, trimestriels et annuels pour réajuster les activités.

Pour ACDED, l’animateur remplit une fiche journalière et le suivi s’effectue en direction exécutive.

ADEMA travaille sur le renforcement des capacités, ce qui est particulièrement difficile à évaluer,

d’autant plus que l’organisation n’a que cinq ans.

Page 8: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-8/15-

Groupe 2 : Ce groupe a noté de ses échanges que l’évaluation est le plus souvent liée aux activités

et que la manière de concevoir l’évaluation différait.

AVSF procède à des évaluations externes qui servent à prendre une photographie à un instant

donné. AECC a des audites et évaluations faites par les bailleurs et implique les anciens élèves

dans le pilotage des projets. ID Micro-finance utilise plusieurs sources d’évaluation : comités de

direction, ateliers thématiques, enquête de satisfaction, compte-rendus aux bailleurs et audits,

impact en termes économiques et sociaux, outil d’évaluation de la pauvreté entre chaque cycle de

micro-crédit. FCC procède à une évaluation participative en réunissant les participants, les

intervenants et l’équipe de projet autour des objectifs. Des questionnaires des élèves sont reçus

mais insuffisamment analysés.

Groupe 3 : Ce groupe a davantage échangé sur les méthodes de suivi.

MPP opère un suivi à partir des

groupements de base qui forment des

localités et des structures locales qui

forment une zone. Le GRET produit des

rapports sur toute la chaîne des activités et

organise des rencontres tous les mois à une

échelle plus réduite. Une réunion des

équipes a lieu tous les trimestres. Concert

Action concentre son suivi et son

évaluation davantage à l’intérieur de

chaque projet que pour l’ensemble des

actions. ACDED organise des rencontres intégrées de l’ensemble des programmes pour voir

comment valoriser les enseignements ainsi que des rencontres trimestrielles avec les

bénéficiaires. CROSE a pour chaque projet un comité de pilotage, de suivi et de gestion qui réunit

tous les trois mois également les bénéficiaires. Le comité de suivi inclut également un

représentant des bailleurs.

Débat et enseignements tirés:

• Il existe mille et une façons de suivre et d’évaluer qui sollicitent d’importantes ressources

mais il y a finalement peu de moments privilégiés pour questionner tout cela dans son

ensemble. On ne peut pas tout faire reposer sur l’outil projet, il faut croiser avec

l’ensemble.

• Il est particulièrement difficile d’évaluer l’impact du renforcement des capacités sur le

changement social et la capacité d’intervention des personnes.

• Le facteur temps est très important pour le suivi et l’évaluation, il existe différentes

échelles de temps qui se superposent.

• Tous les groupes s’interrogent régulièrement sur les activités mais relativement peu sur les

ressources et les valeurs.

• Il est primordial de prendre en compte les différents points de vue et de structurer les

acteurs pour qu’ils puissent participer à l’évaluation. Il faut comprendre comment ces

acteurs sont structurés : plutôt par thématique du projet ? par territoire ? Il faut pouvoir

croiser les échelles.

Page 9: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-9/15-

6. Critères et indicateurs – Pierre-Jean ROCA

Pierre-Jean ROCA a clarifié quelques notions-clé sur les critères d’évaluation (pertinence,

cohérence, efficacité, efficience et durabilité) et les indicateurs- Voir présentation Powerpoint

complète en annexe 2.

L’évaluation :une affaire de critères et d’indicateurs

moyens

objectifs

activités

besoins

résultatseffets

impact

contexte, enjeux,

acteurs et besoins

(possibilités)

tant dans le suivi que dans l’évaluation…

…on se sert de « critères » et « d’indicateurs »:- un critère est en quelque sorte un « point de

vue » particulier, un « angle de vision » choisi sur le projet…

- il n’y a pas de « jugement » intrinsèque, d’appréciation indiscutable sur tel ou tel « objet » considéré dans le projet (acteurs, activités, etc.) : tout dépend du point de vue adopté, tout dépend du (des) critère(s) choisis

les 5 critères couramment utilisés …

…Attention ! ce n’est pas parce qu’on les retrouve sous le même nom qu’ils indiquent la même chose dans toutes les actions :

- l’évaluation est un exercice « sur mesure » (et les indicateurs vont être spécifiques)

- les 5 critères :

- pertinence (relevance)

- cohérence (consistency)

- efficacité (effectiveness)

- efficience (efficiency)

- durabilité (sustainability)

Page 10: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-10/15-

moyens

objectifs

activités

besoins

résultatseffets

impact

pertinence

cohérence

efficacité

efficience

durabilité

• En plus de ces cinq critères, on utilise fréquemment… des critères transversaux

• critère de genre…• qu’est ce que le projet change dans les rapports

sociaux entre les hommes et les femmes ?• critère de développement durable, selon ses 3

piliers : économique, environnemental et social

Qu’est ce qu’un indicateur ?

Un indicateur est la mesure (ou l’appréciation qualitative) de ce qui est évalué selon le critère choisi

Un indicateur doit être smart :-specific: spécifique-measurable: mesurable-available: disponible à un coût acceptable

-relevant: pertinent / au critère choisi-timely: fourni à temps / logique du projet

… le cycle de projet « ONG »Identification

rencontre, enjeuxpartagés, faisabilité

Conceptionlogique d’intervention,

stratégie d’action,programmation

Mise en œuvremanagement d’équipe,utilisation des moyens,

réalisations et suivi

Résultats

Effets

Réalitéacteurs, contexte

impact

En pratique…

Les termes de référence de l’évaluation :- Le contexte :- le contexte du projet- les objectifs du projet, les principales activités- l’organisation porteuse

- Les attentes globales:- objectifs de l’évaluation- les références de l’évaluation (principales facettes de la qualité,

soit définies par le commanditaire, soit mises au point de façon participative)

En pratique… 2

- Le contenu de l’évaluation :- les principales questions évaluatives- la durée que l’on veut prendre en compte

- les méthodes pour renseigner les critères et les indicateurs (questionnaires, reporting, observations, etc)

- Les aspects pratiques :- calendrier et plan d’action

- ressources humaines mobilisées (qui fait quoi ?)- éventuellement prévoir aussi les ressources matérielles- va-t-on prévoir une restitution ?

Page 11: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-11/15-

En pratique…3

méthodes adoptées pour renseigner les indicateurs:- questionnaires- journal de champ et observations- fiches de suivi et « feuilles de présence »- observation participante : brainstorming et focus

group (l’observation participante permet aux différents acteurs de vivre l’évaluation de façon positive)

- entretiens individuels

En pratique…4

Evaluer l’impact :- c’est la seule chose qui devrait intéresser ceux qui

font du «développement »….

- c’est aussi dans « l’approche projet » ce qui est le plus difficile à faire puisque « l’impact » (c’est-à-dire le changement durable de la situation) « dépasse le temps et l’échelle du projet »

- …on essaye donc de « mesurer » les « effets » de l’action, dont on suppose qu’ils auront logiquement un « impact » positif

- les différents axes de l’évaluation (projet) peuvent être présentés comme un « tableau de bord »

En pratique…5

évaluer une organisation est une autre histoire…on utilise par exemple:

le modèle des 3 cercles

DEVELOPPEMENT DURABLE

AMELIORATIONNIVEAUX DE VIE

RESULTAT

IMPACT EFFICACITE

AU NIVEAU DE COMMUNAUTE

AU NIVEAU DESPOLITIQUES

CultureLeadership

Apprentissage

ObjectifIdentitéVision

ValeursStratégie

Responsabilité

Groupecible

Juridique

Systèmes etStructures

Ressources-Humaines

PhysiquesFinancières

ORGANISATION INTERNE :

Syndicats

Donateurs Dirigeants de La communauté

RELATIONS EXTERNES

DANS LE SECTEUR

EN DEHORS DU SECTEUR

Secteur privé

Govt.AutresNGOs

RELATIONS EXTERIEURES RESULTATS DU « TRAVAIL »

CONTEXTECONTEXTE

7. Travail de groupe sur les critères et indicateurs

Les trois groupes ont réfléchi à partir de leurs projets autour de la question suivante : « Quels sont

les critères pour mener des projets de qualité et avec quels indicateurs on peut les renseigner ? ».

Groupe 1 : Ce groupe a exploré plus particulièrement deux critères autour de différents projets

qu’ils mettent en œuvre.

• Pertinence :

Activité de renforcement des capacités des élus dans le cadre de la décentralisation:

- Y a-t-il un cadre légal de décentralisation ?

- Y a-t’il une volonté des élus de maintenir les services sociaux ?

Projet de reconstruction :

- Nombre de pers ayant les maisons détruites ?

- Nombre de réfugiés installés à long terme

- Revenu de la population-cible

Projet de relance agricole :

- Nombre de femmes inactives avant le projet

- Capacité et le niveau d’élevage

Page 12: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-12/15-

Projet d’accompagnement psycho-social :

- Existence d’un traumatisme

- Nombre d’enfants ayant des symptômes post-traumatiques

• Durabilité :

- Nombre de personnes qui utilisent des latrines

- Niveau et rythme d’entretien des latrines

- Nombre de jeunes qui travaillent la terre après avoir été formés

- Niveau de la pollution locale

- Niveau de vulgarisation des techniques agricoles

Groupe 2 : Ce groupe a réfléchi à l’ensemble des critères en prenant l’exemple d’un projet de

relocalisation des personnes vivant dans une zone à risque d’éboulement (56 maisons sur trois ans

pour 56 familles, électricité solaire et participations des propriétaires à la construction). L’objectif

est d’assurer un habitat décent. Les activités incluent la sensibilisation, la formation sur les risques

et désastres, la formation des maçons.

• Pertinence :

- Tout le monde est conscient que le danger existe et le besoin de se déplacer est clair

• Cohérence :

- sensibilisation pour gérer les constructions

• Résultat :

- 56 maisons sont construites en respectant les normes parasismiques et anti- cycloniques

• Efficience :

- Coût de chaque maison par rapport aux autres maisons

• Durabilité :

- Les populations se déplacent volontairement

- La montagne est reboisée

- Les habitants prennent l’habitude de payer leurs impôts

• Environnement :

- Espace de plantation dans le village

• Genre :

- Les contrats sont signés par des femmes

• Efficacité :

- Nombre de maisons construites

Groupe 3 : Ce groupe a pris l’exemple d’un projet du GRET au niveau des quartiers en matière

d’alimentation en eau potable.

• Cohérence :

- Réalisation des actions

• Efficacité :

- Disponibilité de l’eau

- Eau gérée par la communauté elle-même

• Efficience

- Coût extrêmement bas de l’approvisionnement

• Durabilité :

- La communauté s’approprie les infrastructures

Page 13: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-13/15-

• Impact :

- Baisse de la quantité d’argent dépensée pour l’eau

- Réduction du temps passé à collecter l’eau

- Diminution des maladies hydriques

- Participation des femmes dans les comités de gestion de l’eau

• Résultats :

- Quantité de bénéficiaires qui a accès à l’eau

- Normes établis par le Ministère de la santé publique, quantité de litres d’eau consommée par

jour.

Groupe FIL : Ce groupe a réfléchi sur les critères d’éligibilité, les formes d’actions communes

sachant que la démarche est similaire même si les fonds sont spécifiques :

- Quelles sont les populations-cibles ?

- Quelles sont les finalités ?

- Quels types d’action ?

- Quels critères de suivi ?

Il faudra ensuite se mettre d’accord sur les critères d’évaluation qui portera sur l’ensemble des

critères.

8. Bilan du séminaire et conclusion

Un tour de table a permis aux participants de tirer un bilan du séminaire. Le bilan est globalement

positif. C e séminaire a permis :

- de faire tomber les tabous sur l’évaluation (position de justification, crainte de la remise en

cause) : le « tigre » est devenu un « tigre de papier »

- de rappeler l’importance d’évaluer et la manière de s’y prendre

- de prendre conscience qu’il faut réfléchir sur les critères d’évaluation dès la conception du

projet

Par ailleurs, le séminaire a permis de renforcer la mise en réseau et la connaissance mutuelle

entre les participants. Les participants ont souligné les points suivants:

- cela a favorisé des rencontres inter-associatives,

- un tel espace est nécessaire pour se re-saisir, prendre un peu de hauteur et partager les

questionnements

- cela a permis de casser les clichés sur les bailleurs et la distance bailleur-ONG

- le respect de la parole de chacun a été apprécié

Cependant certains participants regrettent les points suivants:

- le temps trop court pour cette formation : ils auraient souhaité approfondir ces questions

et travailler notamment par thématique

- ils auraient souhaité dégager des éléments communs en termes d’évaluation

- Il aurait fallu également prévoir un temps pour un travail individuel de type plan d’action

de manière à pouvoir intégrer les enseignements de la formation

Page 14: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-14/15-

Les attentes pour la suite du processus sont les suivantes sont d’approfondir l’échange

d’expériences au prochain séminaire :

- présenter une grille d’évaluation propre aux projets et échanger dessus,

- discuter de la question de l’évaluation organisationnelle,

- faire des groupes par thèmes (eau, construction, psychosocial, culture..) ou par zone

géographique pour pouvoir approfondir,

- travailler sur les outils d’évaluation (cahier des charges, calendrier), comment on

développe les indicateurs, moyens de vérification, les méthodes de collecte (focus-groups),

Certains participants font des propositions qui vont même au-delà :

- Développer les échanges de terrain et s’évaluer mutuellement permet de découvrir les

actions des autres et de créer du lien,

- Développer un guide méthodologique,

- Organiser des rencontres plus fréquentes.

Conclusion : Ce séminaire a montré qu’évaluer finalement c’est avoir beaucoup d’imagination.

La difficulté réside dans le fait que les « experts » oublient souvent l’essentiel car ils ont le « nez

dans le guidon ». Il était donc important de se donner des occasions de re-clarifier certaines

choses et de se regarder de l’extérieur. La mise en place des FIL nécessitera un accompagnement

adéquat en termes d’outils et de flexibilité car passer du rôle d’opérateur à celui de bailleur n’est

pas forcément facile.

Page 15: Compte-rendu du séminaire sur les méthodes de l'"évaluation"

-15/15-

ANNEXE I – LISTE DES PARTICIPANTS

Nom Prénom Organisation Fonction Téléphone Email Paul Lorméus Gérard ACDED Responsable scolaire 00509-37709910 [email protected]

Africot Arnold ACDED Responsable projet 00509-38682775 [email protected]

Julmisse Kenel ADEMA Assistant responsable de programme 00509-36646243 [email protected]

Michel Hudson ADEMA Assistant responsable de programme 00509-37289023 [email protected]

Montuma Hébert AECP Directeur 00509-37629277 [email protected]

Lhérissaint Saint Jean ATD Quart Monde Volontaire 00509-35804377 [email protected]

Sprumont Jean Atelier Ecole de Camp Perrin Animateur 00509-36886014 [email protected]

Présulmé Pierre Anonce AVSF Responsable Fonds rural 00509-37887901 [email protected]

Faustin Yvon Y. AVSF Coordinateur 00509-36606356 [email protected]

Chouraqui Nordine CITO Conseil Consultant 0033-144840273 [email protected]

Similien Curdy ConcertAction Responsable de programme 00509-34107945 [email protected]

Sylvain Jean Arioste ConcertAction Responsable de programme 00509-34521065 [email protected]

Eyma Anthony ConcertAction Directeur 00509-32016236 [email protected]

Seide Ducange ConcertAction Chef de secteur agro 00509-37028889 ducseide@yahoo;com

Africot Jaudel CROSE Coordinateur Technique 00509-37345556 [email protected]

Justin Pelege CROSE Coordinateur projet 00509-36120493 [email protected]

Mauduit Hélène EDM Chargée de programmes 00509-38832724 [email protected]

Thivillon Thomas Entrepreneurs du Monde Responsable nouveaux produits et entreprenariat social 00509-38832698 [email protected]

Armenla Perodin Colette FCC Directrice Exécutive 00509-38288485 [email protected]

Millet David FDH Volontaire 00509-38597102 [email protected]

Martin Spitz Fondation de France Responsable Urgences et Solidarités Internationales 0033-144213108 [email protected]

Lokku Sonia Fondation de France Chargée de mission 0033-144218744 [email protected]

Roca Pierre-Jean Fondation de France Membre du comité Solidarité Haïti 0033-611902570 [email protected]

Annacacis Junior Ledû GRET Responsable programme 00509-37250213 [email protected]

Tipret Julie GRET Assistante technique programme urbain 00509-38822420 [email protected]

Simonot Sebastien ID Microfinance Directeur 00509-38857302 [email protected]

Michel Mulaire Mouvement Paysan Papaye Coordinateur de l'Equipe technique 00509-3454900 [email protected]

Valbrun Guerly Veterimed Responsable Accompagnement Organisationnel 00509-38157277 [email protected]