Evaluer un projet de développement

François Doligez IRAM/Université de Rennes 1 (f.doligez@iram-fr.org)

Stage EADSI – Rectorat-CASI Bretagne – 26 juin 2007

2

Sommaire

� Propos introductifs sur l’évaluation

� Observations et commentaires sur les projets d’évaluation

� Pour aller plus loin

Propos introductifs sur l’évaluation

4

A quoi sert l’évaluation ?

� A gérer : estimer la « valeur » des résultats, analyser le passéafin de programmer l’avenir pour les parties-prenantes (équipe et porteurs de projets)

� A informer l’ensemble des acteurs et des partenaires

� A contrôler pour renforcer la transparence et la « confiance »(reddition, redevabilité), parfois pour former

5

Qu’est-ce que l’évaluation ?

� Une photographie à un instant donné, un constat : dresser l’état des lieux à une date donnée, divers points d’observations, divers observateurs, mesure ou description des faits (les faits bruts, sans jugement),

� Un diagnostic, une appréciation avec un avis construit sur des arguments, une analyse des forces et des faiblesses, une valorisation donnant du poids à tel ou tel aspect

� Des recommandations, une aide à la décision : propositions d’améliorations, conseil à la décision (et non pas pouvoir de décision!) comme outil de pilotage

� Un contrôle : du financeur qui veut connaître l’usage des subventions, de l’utilisateur/ bénéficiaire à qui on doit rendre compte (redevabilité), des pouvoirs publics qui sont interrogés par le citoyen, d’une instance chargée de vérifier la légalité (mais àdifférencier d’un audit : analyse du respect des règles et procédures ou d’une inspection : des recommandations contraignantes)

6

Une partie-prenante

- ONG du Nord- partenaires du Sud- représentants des bénéficiaires- institutions publiques- donateurs (publics et privés)

Un dispositif d'analyse

- suivi-évaluation permanent- mission ponctuelle au début, en cours ou finale- étude comparée en termes de performances, résultats, méthodes

Un objet

- une action localeau Nord ou au Sud(un projet)- un ensemble d'actions(programme)- une organisation aunord ou au Sud impliquéedans la mise en oeuvre

2

1

3

5

4

1. Une partie-prenante s'interroge sur un objet particulier2. Elle commandite un dispositif d'analyse3. Ce dispositif observe et apprécie l'objet4. Il rend compte de ses observations aux parties-prenantes concernées5. Ces dernières prennent des décisions quant à l'objet(source : inspiré de Neu, 2001)

Une démarche à 3 acteurs et en 5 temps

7

R

apportprojet

avec avec etsans

sans

avantprojet

t

Comparer pour juger : par rapport à quoi ? La situation de référence

8

Intervention

Contexte international

Effets +

IMPACT

Impact = tous les changements significatifs entre une situation initiale et la situation actuelle dans les conditions de vie des populations

L’aire de changement concernée par une intervention

Triangle des effets = interactions du projet avec son environnement immédiat

Effets -

Activités

Importance relative des interventions et du contexte par rapport à l’impact

Contexte national

Local

Effets et impacts : le problème de l’attribution

9

� Les critères de conception :

La pertinence : adéquation du projet (de son objectif spécifique, sa stratégie) aux finalités (aux problèmes posés)

La cohérence : (cohérence entre stratégie du projet, logique d’intervention et différentes activités, contexte)

La réplicabilité : afin de formuler de nouveaux projets ou dans le cadre de programmes et politiques publiques

� Les critères de mise en œuvre ;L’efficacité : les réalisations répondent-elles aux attentes ? (adéquation des résultats attendus

à l’objectif du projet, mais souvent comparaison prévisions/réalisations)L’efficience : « productivité des moyens » (les moyens mobilisés pour le projet ont-ils été

utilisés de façon optimale), comparaison résultats et moyens (ou activités)

� Les critères portant sur son devenir :La viabilité (pérennité) : maintien des avantages nets dans le temps, résistance aux risques,

pérennité de l’action engagée une fois l’accompagnement ou le dispositif arrêté (viabilitééconomique et financière, juridico-institutionnelle, sociale ou environnementale)

L’impact : ensemble des effets, positifs et négatifs, primaires et secondaires, générés par une action de développement, directement ou non, intentionnellement ou non (technique, économique, social, environnemental, etc.)

Des critères pour évaluer

10

Le cadre logique : une base pour l’évaluation

Hiérarchie des objectifs

Indicateurs Objectivement Vérifiables

Moyens de vérification

Postulats et Risques

Objectif d’impacts

Objectifs d’effets

Résultats

Activités

11

Les étapes du déroulement d'une évaluation(source : Faivre Dupaigre 2001)

Décision d'évaluer

Organisation du dispositif et du processus

Rédaction destermes de référence

Sélection des évaluateurs

Réalisation de l'évaluation

Suivi et contrôle qualité évaluation

Restitution des résultatset diffusion

Utilisation et suivi des recommandations

Les étapes de déroulement d’une évaluation

� Avant : définir le type d’évaluation

(interne, externe, mixte), son

pilotage (groupe évaluatif), son

organisation et des objectifs (TdR)

� Après : s’interroger sur le

traitement et l’utilisation de

l’information. Quelles restitutions,

auprès de qui, comment et

pourquoi ?

Analyse des dossiers d’évaluation

13

Remarques liminaires

� Une réaction après lecture rapide de dossiers très différents

� De nombreuses limites pour l’analyse (méconnaissance de la thématique, du contexte d’intervention, des actions)

� Et donc un propos à prendre avec réserve

14

Réflexions générales en amont

� On se situe dans le domaine du « projet pédagogique »comme pratique éducative avec différentes finalités possibles (cf. Boutinet) :� Stimuler la motivation des apprenants

� Négocier des apprentissages concrets

� Augmenter l’efficacité du système de formation

� Entrée principale des évaluations : « rendre compte de l’impact éducatif » (changement de regards, de comportements, d’attitudes, pas seulement résultats sur connaissances et compétences)

� Identifier un impact ou une « plus-value » auprès de qui, sur quoi, par rapport à quoi, pourquoi ?

� Le problème de « l’objectivité » ou de « l’extériorité » de l’évaluation (nécessaire pour convaincre)

� Evaluer aussi pour apprendre. Veut-on identifier des propositions d’améliorations (et donc aussi les problèmes ou difficultés), des pistes futures (p.e. choix de la période en fonction de la programmation des activités culturelles locales) ?

15

Impacts et finalités de l’action

� Difficile de démontrer un impact des actions dont les finalités renvoient à la solidarité internationale et non à l’enjeu éducatif (« réduire la fracture numérique

Nord-Sud », inégalités N-S)

� Idem pour la pérennité d’un partenariat à moyen terme ( entre deux établissements scolaires)

16

Impacts et changements liés à l’action

� Plusieurs « aires » de changements proposées :

� En termes de « public » : les élèves, les équipes pédagogiques, les populations du Sud (?)

� En termes de « savoir-être » ? :

� le changement de regard des élèves sur le développement international (grâce aux nouvelles connaissances sur le pays, les cultures, les conditions de vie ; rencontres inter-culturelles, etc.),

� le changement de comportement face à l’apprentissage (plus actif dans les activités pédagogiques, travail en collectif, autonomie accrue sur certaines activités comme la réparation de matériels, la prise en charge de la logistique de certaines activités, etc.),

� le changement face aux autres matières enseignées (mathématiques réinvesties sur la compréhension des enjeux liés àl’eau, le travail en atelier pour les réparations, etc.) ou par l’investissement sur de nouveaux supports diversifiés (contes, journaux, internet, etc.).

17

Impacts et situation de référence sans action

� Le problème de construire la situation de référence sur les différentes « aires » et de démontrer l’attribution par rapport à l’action :� Mesurer la situation « avant » action comme référence, possibilité de comparer entre plusieurs classes, plusieurs années, plusieurs établissements ?

� Recueillir l’expérience des élèves directement (témoignages des changements vécus et des prises de conscience ?)

� Interpréter les changements dans les travaux, les comportements des élèves ?

18

Quels indicateurs ?

� Des « indicateurs objectivement vérifiables » (IOV) comme :� la participation aux activités (fonds ou outils collectés)

� le nombre de recherches (fréquentation CDI, club)

� la qualité des productions des élèves

� leurs connaissances (évaluation spécifiques, résultats scolaires en général ?)

� Certains très centrés sur l’action (plus indicateurs d’activités et de résultats que d’impact) comme les « lettres de

motivation » sur la prise de conscience des élèves à chaque étape de l’action

19

Autres sources d’information?

� D’autres sources trop générales avec un fort risque de « biais » et des difficultés d’attribution (impact sur

comportement quotidien, la mobilisation vis-à-vis des autres, la responsabilisation face aux enjeux du DD)

� Couplage des indicateurs avec des approches participatives intéressantes pour l’expression des élèves, mais avec un risque de « biais » au niveau de l’évaluation (si répétition d’activité) ?

20

Quels modes de collecte ? (1)

� Recueil d’IOV

� Recueil direct de l’expérience des élèves sur leur vécu dans l’action et ce qu’il a produit comme changement

� Intérêt du recueil de l’appréciation des partenaires (enseignants du Sud)

� Des questionnaires avec « biais » : risque de réponses soit systématiquement positives, soit choix « neutre » (si nombre de

choix impairs)

21

Quels modes de collecte ? (1)

� Apprécier les activités des élèves et leurs évolutions comme « marqueur » de changement de comportement� Journal (sources information, choix des rubriques, organisation, etc.)

� Animations par les élèves (auprès d’autres élèves)

� Activités spécifiques (avec « bonhommes »)

� Des pratiques spécifiques (risque de centrage sur l’évaluation des activités, mais vecteur possible du recueil de l’expérience vécue par les élèves) :� Activités spécifiques (avec « bonhommes » ou cibles symbolisant

l’appréciation des élèves)

Pour aller plus loin :

Bibliographie complémentaire et documentaire ?

23

IRAM, 1996 : L’évaluation, un outil au service de l’action, F3E,

70 p. (www.f3e.asso.fr)

Neu D., 2001 : Evaluer : apprécier la qualité pour faciliter la

décision, GRET, Document scientifique n°21, 91 p.

(www.gret.org)

Bibliographie complémentaire