Séminaire thématique sur l’évaluation destiné aux porteurs de projets du

programme LLP

Alexia PEYSEREliane GODELET

Xavier ROSYwww.bief.be Place des Peintres, 51348 Louvain-la-Neuve 010 / 45. 28.46

Agence AEF

23 novembre 2010

2

Objectifs de la journée d’évaluation

Objectifs Mieux définir l’évaluation dans le cadre des projets LLP et

l’intérêt de sa mise en œuvre Fournir des exemples d’outils et méthodes aux porteurs de

projet Initier ou valoriser un processus de culture de

l’évaluation au sein des projets

Moyens Présentation de bonnes pratiques provenant des porteurs de

projet Echange en atelier sur les expérience de mise en œuvre

d’actions d’évaluation et sur les améliorations possibles

3

le BIEF

Bureau d ’Ingénierie en Education et en Formation

o Equipe pluridisciplinaire de 20 personnes

o 22 ans d ’expériences au service de la formation dans

les administrations, entreprises et réseaux éducatifs.

o Formation et Accompagnement en Gestion de projet,

en Gestion des compétences, Formation de formateur,

…

o www.bief.be

4

8h30 ACCUEIL

9h00 Introduction (Présentation du déroulé de la journée de travail)

9h10

PARTIE 1 : « L’évaluation d’orientation »Présentation des enjeux de l’évaluation  d’orientationBonne pratique : Une ardeur d’enfance – EQUAL I et II - Sylvie Lefèbvre de PromemploiTravail en ateliers (60 minutes)

10h45 PAUSE

11h00

PARTIE 2 : « L’évaluation de régulation  »Présentation des enjeux de l’évaluation  de régulation

Bonne pratique : Projet Pass’Tic – Grundtvig - Sandra Langevin du Centre communal d'action sociale de la Commune de Carvin

Travail en ateliers (60 minutes)12h35 LUNCH

13h30

PARTIE 3 : « L’évaluation de validation  »Présentation des enjeux de l’évaluation de validationPrésentation de deux bonnes pratiques :-UCL Stage - Mobilité - Bart Stoffels de l’UCL-«3 ponts » Comenius - Marie-France Grégoire de l’école de 3 PontsTravail en ateliers (60 minutes)

15h05 Conclusions de la journée16h00 Fin de la journée

Agenda de la journée

5

Les thématiques abordées

Les 3 moments d’évaluation rencontrés au cours d’un projet:

Avant de débuter le projet: l’orientation (ex ante)Que fait-on et quels sont les objectifs prioritaires?

Pendant sa mise en œuvre: la régulation - suiviQue fait-on lorsque la planification est chamboulée?

A la fin du projet: la validation (éval. finale, ex post)A-t-on atteint le(s) objectif(s) visé(s)?

6

Le cycle de l’évaluation dans un projet

BIEF © 2010

Réguler

Valider

OrienterAvant le projet

Pendant le projet

En fin de projet

Nouveau projet?

Introduction

8

Et maintenant

une définition…

DE KETELE, 1989

9

Évaluer ?

L’évaluation est un processus

• en vue de prendre une décision.

qualifiant les objectifs à évaluer

- et un ensemble de critères et d’indicateurs

• et à examiner le degré d’adéquation entre

- cet ensemble d’informations

• à recueillir un ensemble d’informations

qui consiste

fiablesvalides,suffisamment pertinentes,

10

Les moments d’évaluation

Situation désirée

PROJET

RégulationEvaluation

à mi-parcoursEt continue

Validation Evaluation

finale

Validation Evaluation

de l’impact ou a posteriori

Situation présente Temps

Valeur ajoutée et impact

OrientationEvaluation

a priori

11

Recueil d’informations

Par qui: •Interne, externe•Responsable, N, N+1,

Auprès de: •Participants, clients, N; N+1,N+2, N-1,…

Où et comment:

•Sur le terrain : entretien, groupe de parole, observation questionnaire fermé/ouvert•En chambre : données, document,…

Quand: •A froid / à chaud•Avant, au début, pendant, à la fin, après

12

L’enjeu de la formalisation

Répond à plusieurs enjeux fondamentaux:

o Support de communication et d’échange interne et externeo Pérennisation:

• Pour la suite du projet ou les projets suivants• Eviter les même erreurs

o Facilite la décision

Afin d’éviter le piège d’une formalisation lourde :o Formaliser au niveau le plus proche du terraino Outils simples, cohérents, utilisables facilemento Penser à l’utilisation de l’info recueillie: quelle décision

prendre, quand et comment?

L’évaluation d’orientation

Partie 1

14

1. L'évaluation d'orientation

Décider o de l’orientation à prendre ex: objectifs à atteindre,

évaluation a priori

o des ressources à mobiliser, des priorités ex : faisabilité, o du lancement des actions ex : chance de réussite

Produit Débouche sur une (ou plusieurs) direction(s) avec indication de celle(s) à suivre

Objet de l’évaluation

Les potentialités (ce qui pourrait bien fonctionner)

et les risques (ce qui pourrait ne pas bien fonctionner)

Nature de la décision à prendre

Déterminer des objectifs

pertinents

15

Analyse des parties prenantes

Analyse de la situation actuelle

Identification de la situation souhaitée

Prioritisation des objectifs

2. Les étapes de l’orientation

16

Outil d’analyse des parties prenantes

Élevée

Actifs négatifs Actifs positifs

Faible

Passifs négatifs Passifs positifs

Influence

Position

Négative Positive

17

Analyse des parties prenantes

Analyse de la situation actuelle

Identification de la situation souhaitée

Prioritisation des objectifs

2. Les étapes de l’orientation II

18

Analyse de la situation actuelle

Objectifs o Relever la perception des différentes parties

prenantes sur la problématique actuelle

o Comparer les diverses perceptions afin d'aboutir à une compréhension commune

o Trianguler: croiser l’information afin d’en assurer la fiabilité

19

Analyse des parties prenantes

Analyse de la situation actuelle

Identification de la situation souhaitée

Prioritisation des objectifs

2. Les étapes de l’orientation III

20

L'analyse de la situation souhaitée

Objectif

o Décrire la « situation future idéale »  à atteindre

o Formulation sous forme d’objectifs à atteindre:• Les demandeurs d’emploi sont formés

• Les enfants de moins de 6 ans dans la province du Hainaut sont pris en charge durant la semaine

• …

21

Analyse des parties prenantes

Analyse de la situation actuelle

Identification de la situation souhaitée

Prioritisation des objectifs

2. Les étapes de l’orientation IV

22

Prioritisation des objectifs

L’objectif (à long terme) retenu peut être atteint de différentes manières ou en suivant différentes stratégies.

Quel sera le plus pertinent, le plus faisable et viable?

24

Pour une prise de décision orientée et argumentéde

Prendre en comptele contexte:

potentialités et risques

Favoriserune prise de

décisioncollégiale

Se baser sur les résultats

des expériences passées

Identifier les parties prenantes et prendre en

compte des besoins

Les facteurs de réussite d'un système d’orientation

L’évaluation de régulation -

Le suivi

Partie 2

26

2. L'évaluation de régulation

(Le suivi) Réguler en continu

o Remédier aux lacunes constatées o Décider des changements et ajustements à apporter en vue de

faciliter la réalisation des actions et l’atteinte des résultats o …

Objet de l’évaluation Les écarts (ce qui ne fonctionne pas)Les éléments inattendus qui bouleversent la mise en œuvre

Produit Débouche sur un diagnostic et sur une thérapeutique

Nature de la décision à prendre

Déterminer des objectifs

pertinents

27

Le suivi de la mise en oeuvre Composantes d’un suivi de qualité

Matrices / tableaux / systèmes pour la collecte de données

- Basés sur les outils de la planification: chronogramme, budget, …

- Facile et rapide dans l’utilisation Assigner des tâches et responsabilités :

- Qui collectera les données?

- Qui prendra les décisions?

- Qui les mettra en oeuvre?

- Qui doit être informé ?

- Quand et comment?

28

Responsabilités et prise de décisions: exemple

Acteur Collection de données

Prise de décisions(comment / sur quoi?)

Informer (qui / sur quoi / comment?)

Recevoir information (comment / de qui?)

Responsable sur le terrain

Au niveau des activités

Au niveau des activités - à moins que la décision n’affecte pas le budget ou le calendrier global

Informer le responsable du projet sur le progrès du projet + changements (réunion mensuelle + rapport trimestriel)

Fiches mensuelles sur le progrès des activités, préparées par les bénéficiaires

Responsable du projet

Au niveau des résultats

Décisions importantes au niveau des activités / en concertation avec le responsable sur le terrain.

Informer le directeur: rapport bi-mensuelInformer le bailleur de fonds: rapport bi-annuel

Fiches mensuelles sur le progrès du projet + rapport trimestriel du responsable sur le terrain

Directeur - Doivent être impliqués quand on prend des décisions importantes qui affectent le calendrier, le budget ou les objectifs

Révision du rapport bi-annuel pour le bailleur de fonds

Rapport bi-mensuel du responsable du projet

Bailleur de fonds

- - Rapport bi-annuel

29

Diganostic etthérapeutique

Prévoir un outil d’évaluation

pratique

Règles et procédures de prise de décision spécifiés à l'avance

Mener une collecte d'information et un rapportage simples automatismes(formalisation)

Les facteurs de réussite d'une phase de suivi

Mettre enoeuvre lesdécisions

L’évaluation finale(Validation)

Partie 3

31

3. L'évaluation finale

Décider o de la réussite ou de l’échec du projeto de la poursuite ou de l’arrêt des actions

Objet de l’évaluationLes réussites (ce qui fonctionne bien)Éventuellement, les erreurs afin de "donner du sens" à l'évaluation.

Produit Débouche sur une preuvese réfère aux indicateurs prouvant l’atteinte des objectifs et des résultats intermédiaires

Nature de la décision à prendre

Déterminer des objectifs

pertinents

32

Évaluation finale : Qui?

Auto-évaluation: les évalués = les évaluateurs

Evaluation interne: les évaluateurs les évalués , mais

appartiennent à la même structure / organisation

Evaluation externe: les évalués les évaluateurs

Evaluation assistée: les évaluateurs externes appuient le

processus d’évaluation interne (facilitation, proposer / concevoir

des techniques et méthodologie, analyse des résultats, etc.)

33

Les conditions de réussite de la phase d’évaluation finale

Preuve de réussite/échec

Proposer des recommendations

pour la suite

TdR clairs,Précis et

opérationnels

Sourcesd’informationdisponibles

Appropriationdes résultats par

les parties prenantes

34

Termes de Référence (TdR) : outil de gestion d’une évaluation finale

Ils définissent les objectifs de l’évaluation

Ils seront la base pour apprécier l'exécution de la mission d’évaluation

Pour les consultants, ils formeront une légitimation pour exécuter leur tâche

35

Format de base des TdR

1. Données de base: contexte général, spécifique2. Buts du projet: résultats attendus3. Etapes du projet4. Modalités de mise en œuvre du projet5. Propositions financières

Le déroulement des ateliers

37

Déroulement de l’atelier

Objectif : o Echanger sur vos pratiques par petits groupeso Et sur les améliorations possibles:

formalisation, aide à la décision, participation

Quand: après chaque présentation de la phase et d’une bonne pratique

Durée: 60 minutes

38

Le déroulé de chaque atelier

1 Présentation de l’étape et des consignes: •présentation des 3 slides•Répartition par sous-groupe•Consignes et un rapporteur par groupe

5 minutes

2 Travail en 3 sous-groupes de 10 personnes

25 minutes

3 Restitution des données de chaque sous-groupe dans le groupe de 30

12 minutes

4 Discussions, conclusions:•Question: Que pourriez-vous améliorer?

15 minutes

39

Déroulement de l’atelier

Concrètement :

o 3 atelierso 30 personnes par atelier

(groupe imposé par l’AEF) o 1 animateur BIEF par ateliero Dans chaque atelier, travail en 3 sous-groupes de 10

participantso L’animateur BIEF rapporte les résultats de l’atelier en

plénière en fin de journée