CONGRÈS RÉGIONAUX 2008-2009CONGRÈS RÉGIONAUX 2008-2009Planifier, effectuer et utiliser l’évaluationPlanifier, effectuer et utiliser l’évaluation

Quelles expériences de l’évaluation avez-vous eues?

JOURNÉE DE L’ÉVALUATION DU

TRAVAIL

LENT

PARESSEUX

MAUVAISE ATTITUDE

IntroductionLes 3 composantes de l’évaluation de

programmes

Planification• Conception de l’évaluation

Exécution• Collecte des données, analyse, interprétation

Utilisation• Application et diffusion des résultats

La planification des évaluations

• On détermine les besoins en information : l’objectif de l’évaluation, la communication avec les partenaires

• On élabore une stratégie d’évaluation : modèle logique, indicateurs, mesures, questions, logistique

Qui pourriez-vous définir comme un partenaire clé?

L’exécution de l’évaluation

• Collecter et compiler les données

• Analyser les informations

• Rédiger des conclusions et des recommandations

• Écrire le rapport

L’utilisation des évaluations

• Élaborer un plan de communications• Élaborer des stratégies et des plans

d’action pour veiller à utiliser les résultats de l’évaluation

La planification des évaluationsÉtapes à suivre pour être prêts – facteur

critique pour le succès de l’évaluation :• Identifier les obstacles et les facilitateurs• Identifier et faire participer les partenaires

clés s’intéressant manifestement à l’évaluation

• Identifier un « champion » de l’évaluation• Faire des recherches sur les meilleures

pratiques existantes, les conceptions précédentes, les mesures et la bibliographie universitaire concernant le programme

La planification de l’évaluationLes étapes à suivre pour être prêts (suite)

• Collaborer avec d’autres agences pour développer un réseau de soutien

• Établir une compréhension de la raison pour laquelle l’évaluation est effectuée

• Élaborer un cadre d’évaluation, veiller à la participation des partenaires clés et du personnel

• Développer un modèle logique de programme

Planification de l’évaluation : élaborer un cadre d’évaluationÉtapes à suivre pour être prêts (suite)

• Formuler des questions d’évaluation• Identifier les indicateurs pour tous les

résultats mesurés• Choisir des mesures appropriées et des

sources d’information• Identifier la responsabilité de chacun pour la

collecte des données

Selon votre expérience, offrez des exemples de :

1) Deux obstacles que vous avez rencontrés dans la mise en vigueur de l’évaluation dans votre organisme, et…

2) Deux facilitateurs que vous avez rencontrés dans votre mise en vigueur de l’évaluation dans votre organisme.

Modèle logique de programmes

Un modèle logique est un diagramme visuel indiquant les relations causales entre les différentes composantes d’un programme, comme : relier les activités du programme aux résultats souhaités. C’est aussi le fondement de la conception des questions d’évaluation.

Modèles logiques de programme – Exemple

Entrées Activités Sorties Résultats

Que devrait avoir le programme pour bien fonctionner?  

Que devez-vous faire pour obtenir les résultats souhaités?

Combien de travail devez-vous faire pour combien de gens sur quelle période?

Quelle différence le programme fait-il pour la population cible?

Modèle logique de programmesComposantes :• Entrées – subventions et ressources • Activités – les produits livrables par le

programme; les services que vous fournissez• Sorties – ce qui est produit – les produits

tangibles résultant des activités • Résultats – les impacts du programme reliés

à la population cible se produisant à la suite de la prestation du programme

Modèle logique de programmesRésultats : À court terme – le client change ce qui peut être

directement attribué à la prestation du programme. Intermédiaire – le client change ce qui peut être

attribué directement à la prestation du programme; peut être relié aux objectifs à long terme des résultats à court terme

Objectif à long terme – Objectif global du programme; l’état idéal où les objectifs du programme ont été atteints; les besoins ou le problème de la communauté ont été abordés.

Modèle logique de programmes - Exemple

Coureur de marathon

Objectif : améliorer son rendement pendant la course par rapport à l’année dernière

Pouvez-vous identifier des entrées, des activités, des

sorties et des résultats pouvant être associés à ce programme de formation?

Modèle logique de programmes - Exemple• Entrées : nouvelles espadrilles; temps consacré à

l’entraînement pendant l’horaire quotidien; ressources pour l’entraînement; abonnement à un gymnase

• Activités : entraînement par intervalles; course de fond; entraînement de la force

• Sorties : 2 séances d’une heure d’entraînement de la force par semaine; 2 séances d’une heure d’entraînement par intervalles par semaine; 2 courses de fond de deux heures par semaine

• Résultats : vitesse accrue; endurance accrue

Les indicateurs et les mesures

Le verre est à moitié plein

Le verre est à moitié vide

À moitié plein… non! Attends! À moitié vide. Non! Et c’était quoi la question?

Hey! J’ai commandé un hambourgeois au fromage!

Les quatre types fondamentaux de personnalité

Les indicateurs et les mesuresIndicateurs : preuve que vous avez atteint votre

objectif et que les résultats ont été réalisés• Choisissez le résultat particulier que vous voulez

mesurer. Demandez « Comment saurez-vous que ce résultat a été réalisé? » « Quelle en est la preuve? » « Comment sera-t-elle mesurée? »

• Veuillez à la qualité, au caractère approprié et à l’intégrité des informations ainsi qu’à leur quantité – pouvoir de détecter les effets avec un fardeau minime sur les répondants en matière de fourniture d’information

ENTRÉES ACTIVITÉS SORTIES Résultats à court terme

Résultats intermédiaires

Résultat final

ÉVALUATION DES ÉVALUATION DES ÉVALUATION DESÉVALUATION DES PROCESSUS RÉSULTATS PROCESSUS RÉSULTATS

Les évaluations de processus

Questions clés :• Prestation de service – le degré auquel les

composantes du programme sont fournies comme prévu

• Couverture – étendue de la participation de la population cible au programme

• Biais – mesure dans laquelle les sous-groupes de la population cible désignés participent (ou ne participent pas)

Les évaluations de résultats

Questions clés :• Efficacité/impact du programme – le

programme est-il en mesure d’obtenir les résultats souhaités pour la population cible (soit changements au niveau des connaissances/compréhension, attitudes et comportement/fonctionnement)?

sur page distincte en Word

Activité : Élaboration du modèle logiqueObjectif à long terme :Population cible :

ENTRÉES(Ressources comme : $, personnel, équipement)

ACTIVITÉS(Services comme : counseling, approche, groupes de soutien)

RÉSULTATS(Impact ou efficacité du programme sur le client)

À COURT TERME

INTERMÉDIAIRE

SORTIES(Produits comme : nombre de classes, nombre de sessions)

Susan Kasprzak, adjointe de recherche

skasprzak@cheo.on.ca

Tanya Witteveen,adjointe de recherche

twitteveen@cheo.on.ca

Visitez notre site Web pour obtenir de plus amples

informations :

www.onthepoint.ca