Cadre de référence en évaluationLes diverses facettes de l’évaluation à la HES-SO : document de clarification

2

Cadre de référence

Introduction

La HES-SO s’attache depuis plusieurs années à développer une politique interne en matière d’assurance qualité. Avec l’entrée en vigueur de la Loi sur l’encouragement et la co-ordination des Hautes Ecoles (LEHE) au 1er janvier 2015, la HES-SO et l’ensemble de ses composantes (domaines, hautes écoles, hautes écoles (inter)cantonales et rectorat) souhaitent asseoir un système d’assurance qualité qui permette à la fois de vérifier que la qualité est présente dans toutes activités mais également d’encourager l’amélioration continue à tous les niveaux. La culture qualité telle que promue à la HES-SO couvre tant les démarches que les instruments, critères et benchmarks. L’évaluation se trouve donc au cœur de cette représentation de la culture qualité à la HES-SO.

Public concerné

Ce cadre de référence s’adresse à toute personne concernée par des évaluations, toutes missions (enseignement, re-cherche, prestation de services, politique institutionnelle) et composantes de la HES-SO confondues.

Objectif du cadre de référence

Il a pour objectif de rassembler, rappeler et marquer par quelques jalons les pratiques évaluatives générales de la HES-SO.

Il propose des définitions communes de concepts-clés qui devraient permettre aux diverses personnes impliquées dans une évaluation de travailler en compréhension réciproque. Il présente l’approche évaluative que le dicastère Qualité propose de privilégier. Les finalités d’une démarche éval-uative, des exemples d’évaluations les plus courantes à la HES-SO, ainsi que les aspects pouvant être évalués sont également identifiés. Pour favoriser le développement d’une culture d’évaluation, ce cadre de référence suggère quelques questionnements pour chaque étape d’une démarche éval-uative. Enfin, la HES-SO a choisi, par l’entremise de son dicastère Qualité, de mettre à disposition des ressources qui viennent en appui aux personnes concernées par des évaluations au sein de la HES-SO. Les coordonnées de ces ressources figurent dans ce document.

Ce cadre de référence n’est pas un document figé. Il est évolutif et demande à être complété, révisé et bonifié régulièrement par les enseignements tirés de la pratique.

Ancrage des outils au cadre de référence

L’ensemble des démarches et outils proposés par le dicast-ère Qualité s’ancre à ce cadre de référence.

3

Par « Canevas », le dicastère Qualité entend un document qui présente une structure utile pour la production d’un écrit en vue d’un travail évaluatif particulier.

Par « Guide » le dicastère Qualité entend un document complet présentant les éléments théoriques, l’approche et la démarche recommandées pour orienter les personnes con-cernées par une évaluation en particulier.

Par « Boussole », le dicastère Qualité entend un docu-ment court, généralement lié à un Guide, qui ne reprend que les éléments pratiques orientant directement les personnes

Ancrage des outils d’aide à l’évaluation

s’inscrivant dans une démarche pour une évaluation en particulier.

Par « Liste de contrôle », le dicastère Qualité entend un document qui présente pas à pas les étapes à ne pas négliger et donc les points à vérifier pour toute personne amenée à entreprendre une action liée à une évaluation en particulier.

Par « Formation », le dicastère Qualité entend toute activité de formation organisée par le Centre DevPro ou par d’autres services du Rectorat, généralement orientée vers un public particulier concerné par des démarches d’évaluation.

Cadre de référence en

évaluation (document

évolutif)

Canevas

Listes decontrôle

Guides

Boussoles

Formations

4

Cadre de référence

Système d’assurance qualité

Le système d’assurance qualité tel que compris par la HES-SO, « est un ensemble complet et cohérent de pratiques, de démarches, de processus et d’instruments visant à documenter, suivre, évaluer et améliorer les ac-tivités académiques et la conduite de l’institution, et cela de manière continue et permanente ». (HES-SO, 2015a)

Accréditation

Une accréditation est un examen ponctuel, une étape formelle à passer à un temps fixe et donnant lieu à une attestation selon des exigences/standards explicites. (HES-SO, 2015a) Depuis l’entrée en vigueur de la LEHE, en janvier 2015, il n’existe plus qu’une seule forme d’ac-créditation obligatoire pour la HES-SO, l’accréditation institutionnelle. Les filières d’études, à l’exception des filières du domaine Santé, ne sont en effet plus con-traintes de suivre une démarche d’accréditation, mais s’inscrivent désormais dans une démarche d’évaluation et d’amélioration continue pilotée au sein même de la HES-SO.

Analyse environnementale

Une analyse environnementale est l’action d’identifier des informations pertinentes au regard des différents contextes afin d’appuyer un projet d’activité ou un dével-oppement stratégique. Si le degré d’analyse des divers aspects peut varier, les questions fondamentales restent toujours les mêmes. Il s’agit de chercher à comprendre le bien-fondé du projet, soit les raisons qui justifient la mise en place de l’activité et de savoir s’il n’y a pas mieux que ce projet d’activité. Prise au sens large dans l’ensei-gnement supérieur, elle vise à établir la pertinence de l’activité projetée, c’est-à-dire à démontrer l’adéquation du projet aux besoins scientifiques, socio-économiques, systémiques et institutionnels qu’il entend combler.

Audit

Au même titre que l’évaluation, l’audit est une démarche d’amélioration continue de la qualité, utilisée pour évaluer le niveau de satisfaction des exigences relatives au système de management. L’audit peut être interne ou externe (seconde ou tierce partie). Lorsqu’il est centré sur le contrôle, il permet de vérifier le niveau de conformité vis-à-vis des exigences légales, réglementaires et contractuelles, qu’elles soient d’ordre interne ou externe (audit financier par exemple). L’audit peut être assimilé à de l’évaluation lorsqu’il mesure l’efficacité, l’efficience d’une activité (audit de la performance).

Evaluation

Dans une acception large, l’évaluation est l’acte qui permet de poser un jugement crédible selon une démarche critique fondée sur une collecte systématique de données dans le but d’aider la prise de décision. (Ridde et Dagenais, 2012)

Autoévaluation

Une autoévaluation est une démarche évaluative réalisée par ceux qui ont la responsabilité de concevoir et de mettre en œuvre l’activité évaluée. (OCDE, 2002) Elle prend la plu-part du temps la forme d’un rapport et précède souvent une évaluation interne ou externe conduite par des experts/pairs.

Evaluation interne

Une évaluation interne est une démarche évaluative menée par des services et/ou personnes (experts/pairs internes) provenant de l’organisation qui mandate l’évaluation et/ou de l’organisation qui a la responsabilité de concevoir et de mettre en œuvre l’activité évaluée. L’évaluation interne se base souvent, mais pas nécessairement ni exclusivement, sur les éléments fournis dans un rapport d’autoévaluation. L’évaluation interne peut comporter une visite des experts/pairs internes, et ses résultats font généralement l’objet d’un rapport avec recommandations d’amélioration.

1 Pour d’autres définitions, des glossaires de termes d’évaluation existent.

Voir Intranet -> Qualité -> Conseil à l’évaluation

Définitions de concepts clés1

5

Evaluation externe

Une évaluation externe est une démarche évaluative menée par des services et/ou personnes (experts/pairs externes) ne provenant pas de l’organisation qui mandate l’évalu-ation, ni de l’organisation qui est chargée de la mise en œuvre de l’activité évaluée. L’évaluation externe se base souvent, mais pas nécessairement ni exclusivement, sur les éléments fournis dans un rapport d’autoévaluation. L’évaluation externe comporte en principe une visite d’ex-perts/pairs externes, et ses résultats font généralement l’objet d’un rapport avec recommandations d’amélioration.

Culture d’évaluation

La notion de culture d’évaluation renvoie à l’importance qu’une organisation accorde à la fonction d’évaluation ainsi qu’à la façon dont elle la conçoit et l’exerce. Comme toute culture, elle ne peut prendre racine que par l’adhésion des membres de l’organisation. (Hurteau et al., 2011)

Evaluation formative

Une évaluation formative vise à améliorer les performan- ces. Elle a lieu généralement durant la mise en œuvre de l’activité évaluée de manière à la perfectionner par ses recommandations (souvent des évaluations de mi-parcours ou de processus). Il s’agit donc de « tirer des leçons » ou de « former » en continu.

Evaluation sommative

Une évaluation sommative (certificative ou administrative) est rétrospective. Elle a lieu généralement après l’activité ou une fois que celle-ci est stabilisée. Elle est un moyen de contrôle ou de vérification pour les décideurs.

Aspect pouvant être évalué

Dans une section suivante, nous parlons d’ « aspects pouvant être évalués ». Dans la pratique certaines évalu-

atrices et évaluateurs parlent de types d’évaluation, d’ob-jet d’évaluation et même de critères d’évaluation au sens large, ce qui porte souvent à confusion. Pour faciliter une compréhension commune et éviter les malentendus, nous utilisons le terme « aspect ». En s’interrogeant donc sur l’aspect de l’activité qu’il convient d’évaluer pour aider à la décision, la personne qui évalue définit les paramètres de l’évaluation – ses objectifs, ses questions d’évaluation et cela l’amènera tout naturellement à identifier les standards / principes / critères à utiliser.

Standard / principe / critère

En général, l’évaluation suppose que des normes ap-propriées soient définies pour que l’efficacité (perfor-mance) de l’activité évaluée puisse être appréciée. Ces standards fixent les résultats attendus. Les résultats obtenus sont jugés à l’aune des résultats attendus et des leçons peuvent être tirées de ces analyses (présentées souvent sous la forme de recommandations).

Les standards de qualité s’appliquant à l’accréditation institutionnelle définis dans les Directives du Conseil des hautes écoles pour l’accréditation dans le domaine des hautes écoles en sont un exemple.

Dans le cadre de l’accréditation institutionnelle, la HES-SO a choisi, pour mieux s’approprier ces standards, de les décliner en principes. Le terme de « principe institutionnel » est alors utilisé pour se référer à des principes internes librement choisis par la HES-SO et permet de se démarquer ainsi des standards externes à la HES-SO.

La notion de « critère » est très souvent utilisée en évaluation. Au sein de la HES-SO, son usage est recom-mandé au niveau des composantes pour décliner des standards ou principes institutionnels existants ou non.

Nomenclature recommandée

Environnement externe (scientifique, artistique, professionnel, économique, politique, etc.)

HES-SO

Missions, activité, composante

Standard

Principes institutionnels

Critères

6

Cadre de référence

Indicateur

La notion d’indicateur se réfère à une dimension tangi-ble, c’est-à-dire une information concrète, qualitative ou quantitative, qui est représentative d’un phénomène. Autrement dit, un indicateur est un élément observable qui confirme un phénomène et permet d’en mesurer le niveau. (Figari et Remaud, 2014)

Il en existe de plusieurs types : indicateurs de contexte qui qualifient une situation ; indicateurs de réalisation qui

2 MacDonald (2011) propose une liste de contrôle aidant à identifier des

indicateurs performants.

décrivent ce qui a été fait ; indicateurs de performance qui renseignent sur l’atteinte des objectifs ; indicateurs d’impacts qui attestent des effets de l’intervention. (Ridde et Dagenais, 2012)

Un « bon » indicateur est un marqueur performant, utile et pertinent. Le choix du « bon » indicateur doit en outre tenir compte du contexte. 2

7

Approche évaluative

L’approche évaluative proposée se veut ancrée dans le milieu de pratique de la HES-SO, institution unique marquée par la diversification, l’asymétrie et la décentralisation, et qui valorise la collaboration, l’échange, et la communication entre ses composantes et entre les personnes mêmes. De ce point de vue, une grande importance est attachée au respect de la réalité des composantes, de leurs critères locaux, de leurs stratégies d’actions et de leurs modes de pilotage.

L’approche recommandée se veut participative et form-ative de manière à intégrer les personnes concernées par une démarche d’évaluation dans toutes les étapes de sa conception à sa réalisation, et à faciliter l’apprentissage

en continu. Ce choix est non seulement motivé par des considérations pratiques, politiques et méthodologiques, mais également encouragé par les standards nationaux d’accréditation utilisés par exemple par l’Agence suisse d’accréditation et d’assurance qualité (AAQ).

Le dicastère Qualité préconise l’adoption d’une vision systémique par la clarification du contexte et des liens entre les éléments de l’activité évaluée (cibles, ressources, activités de mise en œuvre, résultats, objectifs). Retracer la logique de l’activité évaluée améliore non seulement la compréhension générale qu’on en a, mais permet aussi de mieux structurer le soutien et en faire bénéficier le système tout entier.

Favoriser de nouvelles pratiques

Optimiser l’allocation des ressources

Rendre plus visible

Promouvoir le débat

Renforcer la com-préhension de l’activité

Développer la capacité d’émancipation

Améliorer l’activité et le(s) système(s)

Soutenir la prise de décision

Evaluer pour

Différentes raisons d’évaluer

8

Cadre de référence

Mission enseignement3

Evaluation des apprentissages

Parlant d’évaluation des apprentissages des étudiant-e-s, il faut particulièrement distinguer l’évaluation formative (destinée à soutenir le processus d’apprentissage pendant le déroulement de l’enseignement) et l’évaluation somma-tive (destinée à juger de la réussite ou de l’échec à l’issue de l’enseignement), qui peuvent différer selon les types d’instruments utilisés ainsi que l’usage ou non de notes. Différentes autres nuances existent notamment pour se référer à des évaluations effectuées à différents moments durant le déroulement de l’enseignement (contrôle continu ou examen final) ou pour distinguer des buts spécifiques ainsi que des modalités particulières de réalisation.

Evaluation des enseignements

Il s’agit d’un dispositif qui recueille selon une systématique des données portant sur les enseignements (cours, sémi-naires, travaux pratiques, stages, etc.), de façon à contribuer à la vérification et à l’amélioration de la qualité de ceux-ci (par la rétroaction à l’enseignant-e notamment). La source d’information la plus souvent privilégiée est l’opinion des étudiant-e-s. Toutefois, il est recommandé de diversifier ses sources d’informations et d’employer des moyens variés afin de rendre ce dispositif plus crédible. Il faut encore noter que les buts, moyens et manières de l’organiser varient selon que l’évaluation des enseignements est organisée et pilotée par l’institution ou conduite par l’enseignant-e.

Exemples d’évaluation les plus courantes à l’HES-SO

3 La HES-SO dispose d’un glossaire pour sa mission enseignement dont partie

des définitions suivantes sont tirées. (HES-SO, 2012).

Évaluations les plus courantes

Enseignement

Evaluation des apprentissages

Evaluation des enseignements

Evaluation des filières d’études

Ra&D

Evaluation de la recherche appliquée et développement

Evaluation des projets*

Evaluation des instituts*

Politiques institutionnelles

Evaluation des politiques institutionnelles

Evaluation de la convention d’objectifs

Evaluation des mandats de prestations

Evaluation du personnel lors d’entretien annuel*

Prestation de service

Evaluation des prestations de services

*Ces exemples ne sont pas présentés ci-après.

Cette section présente des exemples d’évaluation les plus courantes au sein de la HES-SO. Cette liste n’est ni exhaustive, ni figée, bien au contraire. Ces exemples sont classés ici selon les trois missions académiques fondamentales de la HES-SO que sont l’enseignement, la recherche appliquée et le développement, ainsi que les prestations de service, auxquelles s’ajoutent les missions de soutien que constituent les politiques institutionnelles.

9

Evaluation de filières d’études

Depuis le 1er janvier 2015, les HES, à l’instar des hautes écoles universitaires (HEU), n’ont plus à soumettre à une accréditation externe leurs filières d’études (à l’exception des filières bachelor du domaine de la santé). La HES-SO s’est donc dotée d’une démarche d’évaluation pour ses filières d’études, dans le cadre de la mise en place de son système d’assurance qualité. Ce développement est con-sidéré comme une condition sine qua non pour réussir l’accréditation institutionnelle.

La nouvelle démarche d’évaluation de filières d’études se découpe en plusieurs étapes dans un but d’améliora-tion continue et permanente. Elle comporte à chacune de ses étapes une autoévaluation. Une évaluation interne et une évaluation externe basées toutes deux sur les rapports d’autoévaluation qui interviennent à certaines de ces étapes.4

Mission recherche appliquée et développement

Evaluation des activités de Ra&D

La Ra&D constitue une mission académique fondamentale d’une institution d’enseignement supérieur. La produc-tion scientifique ou artistique d’une telle institution est généralement évaluée par les pairs.

Pour assurer la qualité des pratiques de recherche et renforcer la qualité des prestations fournies, vis-à-vis notamment des partenaires scientifiques et artistiques, des partenaires professionnels et des bailleurs de fonds, la HES-SO s’est fixée comme objectif de mettre en place des démarches d’évaluation des pratiques de recherche. Les premières réflexions en la matière ont débuté au printemps 2015.

Mission prestations de service

Evaluation des prestations de service

A l’image des autres activités académiques, les prestations de service devront faire elles aussi l’objet d’une évaluation périodique. Les objectifs et les modalités d’évaluation seront définis ultérieurement.

Politiques institutionnelles

Evaluation des politiques institutionnelles

Les différentes politiques institutionnelles mises en œu-vre à l’échelle de la HES-SO, ou à l’échelle d’un domaine ou d’une haute école, font depuis longtemps l’objet d’évalua-tions, ne serait-ce que quand les instances qui les prom-ulguent évaluent l’opportunité de les reconduire ou de les adapter. Progressivement, la HES-SO souhaite systéma-tiser et consolider l’évaluation périodique des politiques mises en œuvre au sein de la HES-SO, qu’il s’agisse d’égalité des chances, des systèmes d’information, de la politique du personnel et de relève ou du système de financement.

Evaluation de la convention d’objectifs et des mandats de prestations

Le développement de la HES-SO et de ses composantes s’inscrit dans un cycle stratégique de quatre ans, qui se concrétise par un exercice de planification stratégique et la conclusion d’une convention d’objectifs et de mandats de prestations quadriennaux. L’élaboration et la mise en œuvre de ces instruments de conduite académique et institutionnelle font également l’objet d’une évaluation, dans une perspective d’amélioration continue des pratiques.

4 Tous les détails de cette démarche d’évaluation des filières

sont décrits dans le document Démarche d’évaluation des filières

d’études/orientations (HES-SO, 2015b)

10

Cadre de référence

Pour chacun des exemples d’évaluation mentionnés ci-dessus et pour toutes les évaluations en général, il est nécessaire de s’interroger sur le ou les aspect(s) de l’activité qu’il convient d’évaluer. Cette réflexion est menée afin de répondre de

la manière la plus adéquate et utile possible aux attentes (fit for purpose) en vue d’une prise de décision.

Aspects pouvant être évalués

Aspect

Pertinence Besoins

Cohérence

Mise en œuvre Processus

Impacts Effets

Efficacité

Efficience b

Rendement relatif 0

Valeur

Explications

La personne qui évalue juge le bien-fondé de l’activité évaluée et donc la raison d’être de sa mise en place.

La personne qui évalue juge la logique de l’activité évaluée, à savoir si les cibles, ressources, activités de mise en œuvre, résultats et objectifs sont liés de manière adéquate.

La personne qui évalue cherche à faire le point sur ce qui est en cours et juge si l’on s’écarte, dans les faits, de la logique ou du rationnel pensé pour l’activité évaluée.

La personne qui évalue juge le(s) changement(s) voulu(s) ou non, attribuable(s) directement ou indirectement à l’activité évaluée. Il examine l’état de la cible avant et après l’activité, soit de la situation problématique qui devait être changée. Il est souvent difficile de distinguer alors le(s) impact(s) net(s) attribué(s) à l’activité évaluée des impact(s) brut(s), c’est-à-dire les changements de situation qui peuvent être liés à d’autres effets (extérieurs à l’activité évaluée).

La personne qui évalue juge la performance et la rentabilité de l’activité évaluée, et donc vérifie si les objectifs qui ont été définis au préalable ont été atteints. On compare alors les résultats obtenus avec les résultats attendus (planifiés) de l’activité évaluée.

La personne qui évalue juge le lien entre l’atteinte des objectifs (efficacité) et les efforts investis (ressources). L’analyse coût-bénéfice s’inscrit dans ce type d’évaluation. b

La personne qui évalue juge la capacité de l’activité évaluée à améliorer la situation visée en la comparant à d’autres activi-tés similaires qui ont été réalisées.

La personne qui évalue juge la capacité de l’activité évaluée à améliorer la situation visée en la comparant à d’autres activi-tés qui ne sont pas similaires et qui ont porté sur d’autres situations.

11

Explications

La personne qui évalue juge le bien-fondé de l’activité évaluée et donc la raison d’être de sa mise en place.

La personne qui évalue juge la logique de l’activité évaluée, à savoir si les cibles, ressources, activités de mise en œuvre, résultats et objectifs sont liés de manière adéquate.

La personne qui évalue cherche à faire le point sur ce qui est en cours et juge si l’on s’écarte, dans les faits, de la logique ou du rationnel pensé pour l’activité évaluée.

La personne qui évalue juge le(s) changement(s) voulu(s) ou non, attribuable(s) directement ou indirectement à l’activité évaluée. Il examine l’état de la cible avant et après l’activité, soit de la situation problématique qui devait être changée. Il est souvent difficile de distinguer alors le(s) impact(s) net(s) attribué(s) à l’activité évaluée des impact(s) brut(s), c’est-à-dire les changements de situation qui peuvent être liés à d’autres effets (extérieurs à l’activité évaluée).

La personne qui évalue juge la performance et la rentabilité de l’activité évaluée, et donc vérifie si les objectifs qui ont été définis au préalable ont été atteints. On compare alors les résultats obtenus avec les résultats attendus (planifiés) de l’activité évaluée.

La personne qui évalue juge le lien entre l’atteinte des objectifs (efficacité) et les efforts investis (ressources). L’analyse coût-bénéfice s’inscrit dans ce type d’évaluation. b

La personne qui évalue juge la capacité de l’activité évaluée à améliorer la situation visée en la comparant à d’autres activi-tés similaires qui ont été réalisées.

La personne qui évalue juge la capacité de l’activité évaluée à améliorer la situation visée en la comparant à d’autres activi-tés qui ne sont pas similaires et qui ont porté sur d’autres situations.

Mots clés

Pertinence, besoin, analyse environnementale, analyse de marché, attentes, intentions, raison d’être, bien fondé, ex ante, appréciation préalable, etc.

Cohérence, modularité, tuilage, logique, etc..

Mise en œuvre, processus, nature, implantation, mi-parcours, suivi de performances, logique, etc.

Impact, effet, outcomes, court terme, moyen terme, long terme, direct, indirect, observé, négatif, positif, attendus, etc 0

Efficacité, résultat obtenu, résultat souhaité, objectif, rentabilité, performance, succès, réussite, analyse coût-efficacité, audit de performance, ex post, etc.

Efficience, objectif, effort, investissement, rentabilité, analyse coût-bénéfice, ex post, etc. 0

Rendement relatif, comparaison, benchmark, etc.

Valeur, comparaison, raison d’être, bien-fondé, contribution, portée, mérite, etc.

12

Cadre de référence

Toute démarche évaluative suit un déroulement par étapes. Les trois principales étapes reconnues par la grande ma-jorité des évaluatrices et évaluateurs sont résumées ici.

Les personnes intéressées à en savoir plus sont invitées à consulter les standards de la Société suisse d’évalua-tion (SEVAL) qui servent de base et de soutien pour la planification et la réalisation des évaluations dans notre pays. Ces standards généraux constituent une référence pour le suivi de la qualité tout au long des démarches évaluatives. (Widmer et al. 2000)

1. Planification

La gestion de l’évaluation et la détermination du rôle de chacun et des ressources disponibles sont décidées du-rant cette première étape.

La définition de l’activité évaluée et l’identification de son système logique ont lieu ici.

Les paramètres de l’évaluation, soit la réflexion sur le ou les aspects de l’activité qu’il convient d’évaluer pour aider à la décision, les questions et méthodes d’évaluation sont également précisées avant la phase de réalisation.

L’étude d’évaluabilité trouve sa place lors de cette étape.

Exemples de questionnements 5 :

• Quelles doivent être les parties prenantes de l’évalua-tion ?

• Comment identifier les parties prenantes et les impliquer dans l’évaluation ?

• Qui aura le pouvoir décisionnel dans l’évaluation ?

• Qui prodiguera des conseils ou fera des recommanda-tions sur l’évaluation ?

• Quels seront les processus utilisés pour la prise de décisions ?

• Qui sera responsable de l’évaluation ?

• Quelles seront les ressources nécessaires à l’évaluation et comment les obtenir ?

• Comment aborder les questions éthiques ?

• Que faire pour concevoir, planifier et mettre en œuvre l’évaluation ? Quels documents de planification faut-il créer ?

• Qu’est-ce qui doit être évalué ?

• Comment se déroule l’activité ?

• Quels aspects de l’activité évaluer ?

• Quels sont les résultats inattendus potentiels (positifs et négatifs) qui seront important à souligner dans l’éva- luation ?

• Quels seront les principaux utilisateurs prévus de cette évaluation ?

• Quels sont les principaux objectifs et les utilisations prévues de l’évaluation ?

• Quelles sont les questions prioritaires auxquelles l’éva- luation cherche à répondre ?

• Quels devraient être les critères et normes pour juger de la performance ? Sur quelle base les critères et les normes doivent-ils être déterminés ?

• Quelles stratégies d’échantillonnage utiliser pour la collecte de données ?

• Quelles seront les mesures ou indicateurs utilisés ?

• Existent-ils ou faut-il les développer ?

• Comment colliger et/ou récupérer les données sur les activités, résultats, contextes et autres facteurs ?

• Comment organiser et conserver les données et s’as-surer de leur qualité ?

• Comment combiner les données qualitatives et quantitatives ?

5 Tous les exemples de questionnements présentés dans

ce chapitre sont tirés de BETTEREVALUATION (2014)

Grandes étapes et questions clés

13

• Comment faire ressortir les tendances des données numériques ou textuelles ?

• Comment afficher les données ?

• Comment évaluer l’évaluation, son plan, déroulement, processus et rapport ? (métaévaluation)

2. Réalisation

Durant cette seconde étape, l’évaluateur collecte, traite, analyse et synthétise les données. Il élabore son juge-ment selon la démarche qu’il a déterminée avec les parties prenantes lors de la première étape.

Exemples de questionnements :

• Comment vérifier que les résultats obtenus sont cohé-rents avec la logique qui sous-tend l’activité évaluée ?

• Comment comparer les faits au contrefactuel, c’est-à-dire à ce qui serait arrivé sans l’activité évaluée ?

• Comment prévoir la vérification des autres explications possibles ?

• Comment synthétiser les données à partir d’une seule évaluation ?

• A-t-on besoin de faire une synthèse des données de plusieurs évaluations ? Si oui, comment procéder ? (évaluation longitudinale)

• Comment les résultats de l’évaluation de l’activité peuvent-ils être généralisés à d’autres activités ?

3. Présentation des résultats

Il est crucial de présenter les résultats afin qu’ils soient utiles pour les utilisateurs de l’évaluation et les aider à en faire l’usage prévu. Les réponses à toutes les questions d’évaluation doivent figurer dans un livrable. Des recom-mandations sont également indiquées dans celui-ci si la demande avait été explicitée au préalable par le mandant.

Le livrable peut prendre différentes formes qui sont pré-cisées au début du mandat (rapport intermédiaire, final, présentation, tableau, etc.).

Exemples de questionnements :

• Quel est l’échéancier et le format du livrable prévu pour la présentation des résultats ?

• Quels sont les types de présentation de résultats pour les utilisateurs envisagés ?

• Comment rendre les résultats présentés faciles d’accès et utiles pour les différents utilisateurs ?

• Est-ce que l’évaluation va inclure des recommandations ? Si oui, comment les développer, valider et par qui ?

• En plus d’engager la participation des utilisateurs dans le processus d’évaluation selon une démarche partici-pative, comment soutenir l’utilisation des résultats ?

4. Métaévaluation (évaluation de l’évaluation)

Revoir l’évaluation et tirer des conclusions pour améliorer le processus évaluatif.

Exemples de questionnements :

• Sous quelle forme produire une métaévaluation ?

• Quand procéder à une métaévaluation ?

• Qui inclure dans le processus de métaévaluation ?

• Quelles sont les ressources pour une métaévaluation ?

14

Cadre de référence

Ressources de soutienLa HES-SO par l’entremise de ses dicastères Qualité et Enseignement met à disposition de toute personne concernée par des évaluations un certain nombre de ressources de soutien.

IntranetInformations, outils, documents utiles, glossaires, liens, contacts et événements à venir sont publiés et mis à jour sur le site Intranet de la HES-SO. -> Qualité et accréditation -> Conseil à l’évaluation

Pour des questions liées au système d’assurance qualité de la HES-SO Denis-Berthiaume, Vice-recteur Qualitédenis.berthiaume@hes-so.ch

Pour des questions liées à l’accréditation institutionnelle Patrice Hof, Chef du Service Accréditation Pilotage et Evaluation (SAPE) patrice.hof@hes-so.ch

Pour des questions liées à l’aide au pilotage et aux collectes de données quantitativesPatrizia Simeone,Responsable de l’Unité Aide au pilotagepatrizia.simeone@hes-so.ch

Pour des questions liées à l’évaluationet aux collectes de données qualitativesSophie Ruchat, Conseillère à l’évaluationsophie.ruchat@hes-so.ch

Pour des questions liées à l’évaluation des appren- tissages et à l’évaluation des enseignementsGabriel Eckert, Conseiller pédagogiquegabriel.eckert@hes-so.ch

Pour des questions liées à l’évaluation des filières d’études bachelor, master et formation continueLaurent Dutoit, Adjoint au vice-recteur Enseignementlaurent.dutoit@hes-so.ch

Sophie Barbaza Simonot, Responsable autoévaluation de filièressophie.barbaza@hes-so.ch

Pour des questions liées à la qualité au sein de hautes écoles Laurent Donato, Responsable qualité HES-SO//Fribourglaurent.donato@hefr.ch

Didier Folzer, Responsable de la Qualité et des Relations internationales, HE Arcdidier.folzer@he-arc.ch

Arturo Hernandez, Responsable qualité HES-SO//Genève arturo.hernandez@hesge.ch

François Roduit, Responsable système de management intégré HES-SO //Valais-Wallis francois.roduit@hevs.ch

15

Références

BETTEREVALUATION — Planifier une évaluation : Utilisation du cadre de référence Arc-en-ciel, Disponible sur http://betterevaluation.org/sites/default/files/Rainbow%20Framework%20-%20compact%20version-fr.pdf (février 2014)

HES-SO. (2015a) — Système d’assurance Qualité de la HES-SO, version 7 du 27 mars 2015

HES-SO. (2015b) — Démarche d’évaluation des filières d’études/orientationsà paraître

HES-SO. (2012) — Glossaire enseignement,Publication de la Vice-présidence Enseignement, version du 1er novembre 2012.

Figari, G. et D. Remaud. (2014) — Méthodologie d’évaluation en éducation et formation, ou l’enquête évaluative. Bruxelles : De Boeck, pp. 90-94

Hurteau, Marthe, Valois, Pierre et Amélie Bossiroy. (2011) — « Jugement crédible en évaluation de programme : définition et conditions requises » in Revue canadienne d’évaluation de programme. 25(2), pp. 83-101.

MacDonald, G — Critères de sélection d’indicateurs de haute performance. Liste de contrôle destinées à rendre compte du suivi et de l’évaluation : The EC Evaluation Center. www.wmich.edu/evalctr/checklists (2011)

OCDE. (2002) — Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, OCDE.

RIDDE, Valéry et DAGENAIS Christian, (DIRS.) — Approches et pratiques en évaluation de programmes, Nouvelle édition revue et augmentée, Collection Paramètre, 2012

Widmer, Thomas, Landert, Charles et Nicole Bachmann. (2000) — Standards d’évaluation, Société suisse d’évaluation (SEVAL), 5 décembre 2000 (en cours de révision)

Impressum

Version : octobre 2015 crédits photographiques Oleksandr Delyk

Le présent cadre de référence en évaluation, version 1, a été élaboré par le dicastère Qualité. Il a fait l’objet d’une consultation du Groupe de pilotage, accréditation et qualité (GPAQ), le 16 octobre 2015.

f facebook.com / hesso in linkedin.com / hesso

t twitter.com / hes_so youtube.com / hessofilmshes-so.ch