L’évaluation des apprentissages :

partage d’expériences, repères conceptuels, et exemples d'application

(Personne ressource :

Jean Jouquan

Faculté de médecine, Université de Bretagne Occidentale, Brest)

Evaluation

Institutions(Politiques)

Programmes(Curriculum)

Cours et/ou stages

(Interventions)

Connaissances(Ce que l’on sait)

Compétences(Ce que l’on sait

faire)

Performances(Ce que l’on fait)

Evaluation de l’enseignement (formations)

Evaluation des apprentissages (étudiants)

L ’ÉTUDIANT

Évaluation des apprentissages

Objectifs éducationnels

Besoins de formation

Activités d’apprentissage

Activités d’ enseignement

« Evaluation drives curriculum »G. Miller, 1961

«  Si vous voulez savoir ce que font les professeurs, regardez le programme … »« …Si vous voulez savoir ce que font les étudiants, regardez les examens»

G. Norman, 1991

Plusieurs études concordantes en pédagogie universitaire montrent que, durant leurs études, un nombre significatif d’étudiants ont des difficultés à :

•Lire d’une façon active

•Sélectionner les idées importantes

•Faire des liens avec ce qu’ils savent déjà

•Dépasser la mémorisation pure (« par cœur »)

•Evaluer leur compréhension des nouvelles informations

•Réviser autrement qu’en tout relisant

•Ajuster leurs stratégies d’apprentissage au type d’examen à passer

Pressley M et al. G. Some of the reasons why preparing for exams is so hard: What can be done to make it easier? Educ Psycho Rev 1997 ; 9 : 1-38.

Stratégies d’apprentissage utilisées par 487étudiants candidats aux études de médecine à l’Université d’Helsinki.

( étudiants considérés comme plutôt brillants :75% avaient obtenus de très bonne notes pendant leurs études secondaires)

- simple lecture : 12%- soulignement de phrases ou mots dans le

texte : 27%- résumés reprenant le strict verbatim des

textes : 34%- résumés des textes utilisant leur propre

vocabulaire : 20%- réalisation d’un schéma de synthèse : 7%

Lahtinen V et al. Spontaneous study strategies and the quality of knowledge construction. Br J Educ Psychol 1997 ; 67 : 13-24.

Répétition Reformulation des informations dans les mêmes termes

Répétition silencieuse des informations Soulignement des mots-clés et des idées importantes Transcription et prise de notes

Elaboration Reformulation des informations dans des termes différents (en ajoutant de l’information personnelle aux nouvelles

connaissances) Résumés utilisant son propre vocabulaire, établissant des

liens avec ce que l’on savait déjà du sujet Elaboration de questions Formulation d’analogies, d'exemples, de contre-exemples

Organisation Hiérarchisation, catégorisation et transformation des informations Identification des idées principales Catégorisation des informations Construction de documents de synthèse (tableaux,

graphiques, schémas)

Résolution de problèmes

Sélection et manipulation d'informations en fonction d'un but (comprendre et résoudre un problème)

Sélection d'informations Choix de méthodes Application de ces informations à la compréhension et à la

résolution de problèmes Etablissement de séquences

Apprentissage Enseignement

Evaluation

Etudiant

L’évaluation est une pratique pédagogique

L’évaluation est une pratique sociale

Définition générale de la démarche évaluative

• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)

• 2 -Interpréter ces informations afin de porter un jugement

• 3- Dans le but de prendre une décision

Quelques conceptions et/ou pratiques erronées en matière

d’évaluation (1)• L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure)

9, 5 /20 (mesure)

mauvais (jugement)

ajourné (décision)

10, 5 /20 (mesure)

bon (jugement)

reçu (décision)

Quelques conceptions et/ou pratiques erronées en matière

d’évaluation (2)• L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites)

« très bon stage »

« étudiant intelligent très motivé »

« travail insuffisant »

Quelques conceptions et/ou pratiques erronées en matière

d’évaluation (3)•La mesure (recueil d’informations) est confondue avec la note (formalisation codifiée de la décision)

Le résultat d’une mesure est un score(résultat ou somme des résultats à des tests)

La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le

rendre public- valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …

Définition générale de la démarche évaluative

• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)

• 2 -Interpréter ces informations afin de porter un jugement (de valeur)

• 3- Dans le but de prendre une décision

3. Dans le but de prendre une décision•Ajuster des stratégies d ’apprentissage et

d ’enseignement

EVALUATION FORMATIVE

•Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure

EVALUATION SOMMATIVE

•Délivrer une autorisation d ’exercice professionnel

EVALUATION CERTIFICATIVE(Licence et/ou certification)

• Les informations relatives aux apprentissages doivent résulter d’une mesure

• La qualité métrologique des instruments de mesure est le garant de la rigueur de l’évaluation

•Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés

• Clivage entre les situations d ’apprentissage et les situations d ’évaluation

La perspective DOCIMOLOGIQUE de l ’évaluation

La perspective de l ’évaluation

« AUTHENTIQUE »• Les informations relatives aux apprentissages résultent de procédures éclectiques

• Les critères de rigueur sont ceux de l’approche qualitative en sciences humaines et sociales

•Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants•Enchâssement de l’évaluation dans les situations d’apprentissage

1.Recueillir des informations

2. Interpréter ces informations afin de porter un jugementNécessité d ’adosser le processus

d ’évaluation à un cadre conceptuelEvaluation à interprétation

normative :

•Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme.

Evaluation à interprétation critériée :

•Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants

Problème à résoudreProblème simple

(well structured problem)•tous les indices sont disponibles d ’emblée•la solution requiert des tâches familières•peuvent être résolus avec un haut degré de certitude•les experts s’accordent sur la nature de la solution correcte

Problème complexe(ill structured problem)

•les indices nécessaires à la solution ne sont pas (tous) disponibles d ’emblée•le problème évolue au cours de son investigation•la solution n ’est pas standardisée mais unique•ne peuvent pas être résolus avec un haut degré de certitude•Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu

•But visé : appliquer la « bonne » solution

•But visé : élaborer et argumenter l’une des solutions raisonnables possibles

Tâches académiques

• Questions à réponse ouverte et courte (QROC)

• Questions à choix multiples (QCM)

• Cartes conceptuelles (Concept mapping)

Questions à choix multiple (1960)

•Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir

Points forts•Objectivité grande•Validité de contenu possiblement élevée•Fidelité•Correction automatisable

Points faibles•Validité de construit faible•Explore essentiellement des connaissances déclaratives décontextualisées•Favorise des apprentissages superficiels et peu transférables•Elaboration difficile et souvent caricaturale

Cartes conceptuelles(Concept mapping) 1990

Points forts•Permet d ’accéder à l ’organisation des connaissances•Favorise des apprentissages en profondeur•Outil puissant pour dépister les conceptions erronées•Contextualisation à un problème de santé possible•Validité de contenu vraisemblable

Points faibles•Outil d ’évaluation sommative récent•Recherche évaluative encore restreinte.•N ’évalue pas les connaissances procédurales.

•Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement.•Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques.

L ’information du malade :(annoncer une « mauvaise 

nouvelle ») Obstacles

Mécanismes de défense

Situation particulière du 

patient

« Mentalités » particulières

malade médecin

se heurte à des

dus à des

dus à

la dus à des

présents chez le

présents chez le

famille

culture

vécu

Paternalisme médical

Conformisme du patient

Manque de communication dans l’équipe soignanteliés à

un

liée à sa

liée

à sa liée à son

telles

que l

e

telles que le

diagnostic pronostic

investigations

traitement

a trait au

a trai

t au

a trait au

a trait aux

: signale les concepts ou « items » illustrés dans la situation d’étude

Grégoire, DCEM1 Carte conceptuelle

Extrait

L ’information du malade :(annoncer une « mauvaise nouvelle ») Obstacles

Mécanismes de défense

Situation particulière du patient « Mentalités »

particulières

malade médecin

Déni

Déplacement

Agressivité

Sublimation

Régression

se heurte à des

dus à des

dus à

la dus à des

présents chez leprésents chez le

famille culture vécu Paternalisme médical

Conformisme du patient

Manque de communication dans

l’équipe soignante

Contraintes matérielles (temps, locaux, disponibilité)

liés à un

liés à des

liée à

sa liée à sa

liée à son telles que

le

telles que le

mensonge

évitement

rationalisation

fuite en avant

fausse réassurance

tel que

tel que

tel qu

ete

l que

tel q

ue

tel quetel quetel quetel que

tel que

diagnostic

pronostic

investigations

traitement

a trait au

a trai

t au

a trait au

a trait aux

Respect de L’autonomie 

du patient

une relation médecin-malade fondée sur laConfiance

est essentielle pour le est e

ssen

tielle

pour

Stratégies

Environnement adapté

Plan de discussion

contrôle de la vitesse de fourniture de

l’information par le patient

durée

intégrant laprévoyant un

utilisant un

respectant le

Dispositions réglementaires

exige la mise

en œuvre

de

espérancepréservant l’

doit prendre en compte

des

Code de déontologie

Charte du malade hospitalisé

telles

que

telles que

Code pénal

telles

que

claire

loyale

appropriée

qui p

resc

rit un

e in

form

ation

famille

qui prévoit

l’information de

secret professionn

elqui prescrit le

qui est opposable à la

: signale les concepts ou « items » illustrés dans la situation d’étude

Portfolio 1995

Points forts•Authenticité•Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente)•Favorise des apprentissages en profondeur•Coût faible

Points faibles•Processus d ’implantation long •Exigences pédagogiques contraignantes (supervision/tutorat)•Convient parfois mal au style d ’apprentissage de certains étudiants•Nécessite une acceptation et une maîtrise du paradigme « qualitatif »

• Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. •Contenu : - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,....-une analyse réflexive développée à partir de cette banque documentaire.

Théorie de la

formation

Théorie de l ’évaluatio

n

Théorie de la

compétenceLogique

d ’enseignement

Perspective docimologiq

ue

Approche didactique

•Corollaires

•Les  tâches  d’apprentissage  réalisées  par  les  étudiants  ne peuvent  révéler  valablement  ni  les  connaissances  ni  les   compétences qu ’ils maîtrisent.  Standardisation•Les  enseignants  ne  sont  pas  des  professionnels  susceptibles d ’évaluer  judicieusement  l ’évolution  des  étudiants  au moment où elle se produit.  Externalisation•La  rigueur  du  processus  d ’évaluation  doit  pouvoir  être démontrée « expérimentalement ». Mesure

•Perspective traditionnelle

Théorie de la formation

Théorie de l ’évaluation

Théorie de la compétence

Logique d ’apprentissage

Perspective de l’évaluation authentique

Approche systémique

Corollaires •Les tâches d’apprentissage réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les  compétences qu ’ils maîtrisent. Contextualisation•Les  enseignants  sont  des  professionnels  susceptibles  d ’évaluer judicieusement  l ’évolution  des  étudiants  au  moment  où  elle  se produit. Récurrence et interaction•Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur  les choses faciles évaluer  (mesurer)

Eclectisme 

•Perspective alternative

8 recommandations pragmatiques1. Utiliser plusieurs outils d’évaluation des

apprentissages • Tâches standardisées et tâches authentiques

• Tâches explorant à la fois le processus et le résultat

2. Utiliser chaque outil plusieurs fois au cours d’une séquence d’enseignement

• Echantillon varié et représentatif de « situations contextualisées »

3. Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants.

• Cotation selon jugement global vs cotation avec check-list

8 recommandations pragmatiques4. Utiliser des procédures d ’évaluation cohérentes

avec les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants.

• Problèmes complexes vs problèmes simples

5. Lorsque des interactions avec des personnes sont exploitées pour l’évaluation des apprentissages en stage

• Observer directement l’étudiant pendant son interaction

• Faire verbaliser à haute voix l’étudiant sur le processus qu’il a développé

8 recommandations pragmatiques

8. Développer des procédures d ’évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales

6. Si l’auto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, l’accompagner systématiquement d’un dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, …)

7. Rendre explicite aux étudiants, dès le début de la séquence de formation, la nature des tâches d’évaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite.

Les étudiants reçoivent passivement l'information Les étudiants traitent activement l'information à l'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,…

Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation

Les connaissances sont construites prioritairement à partir des contextes (professionnels) authentiques

Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur

Le professeur est conçu avant tout comme un facilitateur des apprentissages

L'enseignement, l'apprentissage et l'évaluation sont séparés

L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage

L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages

L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages

L'évaluation privilégie l'obtention de la bonne réponse L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages

Les apprentissages sont mesurés indirectement grâce à des tests standardisés

Les apprentissages sont appréciés directement à partir de performances, de projets réalisés, de travaux personnels, de port-folios

Seul l’étudiant apprend L’étudiant et les professeurs apprennent ensemble

Dispositifs de formation fondés sur une logique d’enseignement

Dispositifs de formation fondés sur une logique d’apprentissage

Pour optimiser la « validité/crédibilité » du jugement :•Multiplier les sources d’informations sur les apprentissages•Privilégier la récurrence des moments d’évaluation

Les « tendances lourdes » actuelles en matière d’évaluation des apprentissages

Pour optimiser la « fidélité/fiabilité» du jugement :•Envisager l’enseignement, l’apprentissage et l’évaluation des différentes dimensions de la compétence d’emblée de façon intégrée•Privilégier d’emblée l’authenticité des contextes d’enseignement, d’apprentissage et d’évaluation des apprentissages

Pour optimiser globalement la pertinence du jugement :•Logique de validation de processus

plutôt que :•Logique de démonstration expérimentale

Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)

•Concernant la conception des modalités d’évaluation

-La production est destinée à un jury-Il n’y a aucune contrainte de temps fixée arbitrairement-La tâche et ses exigences sont connues avant la situation d’évaluation-L’évaluation peut exiger une certaine forme de collaboration avec les pairs-Les tâches d’évaluation sont récurrentes

•Concernant l’orientation cognitive des tâches

•-L’évaluation n’inclut que des tâches contextualisées•-L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques•-L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants•-L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

Caractéristiques des évaluations « authentiques » (2)(Adapté d’après Wiggins, 1989)

•Concernant les critères de correction

-La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences-Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée-L’auto-évaluation fait partie de l’évaluation-Les critères de réussite sont démystifiés pour l’étudiant

•Concernant l’éthique et la déontologie

-L’évaluation doit déterminer les forces des étudiants-Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés-L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants-Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés-L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

Définition de la compétence

• d’une variété de ressources internes et externes …

• Un « savoir-agir » complexe …

• prenant appui sur la mobilisation et la combinaisson efficaces …

• à l’intérieur d’une famille de situations

Tardif J. L’évaluation des compétences. Documenter le parcours de développement

Montréal: Chenelière Education, 2006

Savoir faire vs. Savoir agir

Savoir-faire Savoir-agir

•Automatisable •Difficilement automatisable

•Exerçable en dehors de tout contexte

•Impossible à mettre en œuvre hors contexte

•Caractère algorithmique •Caractère heuristique

•Parfois compliqué •Par nature complexe

Tardif J. L’évaluation des compétences. Documenter le parcours de développement

Montréal: Chenelière Education, 2006

Modèle de développement

Étape de développement 1 Étape de développement

2 Étape de développement 3

Tâches intégratives

Ressources internes et externes

Familles de situations

Contextes professionnels

Critères

Indicateurs

Rubriques

•Apprentissages critiques•Saut s de réorganisation qualitative•Obstacles au développement•Trajectoire de développement•Cohérence , authenticité et puissance des tâches•Exigence de pluri –inter voire trans- disciplinarité•Possibilité de rétro-action

•Référence à des dimensions jugées essentielles•Descripteurs multidimensionnels et mutiréférentiels

D’’aprèsTardif J. L’évaluation des compétences. Documenter le parcours de développement

Montréal: Chenelière Education, 2006

Modèle de développement

Étape de développement 1 Étape de développement

2 Étape de développement 3

Tâches intégratives

Ressources internes et externes

Familles de situations

Contextes professionnels

Critères

Indicateurs

Rubriques

DERIVES•Etapes définies en référence à la détermination de fréquences ou de variations de quantité•Trajectoire de développement indifférenciées selon les étudiantsDERIVES

•Évaluation d es ressources en elles-mêmes •Evaluation décontextualisée

DERIVES•Référence à des checklists de comportements•Développement défini de manière linéaire en référence à des scores

D’’aprèsTardif J. L’évaluation des compétences. Documenter le parcours de développement

Montréal: Chenelière Education, 2006