EVALUATION DES APPRENTISSAGES

Problématique, repères conceptuels,

questions en suspens, perspectives

Jean Jouquan, Bureau de Pédagogie médicale,

Faculté de Médecine de Brest,

Université de Bretagne Occidentale

L ’ÉTUDIANT

Évaluation des apprentissages

Objectifs éducationnels

Besoins de formation

Activités d’apprentissage

Activités d’ enseignement

« Evaluation drives curriculum »G. Miller, 1961

« Si vous voulez savoir ce que font les professeurs, regardez le programme … »

« …Si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation»

G. Norman, 1991

Plusieurs études concordantes en pédagogie universitaire montrent que, durant leurs études, un nombre significatif d’étudiants ont des difficultés à

• Lire d’une façon active

•Sélectionner les idées importantes

•-Faire des liens avec ce qu’ils savent déjà

•-Dépasser la mémorisation pure (« par cœur »)

•-Evaluer leur compréhension des nouvelles informations

•-Réviser autrement qu’en tout relisant

•-Ajuster leurs stratégies d’apprentissage au type d’examen à passer

(Pressley)

Exemple : Etude conduite en 1991 à l’Université d’Helsinki en 1991Promotion de 487 étudiants candidats aux études de médecine Etudiants considérés comme plutôt brillants (75% avaient obtenus de très bonne notes pendant leurs études secondaires)

Résultats concernant les stratégies d’apprentissage qu’ils utilisent :

-simple lecture :12%-soulignement de phrases ou mots dans le

texte : 27%-résumés reprenant le strict verbatim des

textes : 34%-résumés des textes utilisant leur propre

vocabulaire : 20%-réalisation d’un schéma de synthèse : 7%

Lahtinen

Apprentissage Enseignement

Evaluation

Etudiant

Définition générale de la démarche évaluative

• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)

• 2 -Interpréter ces informations afin de porter un jugement

• 3- Dans le but de prendre une décision

mauvais (jugement)

ajourné (décision)

10, 5 /20 (mesure)

bon (jugement)

reçu (décision)

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (1)

• L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure)

9, 5 /20 (mesure)

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (2)

• L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites)

« très bon stage »

« travail insuffisant »

« étudiant intelligent très motivé »

Quelques conceptions et/ou pratiques erronées en matière d’évaluation (3)

•La mesure est confondue avec la note

Le résultat d’une mesure est un score(résultat ou somme des résultats à des tests)

La note est une manière codifiée de communiquerle résultat d’une évaluation (décision) et de le rendre

public- valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …

Définition générale de la démarche évaluative

• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)

• 2 -Interpréter ces informations afin de porter un jugement

• 3- Dans le but de prendre une décision

3. Dans le but de prendre une décision•Ajuster des stratégies d ’apprentissage et d ’enseignement

EVALUATION FORMATIVE

•Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure

EVALUATION SOMMATIVE

•Délivrer une autorisation d ’exercice professionnel

EVALUATION CERTIFICATIVE(Licence ou certification)

1.Recueillir des informations1a. Recueil d ’ informations issues d ’une mesure =

Perspective DOCIMOLOGIQUE de l ’évaluation•Clivage entre les situations d’apprentissage et les situations d ’évaluation•Qualité métrologique des instruments de mesure •Mesures à interprétation normative ou critériée•Surtout associée aux pratiques pédagogiques issues du « paradigme d ’enseignement »

1b. Recueil d ’ informations issues de sources multiples et éclectiques =Perspective de l ’évaluation « AUTHENTIQUE »

•Enchâssement de l ’évaluation dans les situations d ’apprentissage•Pertinence et authenticité des critères d ’évaluation•Critères de performance déterminés ad hoc•Surtout associée aux pratiques pédagogiques du « paradigme d ’apprentissage »

2. Interpréter ces informations afin de porter un jugement

Nécessité d ’adosser le processus d ’évaluation à une (plusieurs) théorie(s)

• Théorie de l ’évaluationEx : La perspective docimologique postule :la « décomposabilité » et la « normativité » des compétences

• Théorie de la formation Ex : Le paradigme d ’enseignement postule :la « fixité » et la « stabilité» des connaissances

• Théorie de l ’expertise professionnelleEx : Certaines procédures d ’évaluation standardisées peuvent « surcoter » des comportements novices par rapport à des comportements experts

Performances cliniques

Connaissances

hautement organiséesProcessus de contrôle

de haut niveau

Compétence clinique

Attitudes

HabiletésConnaissances

Raisonnement clinique(Résolution de problèmes)

Pratiques médicales réellesModifié d ’après Newble, Norman et Van der Vleuten, 2000

Performances cliniques

Connaissances

hautement organiséesProcessus de contrôle

de haut niveau

Compétence clinique

Attitudes

HabiletésConnaissances

Raisonnement clinique(Résolution de problèmes)

QCM ECOS

Echelles

« Cas cliniques »

Pratiques médicales réellesCex

Modifié d ’après Newble, Norman et Van der Vleuten, 2000

Connaissances6

hautement organiséesProcessus de contrôle

de haut niveau7

Performances cliniques

Compétence clinique

Attitudes3

Habiletés2Connaissances1

Raisonnement clinique4

(Résolution de problèmes)

Audits de dossier Pratiques médicales réelles

Modifié d ’après Newble, Norman et Van der Vleuten, 2000

Portfolio1,6.Schémas conceptuels2,3,4.Enregistrements audio/video2,3,4.Témoignages écrits5,6,7.Développements réflexifs….

Osler

Théorie de la formation

Théorie de l ’évaluation

Théorie de la compétence

Logique d ’enseignement

Perspective docimologique

Approche didactique

•Corollaires

•Les tâches d’apprentissage réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les compétences qu ’ils maîtrisent. Standardisation•Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit. Externalisation•La rigueur du processus d ’évaluation doit pouvoir être démontrée « expérimentalement ». Mesure

•Perspective traditionnelle

Théorie de la formation

Théorie de l ’évaluation

Théorie de la compétence

Logique d ’apprentissage

Perspective de l’évaluation authentique

Approche systémique

Corollaires •Les tâches d’apprentissage réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent.

Contextualisation•Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se produit. Récurrence et interaction•Il est important d ’avoir des informations sur les choses importantes àévaluer et pas seulement sur les choses faciles évaluer (mesurer)

Eclectisme

•Perspective alternative

Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)

•Concernant la conception des modalités d’évaluation

-La production est destinée à un jury-Il n’y a aucune contrainte de temps fixée arbitrairement-La tâche et ses exigences sont connues avant la situation d’évaluation-L’évaluation peut exiger une certaine forme de collaboration avec les pairs-Les tâches d’évaluation sont récurrentes

•Concernant l’orientation cognitive des tâches

•-L’évaluation n’inclut que des tâches contextualisées•-L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques•-L’évaluation prend en considération les stratégies cognitives etmétacognitives utilisées par les étudiants•-L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

Caractéristiques des évaluations « authentiques » (2)(Adapté d’après Wiggins, 1989)

•Concernant les critères de correction

-La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences-Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée-L’auto-évaluation fait partie de l’évaluation-Les critères de réussite sont démystifiés pour l’étudiant

•Concernant l’éthique et la déontologie

-L’évaluation doit déterminer les forces des étudiants-Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés-L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants-Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés-L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

Caractéristiques d’une tâche d’évaluation exemplaire(ME Huba et JE Freed, 2000)

•Valide Concerne des connaissances pertinentes par rapport aux apprentissages visés.

•Cohérente Prescrit des activités qui sollicitent effectivement les compétences visées

•Authentique Propose des problèmes mal structurés qui reproduisent les défis réels du contexte professionnelEvalue les apprentissages au moment où ceux-ci sont développés

•Défiante Ne requiert pas que des tâche routinières.Suscite des stratégies d’apprentissage de haut niveau taxonomique

•Respecteuse Reconnaît la singularité de chaque apprenantAccepte différents styles d'apprentissage et différentes approches de résolution de problèmes

•Réactive Comporte une rétro-actionSollicite l’auto-évaluation

•Motivante Provoque l’engagement et la persévérance dans les tâches d’apprentissage

Caractéristiques d'objectifs d'apprentissageformulés de façon efficiente

• Sont centrés sur l'étudiant et non sur l'enseignant,

• Sont centrés sur les apprentissages résultant d'une activité plutôt que sur l'activité elle-même,

• Reflètent les missions de l'institution et les valeurs qu'elle souhaite promouvoir,

• Mettent l'accent sur des aspects non triviaux de l'apprentissage, crédibles pour les étudiants,

• Mettent l'accent sur des habiletés et des compétences centrales pour la discipline, basées sur des standards professionnels d'excellence,

• Sont assez généraux pour induire des apprentissages importants mais assez spécifiques pour être opérationnels.

Recommandations à visée didactique• Développer les tâches d ’évaluation autour de scénarios authentiques, possédant un réel niveau de complexité.

• Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants.

• Lorsque des méthodes d ’observation directe sont employées, faire verbaliser les étudiants sur le processus développé.

• Utiliser des systèmes de cotation simples.

•Exposer les étudiants à un nombre suffisant de situations

•Les étudiants traitent activement l'information àl'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,…

•Les étudiants reçoivent passivement l'information

•Les connaissances sont construites prioritairement àpartir des contextes (professionnels) authentiques

•Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation

•Le professeur est conçu avant tout comme un facilitateur des apprentissages

•Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur

•L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage

•L'enseignement, l'apprentissage et l'évaluation sont séparés

•L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages

•L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages

•L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages

•L'évaluation privilégie l'obtention de la bonne réponse

•Les apprentissages sont appréciés directement àpartir de performances, de projets réalisés, de travaux personnels, de port-folios

•Les apprentissages sont mesurés indirectement grâce à des tests standardisés

•L’étudiant et les professeurs apprennent ensemble•Seul l’étudiant apprend

Dispositifs de formation fondés sur une logique d’apprentissage

Dispositifs de formation fondés sur une logique d’enseignement