UFR Paris 7 Denis Diderot 1

Les bases de l’évaluation

CCO Tutorat 2008-2009

UFR Paris 7 Denis Diderot 2

Pourquoi évaluer ?

UFR Paris 7 Denis Diderot 3

Evaluer l’étudiant pour…

Certification de compétencela sociétéla société

Efficacité et pertinence p/r objectifs institutionnelsl’institutionl’institution

Ajustement contenu / outil / méthodel’enseignantl’enseignant

Élément de motivationIdentification erreurs-lacunes

l’ étudiantl’ étudiant

UFR Paris 7 Denis Diderot 4

Evaluer l’étudiant pour…

La société L’étudiant

• Evaluation sommativesommative ou sanctionnelle

Quantitative : noteQuantitative : note• Fonction de

sélectionsélection• Enseignant :

jugejuge

• Evaluation formativeformative

QualitativeQualitative• Fonction

d’d’enseignementenseignement• Enseignant :

pédagoguepédagogue

UFR Paris 7 Denis Diderot 5

L'évaluation formative

Met en évidenceLes points fortsLes difficultés et erreurs,

Progressive et continueRespectueuse de la personne

UFR Paris 7 Denis Diderot 6

L’évaluation sommative

Typed’évaluation

Stratégied’apprentissage

Induit toujours chez l’étudiant une stratégie d’apprentissage

Car la réussite immédiate estl’obsession de tout étudiant

UFR Paris 7 Denis Diderot 7

L’évaluation

Tandis que le cursus définit ce qui va êtreenseigné, c’est l’évaluation qui dicte ce qui vaêtre appris [Miller G., Academic Medicine 1993;68:471-474.]

Enseignants Etudiants

Cursus Evaluation

UFR Paris 7 Denis Diderot 8

Les différents outils en PACES QCM Questions rédactionnelles

UFR Paris 7 Denis Diderot 9

Quelles sont les qualités attendues

d’un outil d’évaluation?

UFR Paris 7 Denis Diderot 10

Caractéristiques d’un instrument de mesure

Validité

Fiabilité

Schuwirth & Van der Vleuten, BMJ 2003;326:643-645.

UFR Paris 7 Denis Diderot 11

Validité :Validité apparente :

Semble adapté à ce que l’on souhaite mesurer

Validité de contenu : Couvre les aspects importants des dimensions

à évaluer Jugement

Validité de construit : Statistiquement représentatif du champ de

connaissance à évaluer

UFR Paris 7 Denis Diderot 12

Fiabilité

Reproductibilité avec laquelle un instrument mesure une variable donnée Fiabilité interneFiabilité inter-juges

Reproductibilité dans le tempsReproductibilité en fonction des

questions

UFR Paris 7 Denis Diderot 13

Critères de choix d'un instrument d'évaluation ?

UFR Paris 7 Denis Diderot 14

En pratique…Faisabilité, acceptabilité

Impact éducatifStratégies d’apprentissageStratégies d’enseignementCompétence professionnelle ?Offre de soins ?

UFR Paris 7 Denis Diderot 15

Utilité d’un instrument de mesureVan Der Vleuten C. Advances in Health Sciences Education 1996;1:41-67.

U = pr F x pv V x pv EF = FiabilitéV = Validité p = PoidsE = Impact éducatif

0%

Poids Evaluationformative

Selection

UFR Paris 7 Denis Diderot 16

Validité : Suggestions

Format de la questionContexte authentiqueAppeler à un raisonnement

Eviter la complexitéCas courts (à opposer aux

questions à tiroir)Faciles à noter

Plusieurs méthodes

Comment faire l’ascension de la pyramide?

Savoir

FaireMontrer

comment

Savoir comment

Norman, 1987 ; Swanson, 1987

UFR Paris 7 Denis Diderot 17

Domaine à évaluer

Echantillon

Echantillon

Fiabilité : échantillonnage

Swanson, Educational Researcher 1995;24:5-11

UFR Paris 7 Denis Diderot 18

Fiabilité : Suggestions

Durée d’examen suffisanteChoix de l’instrumentConstruction des questionsApproche par points clésNote de passage

UFR Paris 7 Denis Diderot 19

Durée

8

4

2

ECOS

0,86

0,76

0,76

0,43

Oral

0,48

0,47

0,46

0,45

Simulations écrites

0,82

0,69

0,53

0,36

QCM

0,93

0,93

0,76

0,621

Norcini, 1985 ; Newble & Swanson, 1987 ; Swanson, 1987 ; Wass, 2001

Fiabilité : variation selon la durée de l’examen