Principes d’évaluationen éducation médicale
JP. Fournier
Département de Pédagogie MédicaleCentre de Simulation Médicale
Faculté de MédecineUniversité de Nice Sophia Antipolis
Les challenges
Compétence vs Excellence : Impact négatif de l’examen sommatif sur le développement
professionnel ultérieur ; Importance d’examens formatifs ; Changement de comportement d’étudiants et tuteurs ;
Novice vs Expert : Progression du mode de raisonnement avec l’acquisition
d’expertise ; Examens adaptés ;
Validité et fidélité ;
Examen formatif vs examen sommatif.
D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011
DU de Pédagogie et d’Enseignementpar Simulation
Validité(s) Force des conclusions et inférences que l’on peut tirer des résultats
d’une évaluation ;
5 facettes « classiques » : Validité apparente (face validity) : examen adapté à son objectif ; Validité de contenu (content validity) : contenu de l’examen représentatif
du corpus de compétences (connaissances) à mesurer ; Validité de construit (construct validity) : aptitude à identifier les groupes
par niveau d’expertise (experts vs novices) ; Validité prédictive (predictive validity) : aptitude à prédire le futur (ex;
succès professionnel après validation) ; Validité résultante (consequential validity) : conséquences éducatives du
test.
D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011DU de Pédagogie et d’Enseignement
par Simulation
Validité de construit
Origine des preuves Preuves Conclusions
Contenu Table de spécification Contenu du test représentatif
Processus de réponses Construction du test Construction du test satisfaisante
Structure interne Données psychométriques Analyse d’items, fidélité
Validité externe Corrélation avec d’autres tests
Résultats concordants
Conséquence Conséquences du test Impact du test
D’après Downing SM. Med Educ 2003DU de Pédagogie et d’Enseignementpar Simulation
Fidélité (reliability)
Reproductibilité des scores dans le temps ;
Indissociable de la validité ;
Plusieurs approches pour la mesurer : Consistance interne : score α de Cronbach ; Théorie classique des tests ; Théorie de la généralisabilité.
D’après Downing SM Med Educ 2004Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011DU de Pédagogie et d’Enseignementpar Simulation
Examen sommatif vs formatif Opposition classique quasiment point par
point ;
Ré-introduction d’examen formatifs ;
Ré-évaluation de l’importance d’examens formatifs ;
Plusieurs conséquences : Changements culturels ; Intégration de données formatives dans une
évaluation sommative ; Nécessité d’évaluation formative
psychométriquement correcte.
D’après Van der Vleuten CPM Med Educ 2005DU de Pédagogie et d’Enseignementpar Simulation
Les principes
Spécificité de cas ;
Table de spécification ;
Pyramide de Miller ;
Quel(s) test(s) pour quel(s) objectifs ?
Equation d’utilité.
DU de Pédagogie et d’Enseignementpar Simulation
Principes : spécificité de cas
D’aprè Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011
Compétences multi facettes ;
Pas ou peu d’extrapolation d’un cas à l’autre ;
A compenser par l’augmentation du nombre de cas (et donc de la durée d’examen,…et de correction).
DU de Pédagogie et d’Enseignementpar Simulation
DU de Pédagogie et d’Enseignement par Simulation
Pyramide de Miller
Connaissances
Utilisation desconnaissances
Compétences
Action
QCM, QROC, questions rédactionnelles
Cascades, QCM à contexte riche, TCS, problèmes à résolution séquentielle
Examen oral, ECOS, épreuve de clinique, simulation, TCS
Observation directe, pairs, vidéo, audits
D’après Miller Acad. Med. 1990Compétence
Performance
Pyramide de Miller
D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011
DU de Pédagogie et d’Enseignement par Simulation
DU de Pédagogie et d’Enseignement par Simulation
Table de spécification (blue print)
D’après Amin Z. Practical guide to medical students assessment, 2006
Equation d’utilité
Utilité = Fidélité x Validité x Faisabilité x Acceptabilité x Impact éducatif
D’après Van der Vleuten CPM. Adv Health Sci Educ 1996
DU de Pédagogie et d’Enseignement par Simulation
Principaux tests utilisés
Test Compétence(s) explorée(s)
Avantage(s) Inconvénient(s)
QCM Connaissances Validité Fidélité
Difficiles à préparer
Cueing effect
TCS Raisonnement en contexte d’incertitude
Validité Validité de
construit Fidélité
Déroutant Jury
Key-features Connaissances Raisonnement
Validité Fidélité
Difficiles à préparer
Questions courtes Résolution de problèmes
Raisonnement
Résolution de problèmes
Correcteur(s) dépendante(s)
Questions rédactionnelles
Analyse et synthèse
Processus cognitif évolué
Correcteur(s) dépendante(s)
Fidélité médiocre
Examens écrits :
DU de Pédagogie et d’Enseignement par Simulation
Principaux tests utilisés
Test Compétence(s) explorée(s)
Avantage(s) Inconvénient(s)
ECOS Habiletés Comportement Communication
Validité Fidélité
Coût, logistique Check-list
désavantageant les étudiants évolués
Artificiels parfois
Examen oral Connaissances Raisonnement
Exploration en profondeur
Fidélité Standardisation
Mini CEX Habiletés cliniques Communication
Validité Fidélité Feedback
Teste la compétence plutôt que la performance
Patients standardisés Habiletés cliniques Communication
Réalisme Plusieurs aspects
évalués simultanément
Coût Logistique
Observation directe :
DU de Pédagogie et d’Enseignement par Simulation
Principaux tests utilisés
Test Compétence(s) explorée(s)
Avantage(s) Inconvénient(s)
Collègues Habiletés cliniques Habiletés
psychosociales
Multiples sources d’évaluation
Performance réelle
Crédibilité ?
Patients Habiletés psychosociales
Une des meilleures sources
Validité ? Performance
insuffisante ?
Portfolios Pratique réflexive Evaluation multi
format
Profil d’un individu à partir de multiples sources
Interférences avec l’auto évaluation
Temps Non fidèle.
Evaluation multi source :
D’après Epstein RM. N Engl J Med 2007Kogan JR. JAMA 2009Dornan T (Ed) Medical Education,
Churchil Livingstone, Edinburgh, 2011
DU de Pédagogie et d’Enseignement par Simulation
Mini CEX
D’après Norcini J. Med Teacher 2007DU de Pédagogie et d’Enseignement
par Simulation
Utilisation de la simulation commeoutil d’évaluation
Multiples impératifs / limites :
Identification d’objectifs d’apprentissage ;Identification de as à résoudre ;Construction de scenari ;Choix de a technique de simulation ;Chaque étudiant accomplit plusieurs tâches ;Check-list ou évaluation globale ; observateurs entraînés et en nombre suffisant ;Comparabilité du niveau de difficulté d’une tâche à l’autre ;Vérification de l’extrapolation en pratique réelle.
D’après Boulet J. in Dunn WF (Ed) Simulators i critical care and beyond,SCCM, Des Plaines, 2004Van der Vleuten CPM. Teach Learn Med 1990Newble D. Teach Learn Med 1994
DU de Pédagogie et d’Enseignement par Simulation
Top Related