Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale...

Principes d’évaluationen éducation médicale

JP. Fournier

Département de Pédagogie MédicaleCentre de Simulation Médicale

Faculté de MédecineUniversité de Nice Sophia Antipolis

Les challenges

Compétence vs Excellence : Impact négatif de l’examen sommatif sur le développement

professionnel ultérieur ; Importance d’examens formatifs ; Changement de comportement d’étudiants et tuteurs ;

Novice vs Expert : Progression du mode de raisonnement avec l’acquisition

d’expertise ; Examens adaptés ;

Validité et fidélité ;

Examen formatif vs examen sommatif.

D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

DU de Pédagogie et d’Enseignementpar Simulation

Validité(s) Force des conclusions et inférences que l’on peut tirer des résultats

d’une évaluation ;

5 facettes « classiques » : Validité apparente (face validity) : examen adapté à son objectif ; Validité de contenu (content validity) : contenu de l’examen représentatif

du corpus de compétences (connaissances) à mesurer ; Validité de construit (construct validity) : aptitude à identifier les groupes

par niveau d’expertise (experts vs novices) ; Validité prédictive (predictive validity) : aptitude à prédire le futur (ex;

succès professionnel après validation) ; Validité résultante (consequential validity) : conséquences éducatives du

test.

D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011DU de Pédagogie et d’Enseignement

par Simulation

Validité de construit

Origine des preuves Preuves Conclusions

Contenu Table de spécification Contenu du test représentatif

Processus de réponses Construction du test Construction du test satisfaisante

Structure interne Données psychométriques Analyse d’items, fidélité

Validité externe Corrélation avec d’autres tests

Résultats concordants

Conséquence Conséquences du test Impact du test

D’après Downing SM. Med Educ 2003DU de Pédagogie et d’Enseignementpar Simulation

Fidélité (reliability)

Reproductibilité des scores dans le temps ;

Indissociable de la validité ;

Plusieurs approches pour la mesurer : Consistance interne : score α de Cronbach ; Théorie classique des tests ; Théorie de la généralisabilité.

D’après Downing SM Med Educ 2004Dornan T (Ed) Medical Education,

Churchil Livingstone, Edinburgh, 2011DU de Pédagogie et d’Enseignementpar Simulation

Examen sommatif vs formatif Opposition classique quasiment point par

point ;

Ré-introduction d’examen formatifs ;

Ré-évaluation de l’importance d’examens formatifs ;

Plusieurs conséquences : Changements culturels ; Intégration de données formatives dans une

évaluation sommative ; Nécessité d’évaluation formative

psychométriquement correcte.

D’après Van der Vleuten CPM Med Educ 2005DU de Pédagogie et d’Enseignementpar Simulation

Les principes

Spécificité de cas ;

Table de spécification ;

Pyramide de Miller ;

Quel(s) test(s) pour quel(s) objectifs ?

Equation d’utilité.


Principes : spécificité de cas

D’aprè Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011

Compétences multi facettes ;

Pas ou peu d’extrapolation d’un cas à l’autre ;

A compenser par l’augmentation du nombre de cas (et donc de la durée d’examen,…et de correction).


DU de Pédagogie et d’Enseignement par Simulation

Pyramide de Miller

Connaissances

Utilisation desconnaissances

Compétences

Action

QCM, QROC, questions rédactionnelles

Cascades, QCM à contexte riche, TCS, problèmes à résolution séquentielle

Examen oral, ECOS, épreuve de clinique, simulation, TCS

Observation directe, pairs, vidéo, audits

D’après Miller Acad. Med. 1990Compétence

Performance

Pyramide de Miller

D’après Dornan T (Ed) Medical Education, Churchil Livingstone, Edinburgh, 2011



Table de spécification (blue print)

D’après Amin Z. Practical guide to medical students assessment, 2006

Equation d’utilité

Utilité = Fidélité x Validité x Faisabilité x Acceptabilité x Impact éducatif

D’après Van der Vleuten CPM. Adv Health Sci Educ 1996


Principaux tests utilisés

Test Compétence(s) explorée(s)

Avantage(s) Inconvénient(s)

QCM Connaissances Validité Fidélité

Difficiles à préparer

Cueing effect

TCS Raisonnement en contexte d’incertitude

Validité Validité de

construit Fidélité

Déroutant Jury

Key-features Connaissances Raisonnement

Validité Fidélité

Difficiles à préparer

Questions courtes Résolution de problèmes

Raisonnement

Résolution de problèmes

Correcteur(s) dépendante(s)

Questions rédactionnelles

Analyse et synthèse

Processus cognitif évolué

Correcteur(s) dépendante(s)

Fidélité médiocre

Examens écrits :





ECOS Habiletés Comportement Communication

Validité Fidélité

Coût, logistique Check-list

désavantageant les étudiants évolués

Artificiels parfois

Examen oral Connaissances Raisonnement

Exploration en profondeur

Fidélité Standardisation

Mini CEX Habiletés cliniques Communication

Validité Fidélité Feedback

Teste la compétence plutôt que la performance

Patients standardisés Habiletés cliniques Communication

Réalisme Plusieurs aspects

évalués simultanément

Coût Logistique

Observation directe :





Collègues Habiletés cliniques Habiletés

psychosociales

Multiples sources d’évaluation

Performance réelle

Crédibilité ?

Patients Habiletés psychosociales

Une des meilleures sources

Validité ? Performance

insuffisante ?

Portfolios Pratique réflexive Evaluation multi

format

Profil d’un individu à partir de multiples sources

Interférences avec l’auto évaluation

Temps Non fidèle.

Evaluation multi source :

D’après Epstein RM. N Engl J Med 2007Kogan JR. JAMA 2009Dornan T (Ed) Medical Education,

Churchil Livingstone, Edinburgh, 2011


Mini CEX

D’après Norcini J. Med Teacher 2007DU de Pédagogie et d’Enseignement

par Simulation

Utilisation de la simulation commeoutil d’évaluation

Multiples impératifs / limites :

Identification d’objectifs d’apprentissage ;Identification de as à résoudre ;Construction de scenari ;Choix de a technique de simulation ;Chaque étudiant accomplit plusieurs tâches ;Check-list ou évaluation globale ; observateurs entraînés et en nombre suffisant ;Comparabilité du niveau de difficulté d’une tâche à l’autre ;Vérification de l’extrapolation en pratique réelle.

D’après Boulet J. in Dunn WF (Ed) Simulators i critical care and beyond,SCCM, Des Plaines, 2004Van der Vleuten CPM. Teach Learn Med 1990Newble D. Teach Learn Med 1994


Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale...

Documents

Transcript of Principes d’évaluation en éducation médicale JP. Fournier Département de Pédagogie Médicale...