Post on 19-Aug-2020
CHUCP
Évaluation des compétences en chirurgie
pédiatriqueCollège Hospitalier et Universitaire de
Chirurgie Pédiatrique
Joël LECHEVALLIER, Agnès LIARD-ZMUDA (Rouen)
CHUCP
Plan de la présentation• Bases théoriques de l’évaluation
– Fiabilité– Validité– Faisabilité
• Choix des outils– Test de concordance de script– QCM
• Démonstration– Chirurgie Viscérale et Urologique
• Vidéo-QCM• TCS
– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS
CHUCP
• Bases théoriques de l’évaluation– Fiabilité– Validité– Faisabilité
• Choix des outils– Test de concordance de script– QCM
• Démonstration– Chirurgie Viscérale et Urologique
• Vidéo-QCM• TCS
– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS
Bases théoriques de l’évaluation
CHUCP
Domaine à évaluer
Échantillon�
Fiabilité : échantillonnage
Swanson, Educational Researcher 1995;24:5-11
CHUCP
Domaine à évaluer
Échantillon�
Fiabilité : échantillonnage
Swanson, Educational Researcher 1995;24:5-11
CHUCP
☺
Domaine à évaluer
Échantillon
Fiabilité : échantillonnage
Swanson, Educational Researcher 1995;24:5-11
CHUCP
☺
Domaine à évaluer
Échantillons
Fiabilité : échantillonnage
Swanson, Educational Researcher 1995;24:5-11
CHUCP
• Bases théoriques de l’évaluation– Fiabilité– Validité– Faisabilité
• Choix des outils– Test de concordance de script– QCM
• Démonstration– Chirurgie Viscérale et Urologique
• Vidéo-QCM• TCS
– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS
Bases théoriques de l’évaluation
CHUCP
Validité : Effet « intermédiaire »
Marshall, 1977 ; Swanson, 1987 ;Mc Gaghie, 1993 ; Van der Vleuten, 1996.
Internes
Étudiants
Experts
CHUCP
• Bases théoriques de l’évaluation– Fiabilité– Validité– Faisabilité
• Choix des outils– Test de concordance de script– QCM
• Démonstration– Chirurgie Viscérale et Urologique
• Vidéo-QCM• TCS
– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS
Bases théoriques de l’évaluation
CHUCP
FaisabilitéObservation par
expertÉpreuve
rédactionnelleÉpreuve à correction
automatisée
Disponibilité +++ + à +++ 0
Préparation ± ++ +++
Objectivité ± ++ +++
Reproductibilité + ++ +++
Groupe d’étudiants
Individuel Illimité Illimité
Connaissances fondamentales
+++ + QCM: +++
Habiletés professionnelles
+++ ± TCS: ++
CHUCP
• Bases théoriques de l’évaluation– Fiabilité– Validité– Faisabilité
• Choix des outils– Test de concordance de script– QCM
• Démonstration– Chirurgie Viscérale et Urologique
• Vidéo-QCM• TCS
– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS
Choix des outils
CHUCP
Test de Concordance de Script (TCS)
•Comparer l’organisation des connaissances des candidats à celle de médecins expérimentés
•Exploration des connaissances cliniques, de l’aptitude à demander des explorations complémentaires et de l’aptitude à poser des indications thérapeutiques
•Réponse sur une échelle de Likert (-2, -1, 0, +1, +2)
CHARLIN, B., BRAILOVSKY et al. Medical Teacher, 1998CHARLIN, B., TARDIF, J., BOSHUIZEN, H. Academic Medicine, 2000CHARLIN, B., ROY, L., BRAILOVSKY, C. A., & VAN DER VLEUTEN, C. P. M. Teaching andLearning in Medical Education, 2000SIBERT L., CHARLIN B., CORCOS J., GAGNON R., LECHEVALLIER J., P.GRISE P..European Urology 2002
CHUCP
Une vignette Clinique
Si vous pensez à…Une hypothèse diagnostique
Et que vous apprenez…
Une nouvelle information, clinique, biologique ou d’imagerie
L’effet sur votre hypothèse diagnostique sera
TCS Diagnostique
� -2� -1� 0� +1� +2
Mon hypothèse est pratiquement éliminéeMon hypothèse devient peu probableCette information n’a aucun effet sur mon hypothèse diagnostiqueL’hypothèse devient plus probableMon hypothèse devient pratiquement certaine
CHUCP
Test de Concordance de Script (TCS)
Si vous pensez à :
Hypothèsediagnostique
Et qu'alors vous observez
:
Nouvelleinformationclinique
L'effet sur l'hypothèse diagnostique est le
suivant :
-2 -1 0 +1 +2
Entourez la proposition qui vous semble adéquate :-2 : l'hypothèse est éliminée-1 : l'hypothèse est moins probable0 : l'information n'a aucun effet sur l'hypothèse
+1 : l'hypothèse est plus probable+2 : l’hypothèse est pratiquement certaine
CHUCP
CHUCP
TCS : construction
1) Sélection de situations cliniques représentatives
2) Identification, pour chaque situation :– Hypothèses pertinentes– Éléments clés (positifs, négatifs)
3) Rédaction des vignettes cliniques et des items
4) Validation du test par experts
CHUCP
Le candidat aura
0,7/0,7 = 1 pt
0,2/0,7 = 0,28 pt
0,1/0,7 = 0,14 pt
TCS : Système de notation• Toute réponse d’expert est le reflet de
l’expertise Norcini, 1990 ; Charlin et al., 2002.
• Les experts passent le test individuellement
• Le crédit pour chaque réponse est fonction du nombre d’experts qui ont fourni la même réponse
Valeur de la réponse
7/10 = 0,7
2/10 = 0,2
1/10 = 0,1
Exemple pour un panel de 10 experts
7 experts répondent: « + 2 »
2 experts répondent: « +1 »
1 expert répond : « 0 »
CHUCP
TCS : Scores selon le niveau, fiabilitéCharlin B. et al., Teaching and Learning In Medicine
2000;12:189-195.
Spécialités Participants Scores
moyens
Nb.
participants
Coefficient
de fiabilité
Gynécologie
- Externes
- Internes
- Seniors
67,1
75,9
78,1
76
12
15
0,79
Radiologie
- Externes
- Internes
- Seniors
62,6
69,3
86,7
14
10
6
0,80
Chirurgie
générale
- Externes
- Seniors
62,1
80,5
66
9 0,54
CHUCP
• Stabilité des capacités de discrimination dans des cultures différentes– Sibert et al., Medical Teacher 2002
• Validité prédictive– Brailovsky & Charlin, Medical Education 2001
• Formation Médicale Continue– Labelle et al., Pédagogie Médicale, 2003
CHUCP
Experts
Étudiants
Internes
Experts
Étudiants
Internes
Charlin B. et al., Teaching and Learning In Medicine 2000;12:189-195.
CHUCP
TCS : Avantages
• Faisabilité :– Facile à développer, administrer, corriger– Bonne fiabilité à partir de 60 items, durée
d’examen < 1h
• Examen standardisé, correction objective• Tâches de la réalité clinique, pas « une
seule réponse »• Adapté à l’évaluation dans le 3ème cycle
CHUCP
Différences entre TCS et QCM
Un jeune homme de 20 ans est poignardé dans le brasavec un couteau. La face dorsale de l’avant-bras estinsensible ainsi que la face dorsale de la main entre lepouce et l’index. Les extenseurs du poignet sontparalysés et il ne peut étendre le pouce entre lesarticulations métacarpo-phalangienne etinterphalangienne. Quel nerf a été atteint?
A - Le nerf médianB - Le nerf radialC - Le nerf cubitalD - Le nerf inter-osseux postérieurE - Le nerf brachial postérieur
CHUCP
Un jeune homme de 20 ans est poignardé dans le brasavec un couteau. La face dorsale de l’avant bras estinsensible
Si vous pensezà :
Une lésion dunerf médian
Et qu'alorsvous trouvez :
Une paralysiedes extenseursdu poignet
L'effet sur l'hypothèsediagnostique est :
-2 -1 0 +1 +2
Différences entre TCS et QCM
CHUCP
TCS : construction1) Sélection de situations cliniques
représentatives2) Identification, pour chaque situation :
– Hypothèses pertinentes– Éléments clés (positifs, négatifs) que cherchent les
experts pour vérifier les hypothèses
3) Rédactions des vignettes cliniques et des items
4) Validation du test par experts
CHUCP
Utilité d’un instrument de mesureVan Der Vleuten C. Advances in Health Sciences Education
1996;1:41-67.
• U = pr F x pv V x pv E– F = Fiabilité– V = Validité p = Poids– E = Impact éducatif
0%
PoidsEvaluation
formative
Selection
100%
CHUCP
CHUCP
CHUCP
CHUCP
CHUCP
Démonstration
Tronc commun
Orthopédie- Traumatologie Viscérale-Urologie
CHUCP
• Bases théoriques de l’évaluation– Fiabilité– Validité– Faisabilité
• Choix des outils– Test de concordance de script– QCM
• Démonstration– Chirurgie Viscérale et Urologique
• Vidéo-QCM• TCS
– Chirurgie Orthopédique et Traumatologique• Vidéo-QCM• TCS
Choix des outils
CHUCP
QCM• Évaluation de la connaissance factuelle• Difficulté à trouver des leurres• Limites du champ des connaissances
explorées
•Vidéo QCM
Ortho-Trau Uro-Visc
CHUCP
QCM• Évaluation de la connaissance factuelle• Difficulté à trouver des leurres• Limites du champ des connaissances
explorées• Règles de construction
•QCM riches
•Vidéo QCM
Ortho-Trau Uro-Visc
CHUCP
Jean-François, 5 ans se présente en urgence pour une boiteriedroite. Cette boiterie est observé par les parents depuis 2 jours.La température est de 37°5. Il n’y a pas de notion de traumatisme.La boiterie est permanente et ne semble pas douloureuse. Il a ététraité pour rhinopharyngite une semaine plus tôt.
Lors de l’examen clinique vous observez que la rotation interne de lahanche droite est de 15°. L’abduction est de 15°. Aucunemobilisation n’est douloureuse.
La radiographie du bassin de face est normale.L’échographie de la hanche met en évidence un épanchement de
faible abondance dans la hanche droiteLa biologie rapporte les éléments suivants:
Leucocytes: 7500/mlVS: 10mm à la 1ère heureCRP: 9 mg/l
Quelles propositions vous paraissent acceptables?
CHUCP
A. Le diagnostic d’ostéochondrite primitive de hancheest le plus probable.
B. L’indication d’une ponction articulaire estobligatoire.
C. Une scintigraphie osseuse peut être indiquée pourvérifier la bonne perfusion de la tête fémorale
D. Une hospitalisation pour mise en déchargeprolongée doit être décidée immédiatement
E. La normalité de la radiographie sur l’incidence deface permet d’écarter l’hypothèse d’uneépiphysiolyse fémorale supérieure
CHUCP
0123456789101112131415161718192021222324252627282930
Jean-François présente un traumatisme du coudegauche.
Quel est votre diagnostic?
Secondes restantes:1
A. Luxation postéro latérale du coudeB. Fracture du condyle latéralC. Décollement de l’épicondyle médialD. Décollement de l’épicondyle latéralE. Luxation de la tête radiale
CHUCP
0123456789101112131415161718192021222324252627282930
Vous voyez en consultation unenfant de 10 mois avec cetteanomalie de la verge. Quel estvotre diagnostic ?
Secondes restantes:2
A. Hypospade balaniqueB. Hypospade pénien
antérieurC. Hypospade pénien moyenD. Hypospade pénoscrotalE. Hypospade vulviforme
CHUCP
Mon hypothèse est pratiquement éliminéeMon hypothèse devient peu probableCette information n’a aucun effet sur mon hypothèse diagnostiqueL’hypothèse devient plus probableMon hypothèse devient pratiquement certaine
� -2� -1� 0� +1� +2
L’effet de cette nouvelle donnée sur votre hypothèse diagnostique sera…
Test DiagnostiqueVignette:Rémi, 14 ans vous est présenté par ses parents en raison de lombalgieschroniques,évoluant depuis 6 mois.
Si vous pensez à…Un spondylolisthésis
Et que vous observez…
CHUCP
absolument contre-indiquépeu utile ou plutôt néfastenon pertinent ou inutile dans cette situationutile et souhaitableindispensable
� -2� -1� 0� +1� +2
L’effet de cette nouvelle donnée sur la nécessité de prescrire cet examen sera…
Choix d’exploration complémentaireVignette:Bruno, 15 ans vous est présenté en raison dedorsalgies chroniques, évoluant depuis 6mois. La distance mains-sol est égale à 0cm etl’examen neurologique est normal.
Si vous pensez demander…Une scintigraphie osseuse
Et que vous observez…
CHUCP
absolument contre-indiquépeu utile ou plutôt néfastenon pertinent ou inutile dans cette situationutile et souhaitableindispensable
� -2� -1� 0� +1� +2
L’effet de cette nouvelle donnée sur la nécessité de prescrire cet examen sera…
Choix d’exploration complémentaireVignette:Yves, 13 mois est hospitalisé pour une fièvre à 40° avec des douleursabdominales
Si vous pensez demander…Une cystographie rétrograde
Et que vous observez…une fièvre à 40°avec des douleurs lombaires gauches et un ECBU avec 250
leucocytes/mm3 et 107 E. Coli
CHUCP
absolument contre-indiquépeu utile ou plutôt néfastenon pertinent dans cette situationutile et souhaitableindispensable
� -2� -1� 0� +1� +2
Ce traitement sera:
Test ThérapeutiqueVignette:Michel, 3 ans est hospitalisé pour une fièvre à 40°avec des douleurs abdominales
Si vous pensez préconiser…Une antibiothérapie orale par Oroken® et un retour à
domicile
Et que vous observez…des pics fébriles à 40°avec des frissons et une altération de l’état général
CHUCP
En Pratique• Vendredi 7 octobre 2011
– 9h00– Faculté de Médecine de Bicètre
Tests de Concordance de Script QCM Powerpoint ®
Spécialité Tronc Commun Spécialité Tronc Commun
1ère partie(2h)
60 Tests(60mn)
60 Questions(60mn)
2ème partie(2h)
60 Tests(60mn)
60 Questions(60mn)