Faculté de médecine

Centre de pédagogie appliquéeen sciences de la santé

CPASS

Le test de concordance de

script

Principes, applications, résultats de recherche

Bernard Charlin, MD, PhD

Plan

• Les principes du test

• Exemples d’application

• Contraste avec les autres formats

• Résultats de recherche

• Les points clés

Le test de concordance de script (TCS)

• Méthode d’évaluation du raisonnement

clinique– Basée sur des cas– Permettant l’incertitude

• Incertitude– Pas assez de données cliniques– Au delà des données probantes

• Standardisé– Même stimuli– Correction automatisée et objective

L’approche TCS

• Un cas clinique, bref

• Une nouvelle information est

présentée

• Prendre une décision Diagnostique Investigation Traitement

Format des items Scénario Clinique

Si vous pensiez à Et que vous trouvez Cette hypothèse

devient Une hypothèse

Une nouvelle donnée clinique

-2 -1 0 +1 +2

- 2= Éliminée ou pratiquement éliminée - 1= Moins probable 0= Ni plus ni moins probable + 1= Plus probable + 2= Certaine ou pratiquement certaine

Médicine d’urgence pédiatrique(Benoit Carrière)

Un bébé de 2 mois est emmené par ses parents car il boit moins bien depuis 48h.

Il s’essouffle rapidement en prenant ses biberons.

Il n’a pas présenté de fièvre ou de vomissements.

Aucun antécédent pertinent n’est relevé à l’anamnèse.

Son examen démontre une fréquence cardiaque très rapide (>200/min), mais un enfant éveillé, bien perfusé

Médecine d’urgence pédiatrique

(B Carrière) Un bébé de 2 mois …

Si vous pensez à : Et qu’alors vous trouvez Avec cette information votre hypothèse devient

1- Une TSV (tachycardie supra-ventriculaire)

Une fréquence à 220/min, régulière, avec complexes QRS étroits

-2 -1 0 +1 +2

Elle devient: -2: Très improbable -1: Moins probable 0: Ni plus ni moins probable +1: plus probable +2: Très probable

Médecine d’urgence pédiatrique

(B Carrière) Un bébé de 2 mois …

Si vous pensez à : Et qu’alors vous trouvez Avec cette information votre hypothèse devient

2- Une insuffisance cardiaque secondaire à une CIV (communication inter-ventriculaire)

Des pouls fémoraux absents

-2 -1 0 +1 +2

Elle devient: -2: Très improbable -1: Moins probable 0: Ni plus ni moins probable +1: plus probable +2: Très probable

Script: Connaissances organisées / tâches spécifiques

• Connaissances en réseaux

• Relations / liens : signes cliniques /

entités cliniques

• Organisées pour des tâches

(diagnostiques / management . . .)

• Multiples micro-jugements dans le

processus

Scripts and clinical reasoning. Medical Education, 2007, 41: 1178

TCS et incertitude2 niveaux

1. Situation (toujours)

Plusieurs options sont pertinentes

2. Questions (pas toujours)

Divergence / consensus

TCS

Le test vérifie si les décisions cliniques prise par les candidats concordent avec celles prises par un panel de référence

SCT, a Tool to Assess the Reflective Clinician.T&L in Medicine,2000, 12: 189-195

La méthode des scores combinés

• Un groupe de praticiens expérimentés (panel de référence )

• Toutes les réponses sont enregistrées

• Points en fonction du nombre de membres du

panel

Exemple: panel de 20 membres

-1 : 14 membres 0 : 6 membres Autres 14/14 = 1 point 6/14 = 0.42 point 0/14 = 0 point

Plan

• Les principes du test

• Exemples d’application

• Contraste avec les autres formats

• Résultats de recherche

• Les points clés

Connaissances thérapeutiques

Si vous pensiez traiter

avec

Et qu’alors vous trouvez

Votre option thérapeutique devient

(une option

thérapeutique)

(une nouvelle information

clinique)

-2 -1 0 +1 +2

-2 Totalement contre-indiquée -1 Plutôt contre-indiquée 0 Neutre +1 Appropriée +2 Très appropriée

Scénario clinique:Scénario clinique:Une patiente de 56 ans vous est référée pour traitement d’un cancer du poumon non à petites cellules T3 N2 M0

Si vous pensiez recommander un traitement combiné chimio-radiothérapie à visée curative

Radio-oncologieRadio-oncologie(Carole Lambert)(Carole Lambert)

-2 -1 0 1 2

Totalement Plutôt Appropriée Très

C-I C-I C-I appropriée

Et qu’alors vous Et qu’alors vous trouveztrouvez::

Un ganglion supra-Un ganglion supra-claviculaire de 2.5 claviculaire de 2.5 cmcm

Votre Votre recommendation recommendation devient:devient:

Raisonnement per-opératoireS. Meterissian (McGill)

A 50 year old male sunworshipper presents with a 2 cm. dark

pigmented lesion on the R calf. Initial punch biopsy revealed a 2.3 mm. Breslow thickness superficial spreading melanoma. In

your management: If you were planning…

and found… the planned management is:

A wide local excision plus only a sentinel node biopsy of the groin nodes

The hot/blue node to be clearly black with tumor

-2 -1 0 +1 +2

2= Absolutely contraindicated - 1= Should be reconsidered 0 = Not affected + 1= Supported + 2= Absolutely correct

Neurology SCT (S Lubarsky, McGill)

Veterinary medicine(S Ramaekers, Utrecht)

Case: For the second time in one month, you are called out to a nine years old mare with symptoms of recurring colic. At the first consultation, it seemed that this was caused by an impaction of the left ventral colon, which was treated with an analgesic and mineral oil/liquid paraffin. After two days the constipation appeared to resolve; nevertheless the horse continued to have symptoms of mild diarrhoea and reduced appetite. Since yesterday it seems that the horse has symptoms of colic again (pawing at the ground, flank watching, intermittently lying down / standing up). During your examination you find, among other things, some abdominal distension and you hear spontaneous gut sounds. Rectal examination reveals no abnormalities. General examination: the horse is restless, some sweating, pulse rate 52 /min., temp 38.2 , yellow discolouration of the conjunctiva and sclera, and poor coat.

Veterinary medicine(S Ramaekers, Utrecht)

If you were thinking of

And then you find This hypothesis becomes

1- Strangulating obstruction of the colon

apart from a few days of fasting following the first treatment of the colic, there have been no recent changes in the diet

-2 -1 0 +1 +2

2- Sand colic The horse is kept in a small field with three other horses (end of the summer; poor pasture)

-2 -1 0 +1 +2

- 2= ruled out or almost ruled out, - 1= less probable 0= neither less or more probable + 1= more probable + 2= certain or almost certain

Évaluer le professionnalisme (Éric Droin, hôpital St-Justine)

Vous recevez en consultation pour avis une patiente âgée de 35 ans, dont c’est la première grossesse, alors à 28 semaines de gestation.

Cette patiente est professeur de danse classique. L’échographie qui vient d’être réalisée a mis en évidence chez son bébé de sexe féminin des pieds-bots bilatéraux. La probabilité d’association à une anomalie neurologique sous-jacente potentiellement grave n’est pas exclue mais est faible.

D’emblée la patiente est très agressive, en veut à l’échographiste avec qui elle a discuté car elle pense que « tout le monde veut l’obliger à garder une grossesse dont elle ne veut plus ».

La patiente vous dit qu’il est impensable pour elle de mettre au monde une fille « qui sera sur les pointes dès sa naissance ».

Le conjoint s’oppose à l’interruption de la grossesse.

Évaluer le professionnalisme(Exemple de format B du TCS)

ATTITUDES POSSIBLES• (1) Vous expliquez à la patiente que cette

malformation est accessible à une correction chirurgicale et vous proposez une consultation auprès d’un confrère chirurgien spécialisé

• (2) La patiente refuse catégoriquement de voir un chirurgien pédiatre et vous appuyez sa demande d’interruption de grossesse malgré l’avis du conjoint

• (3) Vous refusez d’appuyer sa demande d’interruption de la grossesse puisque le conjoint s’y oppose

Évaluer le professionnalisme(Exemple de format B du TCS)

ATTITUDES POSSIBLES• (4) Vous vous opposez à envisager une

interruption de grossesse à 28 semaines pour une pathologie orthopédique accessible à un traitement chirurgical avec un faible risque d’anomalie neurologique associée

• (5) Vous convenez que la profession de la patiente doit être prise en compte et que la demande d’interruption de la grossesse est recevable

Entourez le niveau de vos jugements pour chaque attitude (une seule

réponse par attitude)

• -2 = Totalement inacceptable;• -1 = Difficilement acceptable;• 0 = Non pertinent dans cette situation; • +1 = Plutôt acceptable; • +2 = Totalement acceptable

Jury: 15 professionnels santé désignés par leurs pairs

Plan

• Les principes du test

• Exemples d’application

• Contraste avec les autres formats

• Résultats de recherche

• Les points clés

Quelques outils d’évaluation

• QCM

• QCM à contexte clinique

• Oraux

• Questions à réponse courte

• Questions à long développement

• Clinical Reasoning Problem (CRPs)

Un outil parfait?

QCM à contexte riche

Un jeune homme de 20 ans est poignardé dans le bras avec un couteau. La face dorsale de l’avant bras est insensible, ainsi que la face dorsale de la main entre le pouce et l’index. Les extenseurs du poignet sont paralysés et il ne peut étendre le pouce entre les articulations métacarpophalangienne et interphalangienne. Quel nerf a été atteint?

A- Le nerf médianB- Le nerf cubitalC- Le nerf radialD- Le nerf interosseux postérieurE- Le nerf brachial postérieur

Quelle tâche?

• TCS: un micro-jugement

Au sein du processus

Il n’y a pas une seule réponse

• QCM à contexte richeL’issue du processus de raisonnement

Une seule réponse correcte

Les professions: bien plus que la simple application de règles et de

principes

Problèmes bien définis

Données, but & solution sont clairsSavoir technique

Problèmes mal définis

Données, but, solutions sont incertainsSavoir professionnel

Schön D, The Reflective Practitioner, 1983

Plan

• Les principes du test

• Exemples d’application

• Contraste avec les autres formats

• Résultats de recherche

• Les points clés

Discrimination selon le niveau

• Validité (que signifient les scores?)• Si reflète la qualité du raisonnement clinique:• Les scores devraient refléter l’expérience

• Mais… avec les tests traditionnels: résidents seniors

Standardized assessment in context of uncertainty: EHProfessions, 2004, 27: 304

Radio-oncologie

• externes 51,62

• Résidents 71,20

• Expérience 76,67ex

terne

sre

siden

tsp

an

el

gro

up

e

10090807060504030

op_total

Fidélité

• Sibert L et al. Urology 2006• Lambert C, Radiation oncology, 2005• Carrière B, Emergency medicine in pediatrics,

2005• Meterissian, Per-operative reasoning, 2005

Cronbach Alpha : 0.70 to 0.92(tests: environ 20 cas / 3 questions / 1 h )

Panel / combien de membres?

Comment obtenir des scores stables indépendamment de la composition du panel?

Assessment in context of uncertainty: How many members are needed on the panel?

Medical Education, 2005

Mean reliability coefficients for Mean reliability coefficients for increasing panel size increasing panel size

(1 000 random samples (1 000 random samples per panel size)per panel size)

0,40

0,45

0,50

0,55

0,60

0,65

0,70

0,75

0,80

n=5 n=10 n=15 n=20 n=25 n=30 n=38

mean (sd) min value max value

Panel: enseignants ou médecins en exercice?

• Quel est l’effet de la fonction d’enseignant sur les scores et les rangs des résidents

Composition of the panel of reference…Medical Teacher, 2007

100,0080,0060,0040,0020,000,00

teaching panel

100,00

80,00

60,00

40,00

20,00

0,00

no

n t

each

ing

pan

el

Réponses sur le panel: quelle variabilité?

Quelles sont les questions qui détectent le mieux l’experience clinique? •Celles avec consensus ?•Celles avec variabilité ?

Assessment of clinical reasoning: is it necessary to accept variability of answers within the panel of reference to detect clinical experience? Medical

Education, 2006

Effect size in relation to variability

Staff-students

0

0,5

1

1,5

Low variability Moderate variability High variability

The subtest that better discriminates according The subtest that better discriminates according to level of clinical experience is clearly the to level of clinical experience is clearly the moderate variability subtestmoderate variability subtest

Plus de cas ou plus de questions?

Gagnon R. SCT: More cases or more questions? AHSE, 2008

G coefficients / number of questions, number of cases

(5, 10, 15, 20, 25, 30) Radio-oncology

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6

N questions

G

Plan

• Les principes du test

• Exemples d’application

• Contraste avec les autres formats

• Résultats de recherche

• Les points clés

SCT on line

•Test construction

•Test administration

•Test correction

•Immediate feedback

•Multimedia stimuli

TCS: les point clés

Standardisé

• Même stimulus / processus de score

automatisé

Bien accepté

• Tâches qui appartiennent à la réalité clinique

• Pré-gradué, post-gradué, ou FMC

TCS

• Mesure le degré de concordance entre la performance des candidats et celle d’un panel de référence, sur une série de tâches basées sur des cas.

• Chacune de ces tâches consiste à juger l’effet qu’a une nouvelle donnée sur le statut d’une option, dans des contextes cliniques comportant de l’incertitude.

• Inférences sur la qualité du raisonnement clinique

Plus

• Site web: www.cme.umontreal.ca/tcs

(toutes les publications en format PDF)

• E-Mailbernard.charlin@umontreal.ca

TABLE OF SPECIFICATIONS FOR THE PEDIATRIC EMERGENCY MEDICINE SCRIPT CONCORDANCE TEST

ASPECTS of CLINICAL REASONING

TOPICS Diagnosis Investigation Treatment

Resuscitation 2 1 2

Respiratory distress 2 1 2

Shock 2 1 2

Arrhythmia 2 1 1

Status epilepticus 2 1 2

Altered level of consciousness 1 2 1

Intoxication 1 1 1

Meningitis 1 2 2

Fever 2 2 2

Gastro-enteritis 1 2 1

Abdominal pain 2 2 1

Polytrauma 2 1 2

Fractures - minor trauma 0 2 2

Total questions 20 19 21

Construction of cases / questions

SCT construction guidelinesBMC Medical informatics and decision making, Accepted, 2008

Validation and answer key

• Validation – A few professionals – A few students

• Re-writing of some cases

• Panel take the test

Panel: practical difficulties