Figure 1 - ePosters...Nous nous sommes appuyés sur les propositions de Tennant & Conaghan (2007)...
1
Eric Dionne 1 , Ph.D, Julie Grondin 2 , M.A., Marie-Ève Latreille 1 , M.A. 1 Université d’Ottawa 2 Université du Québec à Rimouski o Instrument Le TCS a été développé dans le cadre d’un programme de formation initiale en sciences infirmières. Il était composé de 15 vignettes contenant chacune 3 questions pour un total de 45 items. Les dimensions (E s ) touchées étaient : (1) l’évaluation, (2) le traitement et (3) l’intervention. o Logiciel Le logiciel FACETS version 3.66.2 (Linacre, 2010) a été utilisé pour modéliser les scores bruts. o Démarche d’analyse Nous nous sommes appuyés sur les propositions de Tennant & Conaghan (2007) pour réaliser nos analyses. Selon eux, les analyses avec les modèles de la famille de Raschdevraient prendre en considération : (1) une description du modèle choisi, (2) la position des catégories de réponse, (3) l’ajustement modèle-données autant pour les sujets que les items, (4) des indices sur le respect du postulat d’indépendance local, (5) la présence d’un fonctionnement différentiel d’item (FDI), (6) la description de la qualité de l’échelle de mesure par une bonne mise en correspondance entre les items et les sujets et (7) des informations sur la fidélité des scores. Pour les fins de nos analyses, nous avons appliqué le principe de parcimonie qui consiste à recourir à la modélisation qui est à la fois la plus simple et la plus adéquate. Pour ce faire, nous avons exploré trois variantes du modèle à crédit partiel de Rasch en examinant les effets relatifs au nombre de facettes, au nombre de catégories de réponse, au nombre d’items et au nombre de sujets intégrés aux différentes modélisations. Seules les deux premières étapes de la démarche sont ici présentées. Figure 5 Statistique d’ajustement Outfit (Z) pour tous les sujets (n=70) -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 Difficulté Items 3 facettes, 5 catégories 3 facettes, 3 catégories 4 facettes, 5 catégories -0.50 0.00 0.50 1.00 1.50 2.00 2.50 1 11 21 31 41 51 61 Échelle Sujets 3 facettes, 5 catégories 4 facettes, 3 catégories 4 facettes, 5 catégories -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00 1 11 21 31 41 51 61 Ajustement Infit (Z) Sujets 3 facettes, 5 catégories 4 facettes, 3 catégories 4 facettes, 5 catégories -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00 1 11 21 31 41 51 61 Ajustement Outfit Z) Sujets 3 facettes, 5 catégories 4 facettes, 3 catégories 4 facettes, 5 catégories Les tests de concordance de scripts (TCS) sont de plus en plus utilisés en formation initiale dans le domaine de l’éducation médicale pour évaluer, entre autres, le jugement clinique chez les étudiants en médecine, en sciences infirmières ou encore chez tous autres professionnels de la santé. Par jugement clinique, nous entendons une prise de décision parmi plusieurs alternatives à la suite d’une déduction logique relativement aux besoins des patients (Phaneuf, 2008). La figure 1 illustre une vignette développée dans le cadre de nos travaux. On y retrouve un scénario qui relate un cas clinique. À la lecture de celui-ci, l’étudiant prend connaissance d’une hypothèse et d’une information supplémentaire qui lui est rattachée. On invite ensuite l’étudiant à se prononcer sur l’hypothèse en indiquant son choix sur une échelle de Likert (-2, -1, 0, +1, +2) en cinq catégories. Figure 1 Exemple d’une vignette dans le cadre d’un TCS en sciences infirmières (Latreille, 2012) Les propriétés métriques des TCS sont généralement étudiées par la lorgnette de la théorie classique des tests (TCT). On examine par exemple la consistance interne (ex. Alpha de Cronbach) ou encore la corrélation item-total (ex. rejet des items dont la corrélation est ≤ 0,10). Peu d’études se sont intéressées aux propriétés métriques des TCS avec la modélisation de Rasch. Cette dernière consiste à modéliser les scores bruts et à observer si ces derniers peuvent être considérés sur une échelle à intervalles égaux. Dans le cadre de cette recherche, nous avons comparé trois variantes (3 facettes, 5 catégories – 3 facettes, 3 catégories – 4 facettes, 5 catégories) du modèle à facettes de Rasch . On constate peu de différences quant à l’estimation des paramètres de difficulté selon les trois modèles expérimentés. L’estimation de l’habileté des sujets offre également peu de variabilité. Le modèle à 4 facettes et 5 catégories semblent donner des estimations plus élevées que les deux autres modèles expérimentés. Les statistiques d’ajustement Infit et Outfit sont excellentes, et ce, au regard des trois modèles. Cela nous suggère que la modélisation de Rasch serait indiquée pour les données brutes issues d’un tel instrument. Nos analyses nous indiquent que le TCS semble être un outil prometteur pour l’évaluation du jugement clinique. Figure 4 Statistique d’ajustement Infit (Z) pour tous les sujets (n=70) Figure 2 Distribution des paramètres associés à la difficulté des items (n=45) Figure 3 Distribution de l’habileté des sujets (n=70) 1. Phaneuf, M. (2008). Le jugement clinique, cet outil professionnel d’importance. Récupéré le 23 février 2014 du site de l’auteur : http:// www.infiressources.ca/fer/depotdocuments/Le_jugement_clinique-cet_outil_professionnel_d_importance.pdf 2. Latreille, M-E. (2012). Évaluation du raisonnement clinique d’étudiantes et d’infirmières dans le domaine de la pédiatrie. Mémoire de maîtrise non publié. Université d’Ottawa, Ottawa. 3. Linacre, M. (2010). FACETS Rasch measurement computer program (Version 3.66.2). Chicago : Winsteps.com 4. Tennant, A., et Conaghan, P. G. (2007). The Rasch measurement model in rheumatology: What is it and why use it? when should it be applied, and what should one look for in a Rasch paper? Arthritis Rheum, 57, 1358-1362. Script Concordance Test (Students) 1. Pain Scenario Zachary, a 6 year old, 20kg boy, has had an appendectomy a day ago. He is complaining of 9 out of 10 abdominal pain. He last received his pain medication 2 hours ago. The physician has ordered morphine 2-4 mg IV Q2H PRN. If you were thinking of… (Hypothesis) And then you find… A) Administering 4mg of IV morphine to reduce Zachary’s abdominal pain. Zachary is asleep in his bed. His respiration are 12 breaths per min. Usually his RR is 20 breaths per min when asleep and 24 breaths per min when awake. 1. The intervention (administrating the morphine) becomes… o - 2 : Strongly contraindicated or even detrimental o - 1 : Contraindicated o 0 : Neither more or less indicated o +1 : Indicated o +2 : Strongly indicated or absolutely necessary Modèle à 3 facettes P nijk = e Bn -Di- Cj - F k 1+e Bn-Di-Cj-F k P nijk représente la probabilité que le sujet n pour l’item i ayant une formation j choisisse la catégorie k B n représente la position du sujet n sur l’échelle de mesure, n = 1, N D i est la position de l’item i, i = 1, L C j est la position de la formation (expérience) j, j = 1, J F k est la difficulté de passer de la catégorie k-1 à la catégorie k, k = 1, K Modèle à 4 facettes P nijsk = e Bn-Di-Cj-Es-F k 1+e Bn-Di-Cj-Es-F k P nijsk représente la probabilité que le sujet n pour l’item i ayant une formation j choisisse la catégorie k à la tâche s B n représente la position du sujet n sur l’échelle de mesure, n =1, N D i est la position de l’item i, i = 1, L C j est la position de la formation (expérience) j, j = 1, J E s est la position du domaine (tâche) s, s = 1, S F k est la difficulté de passer de la catégorie k-1 à la catégorie k, k = 1, K 3 3 3
Transcript of Figure 1 - ePosters...Nous nous sommes appuyés sur les propositions de Tennant & Conaghan (2007)...
www.uottawa.ca/imprimer www.uottawa.ca/print Imprimé par / printed by:
Eric Dionne1, Ph.D, Julie Grondin2, M.A., Marie-Ève Latreille1, M.A. 1 Université d’Ottawa 2 Université du Québec à Rimouski
o Instrument Le TCS a été développé dans le cadre d’un programme de formation initiale en sciences infirmières. Il était composé de 15 vignettes contenant chacune 3 questions pour un total de 45 items. Les dimensions (Es) touchées étaient : (1) l’évaluation, (2) le traitement et (3) l’intervention. o Logiciel Le logiciel FACETS version 3.66.2 (Linacre, 2010) a été utilisé pour modéliser les scores bruts. o Démarche d’analyse Nous nous sommes appuyés sur les propositions de Tennant & Conaghan (2007) pour réaliser nos analyses. Selon eux, les analyses avec les modèles de la famille de Rasch devraient prendre en considération : (1) une description du modèle choisi, (2) la position des catégories de réponse, (3) l’ajustement modèle-données autant pour les sujets que les items, (4) des indices sur le respect du postulat d’indépendance local, (5) la présence d’un fonctionnement différentiel d’item (FDI), (6) la description de la qualité de l’échelle de mesure par une bonne mise en correspondance entre les items et les sujets et (7) des informations sur la fidélité des scores. Pour les fins de nos analyses, nous avons appliqué le principe de parcimonie qui consiste à recourir à la modélisation qui est à la fois la plus simple et la plus adéquate. Pour ce faire, nous avons exploré trois variantes du modèle à crédit partiel de Rasch en examinant les effets relatifs au nombre de facettes, au nombre de catégories de réponse, au nombre d’items et au nombre de sujets intégrés aux différentes modélisations. Seules les deux premières étapes de la démarche sont ici présentées.
Figure 5 Statistique d’ajustement Outfit (Z) pour tous les sujets (n=70)
-4.00
-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00
4.00
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 Dif
ficu
lté
Items
3 facettes, 5 catégories 3 facettes, 3 catégories 4 facettes, 5 catégories
-0.50
0.00
0.50
1.00
1.50
2.00
2.50
1 11 21 31 41 51 61
Éch
elle
Sujets
3 facettes, 5 catégories 4 facettes, 3 catégories 4 facettes, 5 catégories
-4.00
-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00
4.00
1 11 21 31 41 51 61
Aju
stem
ent Infit (
Z)
Sujets
3 facettes, 5 catégories 4 facettes, 3 catégories 4 facettes, 5 catégories
-4.00
-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00
4.00
1 11 21 31 41 51 61
Aju
stem
ent Outfit Z
)
Sujets 3 facettes, 5 catégories 4 facettes, 3 catégories 4 facettes, 5 catégories
Les tests de concordance de scripts (TCS) sont de plus en plus utilisés en formation initiale dans le domaine de l’éducation médicale pour évaluer, entre autres, le jugement clinique chez les étudiants en médecine, en sciences infirmières ou encore chez tous autres professionnels de la santé. Par jugement clinique, nous entendons une prise de décision parmi plusieurs alternatives à la suite d’une déduction logique relativement aux besoins des patients (Phaneuf, 2008). La figure 1 illustre une vignette développée dans le cadre de nos travaux. On y retrouve un scénario qui relate un cas clinique. À la lecture de celui-ci, l’étudiant prend connaissance d’une hypothèse et d’une information supplémentaire qui lui est rattachée. On invite ensuite l’étudiant à se prononcer sur l’hypothèse en indiquant son choix sur une échelle de Likert (-2, -1, 0, +1, +2) en cinq catégories.
Figure 1 Exemple d’une vignette dans le cadre d’un TCS en sciences infirmières (Latreille, 2012)
Les propriétés métriques des TCS sont généralement étudiées par la lorgnette de la théorie classique des tests (TCT). On examine par exemple la consistance interne (ex. Alpha de Cronbach) ou encore la corrélation item-total (ex. rejet des items dont la corrélation est ≤ 0,10). Peu d’études se sont intéressées aux propriétés métriques des TCS avec la modélisation de Rasch. Cette dernière consiste à modéliser les scores bruts et à observer si ces derniers peuvent être considérés sur une échelle à intervalles égaux. Dans le cadre de cette recherche, nous avons comparé trois variantes (3 facettes, 5 catégories – 3 facettes, 3 catégories – 4 facettes, 5 catégories) du modèle à facettes de Rasch .
On constate peu de différences quant à l’estimation des paramètres de difficulté selon les trois modèles expérimentés. L’estimation de l’habileté des sujets offre également peu de variabilité. Le modèle à 4 facettes et 5 catégories semblent donner des estimations plus élevées que les deux autres modèles expérimentés. Les statistiques d’ajustement Infit et Outfit sont excellentes, et ce, au regard des trois modèles. Cela nous suggère que la modélisation de Rasch serait indiquée pour les données brutes issues d’un tel instrument. Nos analyses nous indiquent que le TCS semble être un outil prometteur pour l’évaluation du jugement clinique.
Figure 4 Statistique d’ajustement Infit (Z) pour tous les sujets (n=70)
Figure 2 Distribution des paramètres associés à la difficulté des items (n=45)
Figure 3 Distribution de l’habileté des sujets (n=70)
1. Phaneuf, M. (2008). Le jugement clinique, cet outil professionnel d’importance. Récupéré le 23 février 2014 du site de l’auteur : http://www.infiressources.ca/fer/depotdocuments/Le_jugement_clinique-cet_outil_professionnel_d_importance.pdf 2. Latreille, M-E. (2012). Évaluation du raisonnement clinique d’étudiantes et d’infirmières dans le domaine de la pédiatrie. Mémoire de maîtrise non publié. Université d’Ottawa, Ottawa. 3. Linacre, M. (2010). FACETS Rasch measurement computer program (Version 3.66.2). Chicago : Winsteps.com 4. Tennant, A., et Conaghan, P. G. (2007). The Rasch measurement model in rheumatology: What is it and why use it? when should it be applied, and what should one look for in a Rasch paper? Arthritis Rheum, 57, 1358-1362.
Script Concordance Test (Students)
1. Pain Scenario
Zachary, a 6 year old, 20kg boy, has had an appendectomy a day ago. He is complaining of 9 out of 10 abdominal pain. He last received his pain medication 2 hours ago.
The physician has ordered morphine 2-4 mg IV Q2H PRN. ���
If you were thinking of… (Hypothesis)
And then you find…
A) Administering 4mg of IV morphine to reduce Zachary’s abdominal pain.
Zachary is asleep in his bed. His respiration are 12 breaths per min.
Usually his RR is 20 breaths per min when asleep and 24 breaths per min when awake.
1. The intervention (administrating the morphine) becomes…
o - 2 : Strongly contraindicated or even detrimental o - 1 : Contraindicated o 0 : Neither more or less indicated o +1 : Indicated o +2 : Strongly indicated or absolutely necessary
Modèle à 3 facettes ���
Pnijk = eBn-Di-Cj-Fk
1+eBn-Di-Cj-Fk���
Pnijk représente la probabilité que le sujet n pour l’item i ayant une formation j choisisse la catégorie k Bn représente la position du sujet n sur l’échelle de mesure, n = 1, N
Di est la position de l’item i, i = 1, L
Cj est la position de la formation (expérience) j, j = 1, J
Fk est la difficulté de passer de la catégorie k-1 à la catégorie k, k = 1, K
Modèle à 4 facettes ���
Pnijsk = eBn-Di-Cj-Es-Fk ��� 1+eBn-Di-Cj-Es-Fk
Pnijsk représente la probabilité que le sujet n pour l’item i ayant une formation j choisisse la catégorie k à la tâche s Bn représente la position du sujet n sur l’échelle de mesure, n =1, N
Di est la position de l’item i, i = 1, L
Cj est la position de la formation (expérience) j, j = 1, J
Es est la position du domaine (tâche) s, s = 1, S
Fk est la difficulté de passer de la catégorie k-1 à la catégorie k, k = 1, K
33
3
