Intervention du SMART au Conseil des études des 1er et 2ème doctorat Faculté de Médecine

Intervention du SMART au Conseil des études des 1er et 2ème doctorat en Faculté de Médecine - 30/05/05

Intervention du SMARTau Conseil des études

des 1er et 2ème doctorat Faculté de Médecine

Jean-Luc GILLES, Pascal DETROZ & Myriam DUPONTCHU - 30/05/2005


Réponses à des questions ponctuelles :

Avantages / inconvénients vrai-faux vs QCM ?

Quels systèmes de cotation appliquer lors de vrai-faux ?

Faut-il utiliser la consigne « Choisissez la meilleure solution » ?

Comment améliorer la qualité des tests standardisés interdisciplinaires ?


Leclercq (1986)

Avantages et inconvénients respectifs

Avantages / inconvénients vrai-faux vs QCM


1. Du point de vue des possibilités de feedbacks

Les propositions incorrectes apparaissent plus comme des « masques à la réponse correcte » que comme des propositions qui pourraient fournir des informations sur le type d’erreur commise par l’étudiant.

Vrai-faux QCM

« The distractor a student chooses may give you diagnostic insight into difficulties the student is experiencing »

Nitko (2001)



2. Du point de vue des réponses dues au hasard

Vrai-faux QCM

Dans le cas d’une question vrai-faux, les évalués ont dès le départ 50 % de chances de donner la réponse correcte...

Les vrai-faux surestiment les performances des étudiants.


« There is less of a chance for a student to guess the correct answer to a multiple-choice item than to a true-false item or to a poorly constructed matching exercise »

Nitko (2001)


3. Du point de vue de la fidélité

Il faudrait prévoir 135 Vrai-faux Il faudrait prévoir 56 QCM


Ebel (1969)

0,5 0,6 0,7 0,8 0,9

2 54 67 90 135 270

3 36 45 60 90 180

4 30 37 50 75 150

5 27 34 45 67 135

6 25 31 42 63 126

7 24 30 40 60 120

8 23 29 39 58 115

9 22 28 37 56 112Nom

bre

de s

olut

ions

pro

posé

es

Nombre de questions nécessaires pour obtenir une fidélité donnée quand toutes les QCM ont le même nombre de solutions proposées

Pour atteindre une fidélité théorique de 0,8

Niveaux de fidélité


Imaginons que l’on vise une fidélité théorique de 0,8…

Dans le cas de vrai-faux,

il en faudrait environ 135

4. Du point de vue du temps de réponse nécessaire


Vrai-faux

Dans le cas de QCM avec 9 solutions,

il en faudrait environ 56

QCM

Estimons le temps de réponse moyen pour chaque vrai-faux à 2 minutes :

135 x 2 = 270 min.

soit 4h30 d’examen

Estimons le temps de réponse moyen pour chaque QCM à 4 minutes :

56 x 4 = 224 min.

soit environ 3h45 d’examen


De part leur nature dichotomique, en général, les questions vrai-faux ne se prêtent pas bien à l’évaluation de compétences mises en jeu dans des situations complexes « authentiques », comme celles qu’on peut rencontrer dans un contexte professionnel.

En fait, ils sont souvent utilisés pour évaluer des connaissances factuelles.

5. Du point de vue de l’authenticité des questions


Vrai-faux QCM

« The multiple-choice format can be used to assess a greater variety of learning targets than other formats of response-choice items »

Nitko (2001)

Exemple : les QCM « cas à analyser »


6. Du point de vue des niveaux taxonomiques


Vrai-faux

Bloom (1956, 1984)

QCM

Avec degrés de certitude

*



Besoins identifiés dans le cadre des évaluations des

acquis en 1er et 2ème doctoraten février 2003

Groupe de travail 20/9/02 … abandonner le V-F généralisé et ajouter 2 solutions générales implicites (tout faux, tout vrai)

…répartir les QCM sur 2 x 2h et sur 2 demi journées

… formation des enseignants à la rédaction des QCM

(28/10/02)


Systèmes de cotations possibles dans le cas de vrai-faux généralisés(d’après Leclercq, 1986)

Indiquez, pour chacune des couleurs suivantes, si elle appartient (vrai ou faux) à la catégorie des couleurs spectrales primaires.1. l’infra-rouge 2. le rouge …………...… (V)3. l’orange4. le jaune5. le vert ………………. (V)6. le bleu ………………. (V)7. l’indigo8. le violet9. l’ultra-violet

Systèmes de cotation appliqué lors de vrai-faux

2 systèmes de cotations possibles

Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées

… sévérité

Type 1

Chaque proposition est considérée comme une question indépendante et corrigée comme telle. On peut omettre à une ou plusieurs solutions.

… sévérité

Type 2


Si on annonce le nombre de solutions vraies et le nombre de solutions fausses => plus facile !

Tâche de discrimination d’un pattern de réponses (une fois les X solutions correctes repérées, les autres peuvent être considérées comme incorrectes).

53 % de patterns de réponses exacts

Si le nombre de solutions vraies et de solutions fausses n’est pas annoncé => plus difficile !

Tâche de jugement multiple.

27 % de patterns de réponses exacts

Le tarif attribué à une réponse correcte ne sera attribué que pour la série FVFFVVFFF. L’omission n’est accordée que s’il n’est répondu à aucune des solutions proposées

Noizet et Caverni (1978)Expérience menée avec des étudiants en médecine (N = 556)



Dans le cas d’un vrai-faux généralisé,

c’est le tarif de la « correction for guessing » qui est le plus souvent utilisé pour contrer les effets des réponses correctes dues au hasard :


En cas de réponse correcte : + 1

En cas de réponse incorrecte : 112

11

1

NSP

En cas d’omission : 0

avec NSP = Nombre de Solutions Proposées, dans le cas d’un vrai-faux « type 1 » = le nombre de combinaisons possibles

dans le cas d’un vrai-faux « type 2 » = 2


La consigne « Choisissez la meilleure solution »

« Il est en principe plus difficile de répondre à une QCM de la forme ci-dessus qu’à une QCM classique … En effet… plusieurs solutions peuvent être considérées comme correctes (4 et 5), et il faut les classer entre elles pour, finalement, choisir la meilleure. »

Leclercq (1986) Critiques :

« … rather difficult to craft…You need to create distractors that are partially correct… unlike typical multiple choice items for which one option is the only correct one »

« … What is legitimately a best answer in one teacher’s class (given what students have been taught) is not the best answer in another teacher’s class. »

« …Best implies a set of criteria that may not have been taught or understood by students. »

« …A teacher may easily write a “tricky” item in which an option’s correctness depends on a trivial fact, …or an easily overlooked word in a phrase. »

Nitko (2001)


Comment améliorer la qualité des tests standardisés interdisciplinaires ?

Une approche qualité

Besoins des évaluateurs

& desévalués

Ressourcesen personnel et

en matériel

Objectifsde qualité

Modèles & procédures


Besoins identifiés dans le cadre des

évaluations des acquis en 1er et 2ème doctorat

en février 2003

Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire



… formation des enseignants à la rédaction

des QCM (28/10/02)

… entraînement des étudiants

durant l'année. Utilisation des

boîtiers de votes électroniques.

… préparer les étudiants depuis

les candis et affiner le système progressivement.

… régulation des cotes en fonction de questions se révélant

problématiques a posteriori (simulation le 28/10/02)


cycle de gestion qualité des tests standardisés 4. Entraînement

1. Analyse desobjectifs de

l’enseignement

- Points Enseignés- Catégories de

Performances- Priorités

2. Mise en formede l’épreuve

- Définition desModalités deQuestionnement

- Equilibrage del’épreuve

3. Constructionde l’épreuve

- Rédaction desquestions

- Barèmes et tarifs- Contrôle qualité

a priori

5. Examen- préparation du

matériel, deslocaux,consignes

- vérification dutiming

- procéduresanti-fraude

6. Correction etdiscussion

- performances- analyse des

propositions,contrôle qualité aposteriori : rpbis,rectifications

7. Feed-backaux examinés

- FB « matières »,« processusmentaux » et« métacognitifs »

- infos surl’analyse desquestions

8. Macrorégulation (recueil

avis étudiants)

Renouveau pédagogique … organiser le contrôle des connaissances sur un mode multidisciplinaire



… formation des enseignants à la rédaction des QCM

(28/10/02)

… entraînement des étudiants durant

l'année. Utilisation des

boîtiers de votes électroniques.

… préparer les étudiants depuis les candis et affiner le système progressi-

vement.… régulation des cotes en fonction de questions se révélant problématiques a

posteriori (simulation le 28/10/02)

une analyse des avis des étudiants à propos des différentes modalités d'évaluation proposées dans le cadre des tests interdisciplinaires ?

un feedback individualisé pour chaque étudiant accessible via le web après chaque test interdisciplinaire ?

Suggestions

Les besoins identifiés dans le cadre des évaluations des acquis en 1er et 2ème doc.


L’équipe du SMART peut vous aider à :

1. Construire vos tables de spécification

2. Choisir vos méthodes de questionnement

3. Analyser la qualité docimologique de vos questions (d’un point de vue formel) relecture selon les règles de rédaction des QC et proposition d’améliorations

Gérer vos banques de questions

4. Concevoir et mettre en œuvre des examens « à blanc »avec les moyens logistiques du SMART (BVE, TIMI, …)

6. Accompagner dans l’analyse a posteriori des questions (r.bis, …)

7. Concevoir des feedbacks plus diagnostiques et plus précis

8. Utiliser les informations liées aux EVALENS pour améliorer vos examens


Site web du SMART : http://www.smart.ulg.ac.be

Intervention du SMART au Conseil des études des 1er et 2ème doctorat Faculté de Médecine

Documents

Transcript of Intervention du SMART au Conseil des études des 1er et 2ème doctorat Faculté de Médecine