Année universitaire 2008-2009

MEMOIRE

pour le

DIPLÔME INTER-UNIVERSITAIRE

de PEDAGOGIE MEDICALE

Par

Catherine Miquel

Faisabilité et évaluation d’un outil pédagogique numérique

d’anatomie et cytologie pathologiques

Faculté de Médecine René-Descartes, Paris V

2

SOMMAIRE

I- INTRODUCTION………………………………………………………………………….3

1.1. Le besoin de supports numériques d’apprentissage en anatomie pathologique (ACP)

1.2. L’enseignement de l’ACP à Paris V : pourquoi faut-il l’améliorer ?

II- MATERIEL ET METHODES…………………………………………………………...4

2.1. Conception d’une banque de Vidéo-QCM et de VidéoQROC

2.2. Réalisation d’une épreuve fictive de Vidéo-QCM et de Vidéo-QROC

III- RESULTATS……………………………………………………………………………..7

3.1. Evaluation des épreuves

3.2. Enquête de satisfaction

IV. DISCUSSION ET PERSPECTIVES……………………………………………….…9

Résumé

A la Faculté de Médecine René-Descartes Paris V, a été réalisé, pour les étudiants, une

banque de Vidéo-QCM et Vidéo-QROC en anatomie et cytologie pathologiques, support

d’apprentissage visuel numérique. Ce nouvel outil pédagogique a été évalué sur un groupe

d’étudiants en DCEM1 lors d’une épreuve fictive de travaux pratiques d’anatomie

pathologique. La mise en place de ce nouvel outil a été accueillie favorablement par les

étudiants et les enseignants qui y voient un outil d’évaluation assurant un apprentissage

dynamique et stimulant de l’anatomie pathologique.

Mots Clés : Vidéo-QCM, anatomie et cytologie pathologiques

3

I. INTRODUCTION

1.1. Le besoin de supports numériques d’apprentissage en anatomie pathologique

Pour faire face au nombre important d’étudiants en médecine par promotion, la

tendance dans toutes les disciplines médicales est au recours massif vers les supports

numérique multimédias qui ont montré leurs intérêts pédagogiques dans l’enseignement et

l’évaluation. Les modalités d’enseignements de l’anatomie et cytologie pathologique (ACP)

repose sur la morphologie. Devant le parc de microscopes optiques vieillissants et les

contraintes budgétaires qu’impose leur maintenance et le renouvellement chaque année des

boîtes de préparations histologiques (lames de verre), de nouvelles méthodes pédagogiques et

d’évaluation numérique dans l’enseignement de l’ACP se développent. Outre le système des

lames virtuelles, les Vidéo-QCM apparaissent comme un nouvel outil pédagogique et

d’évaluation numérique, à développer dans les disciplines morphologiques comme la

radiologie, l’histologie, l’ACP ou l’anatomie. Les Vidéo-QCM sont utilisés avec succès au

sein la faculté de médecine et de Pharmacie de l’université de Rouen dans diverses disciplines

médicales. Cette faculté est d’ailleurs à l’origine d’une maquette permettant de construire un

Vidéo-QCM type.

L’objectif de ce travail était d’évaluer la faisabilité et l’acceptabilité des Vidéo-QCM

et Vidéo-QROC pour l’enseignement des travaux pratiques (TP) d’ACP.

1.2. L’enseignement de l’ACP à Paris V : pourquoi faut-il l’améliorer ?

L’objectif de l’enseignement de l’ACP en DCEM1 est que l’étudiant connaisse les

caractéristiques morphologiques des grandes familles de lésion et comprenne le principe de la

démarche diagnostique anatomo-clinique et le rationnel des conduites à tenir diagnostiques et

thérapeutiques. Ainsi, lors des TP, il apprendra à reconnaître en microscopie optique des

lésions élémentaires illustrant les principaux processus pathologiques à partir d’exemples. Le

contenu et les modalités d’enseignement de l’ACP en DCEM1 sont les suivantes:

Outre les 18 heures de cours magistraux, l’enseignement d’ACP comporte des

enseignements dirigés (ED) et TP. La promotion des DCEM1 (446 étudiants) est répartie pour

les TP/ED en 12 groupes de 36 étudiants sur 3 salles d’enseignement dont chacune est

équipée de 36 microscopes optiques. Chaque groupe a 14 séances de 1 heure 30 minutes

pendant lesquelles les préparations histologiques (lames de verre) sont présentées sous la

forme d’un diaporama, intégrées à un cas clinique, avant que les étudiants ne regardent eux-

mêmes les lames au microscope optique.

4

Le contrôle des connaissances comporte un examen sur les cours magistraux, un examen

partiel et final de TP au cours desquels les étudiants doivent reconnaître et commenter des

préparations histologiques représentatives des pathologies étudiées.

Au total, cet enseignement nécessite près de 2500 lames de verre par promotion (23

lames par étudiants) qui sont périssables et fragiles, et l’entretien et la maintenance d’un parc

de microscope vieillissants. Cet enseignement est coûteux pour l’UFR et sanctionné par une

abstinence des étudiants aux TP et ED. Une réponse à cet état des lieux pourrait être le

recours aux Vidéo-QCM et Vidéo-QROC. Ceux-ci utilisent un support Power Point et

intègrent de façon dynamique iconographie et texte.

II. MATERIELS ET METHODES

2.1. Conception d’une banque de Vidéo-QCM et de VidéoQROC

2.1.a. Vidéo-QCM : Principes, exemple

41 Vidéo-QCM (30 à choix simple et 11 à choix multiples) ont été rédigés, selon les

recommandations d’une maquette du Vidéo-QCM type élaborée par la faculté de médecine de

Rouen et les règles d’élaboration d’un QCM (J. Lechevallier). Chaque Vidéo-QCM est

construit de la façon suivante :

- La vignette. C’est la première partie du Vidéo-QCM. Elle situe le cadre et la thématique de

la QCM. La formulation de la vignette doit être courte et assez complète. L’étudiant ne doit

pas pouvoir répondre à la question s’il n’a pas correctement interprété l’iconographie.

- Cinq propositions de réponse. La multiplication des bonnes réponses possibles dans un

QCM diminue sa valeur discriminante. Les Vidéo-QCM à choix simple (n=30), qui

comportent 4 leurres et une seule bonne réponse ont été privilégiés. Seuls 11 Vidéo-QCM à

choix multiples ont été rédigés, c’est-à-dire que plusieurs bonnes réponses sont attendues

- L’iconographie. L’iconographie doit être de très bonne qualité, visible à distance et

permettre à l’étudiant de répondre au Vidéo-QCM.

- Durée d’exposition au Vidéo-QCM. Pour chaque QCM, il existe un compte à rebour : on

assiste au déroulement du temps imparti de secondes en secondes avant que l’on ne passe au

Vidéo-QCM suivant. Nous avons retenu le principe d’un Vidéo-QCM par minute.

5

Chaque Vidéo-QCM a été soumis pour relecture à trois experts : validité scientifique, absence

d’ambiguité des intitulés, qualité de l’iconographie, vérification du caractère incontestable des

réponses obtenues.

2.1.b. Vidéo-QROC : Principes et exemple.

23 Vidéo-QROC, exclusivement dédiés à la pathologie tumorale, ont été réalisés en utilisant

le modèle de la maquette des Vidéo-QCM (une vignette, une à 2 iconographies, une durée

d’exposition à la question chronométrée).

6

2.2. Réalisation d’une épreuve fictive de Vidéo-QCM et de Vidéo-QROC

Pour évaluer la pertinence et l’acceptabilité de cette méthode pour une utilisation lors de

l’examen définitif, nous avons présenté les 41 Vidéo-QCM et 23 Vidéo-QROC dans une

simulation d’examen à des étudiants de DCEM1. Leur réaction au matériel d'évaluation a aussi

été recueillie à l'aide d’un questionnaire anonyme (ANNEXE 1).

2.2.a. Population d’étude

Au total 143 étudiants de DCEM1 ont expérimenté les Vidéo-QCM et Vidéo-QROC.

- 143 étudiants (groupe 1) ont réalisé les 41 Vidéo QCM dédiés à la pathologie non tumorale,

au décours des 7 TP sur ces pathologies.

- 55 étudiants (groupe 2) ont expérimenté également les 23 vidéo QROC dédiés à la

pathologie tumorale au décours des 5 TP sur la pathologie tumorale.

Cette épreuve fictive de Vidéo-QCM et Vidéo-QROC a lieu alors que l’ensemble des

étudiants avait déjà expérimenté un examen partiel des TP basé sur l’examen de préparations

histologiques au microscope optique.

2.2.b. Déroulement de l’épreuve (cf.schéma ci-dessous)

- Salle de TP, un écran

- Vidéo QCM : 41 (1 minutes par QCM). 50 minutes de correction. 5 enseignants.

- Vidéo QROC : 23 (1 minute par Vidéo-QROC). 1h de correction. 1 enseignant

- Un questionnaire d’évaluation est remis aux étudiants à la fin.

- Pas de boîtier électronique pour les réponses, réponses sur support papier,

- Correction manuelle

2.2.c. Correction et analyse des résultats (cf ANNEXE 2):

Les étapes de l’analyse des questions ont été les suivantes

- Calcul du score de chaque étudiant et du taux de réussite.

La correction des Vidéo-QCM a choix simple a été binaire ; celle des Vidéo-QCM à choix

multiple a été pondérée. Les Vidéo-QROC sont corrigés en fonction d’une grille de

correction.

- Calcul de l’indice de difficulté et de discrimination pour chaque Vidéo-QCM (JJ Guilbert)

L’évaluation critique de chaque QCM se fait sur la base de ces deux indices. Ils permettent de

conserver, réviser ou de rejeter une question donnée.

7

L’analyse statistique utilise les tests t student et chi2.

III. RESULTATS

3.1. Evaluation des épreuves

Score des étudiants et taux de réussite

La moyenne SD des notes des Vidéo-QCM était significativement supérieure à celle des

Vidéo-QROC (10,44 2,98 versus 7,912,79) (p=0,00000010, test de student). Le taux de

réussite aux Vidéo-QCM était de 53% versus 24% aux Vidéo-QROC.

A l’examen final ou partiel de TP, la moyenne était de 12,45 5,76 DS et le taux de succès de

72,5%.

Indice de discrimination et indice de difficulté des Vidéo-QCM

- La moyenne SD de l’indice de discrimination des questions était de 0,30 0,13 et la

médiane de 0,51. Parmi les 41 Vidéo-QCM, huit ont été éliminées en raison d’un indice de

discrimination inférieur à 0,15 et neuf ont été revues car elles avaient un indice de

ED non tumoral

TP non tumoral (n=7) TP tumoral (n=5)

EXAMEN

PARTIEL EXAMEN

FINAL

ED tumoral

Révisions

Groupe 1

(n=143)

Groupe 2

(n=55)

41 Vidéo-QCM

(41 minutes)

Correction

(50 minutes)

23 Vidéo-QROC

(23 minutes)

Correction

(60 minutes)

Questionnaire Questionnaire

8

discrimination entre 0,15 et 0.24. Parmi les 17 questions revues ou éliminées, huit étaient des

QCM à choix multiples. Les QCM à choix simple tendent à être plus discriminants que les

QCM à choix multiples (Moyenne SD des indices de discrimination: 0,32 0,12 versus

0,25 0,13) sans atteindre cependant le seuil significatif (p=0,08, test de student).

- La moyenne SD de l’indice de difficulté des questions était de 45,61 21,5 et la médiane

de 63,82. Les QCM à choix simple sont significativement plus faciles que les QCM à choix

multiples (Moyenne SD: 50,07 19,43 versus 33,46 22,18 ; p=0,026, test de student).

3.2. Enquête de satisfaction

3.2.a. Evaluation par les étudiants des différentes méthodes pédagogiques

La comparaison des différentes méthodes pédagogiques (Vidéo-QCM, Vidéo-QROC et

méthode classique) montre des différences significatives en termes de niveau de difficulté et

d’appréciation globale (Annexe 3, test Chi2). Les Vidéo-QCM et Vidéo-QROC sont

appréciés par respectivement 42% et 56% étudiants avec une préférence nette pour les Vidéo-

QROC. Ces nouvelles méthodes ne supplantent cependant pas la méthode traditionnelle

(lames au microscope) qui est très appréciée par 85% des étudiants. L’utilisation des Vidéo-

QCM et Vidéo-QROC n’est pas souhaitée pour une évaluation certifiante par respectivement

62% et 59% des étudiants. Celle-ci est considérée plus difficile que la méthode traditionnelle.

3.2.b. Etude des différents paramètres influençant l’adéquation des Vidéo-QCM et Vidéo-

QROC pour une évaluation certifiante.

L’évaluation des différents paramètres n’a pas montré de résultats significativement différents

entre Vidéo-QCM et Vidéo-QROC (Annexe 3, test Chi2).

Positionnement de l’étudiant par rapport à l’écran : Environ la moitié des étudiants

était positionnée dans le premier tiers de la salle et la majorité sur les deux premiers tiers.

Cependant, il est à signaler l’absentéisme des étudiants aux TP/ED, non obligatoires.

la visibilité des illustrations des Vidéo-QCM et Vidéo-QROC a été jugée bonne ou

excellente par respectivement 57% et 71,8% des étudiants. 56% et 57% des étudiants

positionnés au troisième tiers de la salle l’ont également estimée bonne ou excellente.

le temps imparti pour la réponse des Vidéo-QCM et Vidéo-QROC a été jugé adapté par

respectivement 59,9% et 63% des étudiants.

9

Echelle de stress L’utilisation d’une échelle visuelle analogique (EVA) montre que

l’épreuve par Vidéo-QCM est une expérience significativement moins stressante que celle de

l’examen partiel des TP utilisant des lames au microscope (p=0,00000385). Cependant, les

copies par Vidéo-QCM étaient anonymes alors que l’examen partiel est noté.

IV- DISCUSSION ET PERSPECTIVES

Le développement de nouveaux outils pédagogiques en ACP est nécessaire pour les TP en

raison de l’effectif des étudiants, des contraintes budgétaires et ne peut que favoriser

l’attractivité de la discipline. Le système de lames virtuelles et les Vidéo-QCM apparaissent

comme des alternatives à l’enseignement traditionnel de la pathologie au microscope avec des

lames de verre.

Dans ce mémoire, je me suis intéressée à la Vidéo-QCM, méthode pédagogique numérique

multimédia innovante, présentant de nombreux avantages. Elle permet d’incorporer des

iconographies ou des schémas, ce qui ne peut que faciliter la compréhension des concepts

dans une discipline morphologique. Elle présente un intérêt pour de grands effectifs, offre

possibilité de balayer un grand champ de l’enseignement et assure une correction objective,

facile, fiable et immédiate en utilisant un boîtier électronique Parmi les inconvénients des

Vidéo-QCM, il est cité l’impossibilité de retour sur les énoncés et les réponses pour l’étudiant

par rapport à un QCM papier, la rigueur qu’exige la construction d’un QCM et le problème de

la lisibilité à distance dans un amphithéâtre (H. Marini et al.). H. Marini a montré que la

performance des étudiants est strictement équivalente entre les Vidéo-QCM et les QCM sur

papier. Il existe, néanmoins, peu d’expériences rapportées sur les qualités docimologiques des

Vidéo-QCM.

4-1. Construction d’une banque de Vidéo-QCM et Vidéo-QROC en ACP

Concernant la forme de Vidéo-QCM et Vidéo-QROC en ACP, nous avons montré que :

- La construction des questions doit être rigoureuse. L’étudiant ne doit pas pouvoir répondre à

la question sans avoir correctement interprété l’iconographie qui sera concise et lisible. Elle

doit suivre les règles d’élaboration d’un QCM en particulier un texte court, simple, non

ambiguë (J. Lechevallier).

- Les Vidéo-QCM à choix multiples doivent être évités car ils ont une faible valeur

discriminative et un indice de difficulté inadapté.

- La rédaction des Vidéo-QCM est difficile en pathologie tumorale : le champ des

connaissances à explorer est plus restreint qu’en pathologie non tumorale et fait appel à des

10

concepts plus qu’à la mémoire. Les leurres sont complexes à concevoir car le plus souvent

peu réalistes et une seule iconographie est souvent insuffisante pour pouvoir répondre à la

question. Les Vidéo-QROC pourront pallier avec efficacité à cette lacune des Vidéo-QCM.

- Le temps imparti pour la réponse aux questions de 60 secondes est adapté.

4-2. Place des Vidéo-QCM et Vidéo-QROC dans une évaluation formative

Dans ce mémoire, l’analyse du questionnaire a montré que les étudiants sont très attachés à

l’enseignement traditionnel des TP basé sur la pratique du microscope optique. Le

développement du système de lames virtuelles, alternative la plus proche du microscope

optique est donc une priorité. Néanmoins, la banque de Vidéo-QCM et Vidéo-QROC a été

accueillie favorablement par les étudiants (et les enseignants). C’est pour eux l’occasion

d’apprendre et d’enseigner autrement. Au moment de leur correction, l’interactivité entre les

étudiants et l’enseignant, et entre les étudiants eux-mêmes, est renforcée devant l’écran par

rapport à un microscope optique qui est un outil individuel. En cas de bonne réponse,

l’enseignant pourra apporter des éléments de réponse complémentaire ; en cas de mauvaise

réponse, il apportera un message de correction ou une explication de l’erreur. Ces méthodes

permettent de placer l’étudiant dans une situation d’apprentissage ciblée, plutôt que de le

laisser seul « en libre service » devant sa préparation histologique au microscope. L'étudiant

est immédiatement informé de la qualité de sa réponse et un véritable système d'auto-

évaluation est ainsi mis en place.

Ainsi, les Vidéo-QCM et Vidoé-QROC trouvent une place de choix dans l’évaluation

formative. Utilisés à la fin de chaque TP ou d’un module d’enseignement, ils permettent de

vérifier si les objectifs sont atteints, de fournir un feeb-back aux enseignants et aux étudiants

pour vérifier l’acquisition de leur connaissance avant de passer à la prochaine étape.

4-3. Place des Vidéo-QCM et Vidéo-QROC dans une évaluation certifiante

L’utilisation des Vidéo-QROC en évaluation certifiante est compromise pour plusieurs

raisons : (i) les épreuves par Vidéo-QROC sont plus sanctionnantes que celles par Vidéo-

QCM (ii) il est difficile de rédiger une Vidéo-QROC avec une seule iconographie, impliquant

des réponses courtes et sans ambiguité (iii) leur correction est plus longue que celle des

Vidéo-QCM et manque d’objectivité malgré l’établissement d’une grille de correction.

L’utilisation des Vidéo-QCM dans une évaluation certifiante est souhaitable malgré la

réticence des étudiants qui les jugent difficiles. Si les taux de réussite obtenus montrent qu’ils

sont plus sanctionnants que l’épreuve classique, ils ont l’avantage de permettre une correction

rapide et de balayer tout le champ du programme de pathologie non tumorale. Ils sont

particulièrement adaptés aux disciplines morphologiques et les QCM comportant des

11

documents iconographiques ont sans exception un excellent indice de discrimination par

rapport aux QCM sans iconographies, ce qui les rend particulièrement adaptés dans une

évaluation certifiante basée sur des QCM (F. Chrétien, FJ Authier). Avant d’utiliser les

Vidéo-QCM pour une évaluation certifiante, il faudra néanmoins : (i) éliminer de la banque

toutes les questions avec un niveau inacceptable de difficulté ou sans rapport avec la

formation donnée. (ii) vérifier dans une salle à distance la qualité de l’iconographie car un

défaut de lisibilité pourrait compromettre l’égalité des chances entre les étudiants (iii) limiter

la fraude qui est plus facile que pendant une épreuve classique où deux étudiants contigus

n’ont pas les mêmes lames. Dans un futur proche, il faudra coupler, lors de l’examen final, les

Vidéo-QCM aux lames virtuelles qui simulent le microscope optique. Cela permettra de lever

les réticences des étudiants à abandonner les lames de verre et de couvrir l’ensemble du

programme.

En conclusion, la Vidéo-QCM ou la Vidéo-QROC apparaissent de façon indéniable un

outil pédagogique pluridisciplinaire, particulièrement adapté aux disciplines morphologiques.

Dans le cadre des TP d’ACP, la mise en place de ce nouvel outil a été accueillie

favorablement par les étudiants (et les enseignants) et leur permet de travailler autrement, de

façon stimulante et dynamique. Les Vidéo-QCM et Vidéo-QROC pourront servir de

compléments aux lames virtuelles dans une évaluation formative. L’utilisation des Vidéo-

QCM dans une évaluation certificative pourra être envisagée en complément d’une évaluation

classique basée sur la reconnaissance et le commentaire d’une préparation histologique.

Remerciements. Ce travail a été réalisé avec la collaboration des enseignants d’anatomie et

cytologie pathologiques. Je remercie particulièrement le Pr J. Audouin (Hôpital Hôtel-Dieu)

et le Dr V. Bousson (Hôpital Lariboisière) sans qui ce projet n’aurait pas pu voir le jour.

REFERENCES

1) J J Guilbert. Guide pédagogique pour les personnels de santé. OMS. Genève. 1987

2) H Marini, C Girault, O Mouterde, JF Gehanno, A Liard, L Sibert, A Foret, JL Hermil, F Roussel, J

Lechevallier, J Ladner. Evaluation de la performance des Vidéo-QCM. Un essai randomisé croisé

comparant Vidéo-QCM et QCM-papier. Commission Evaluation, Bureau Pédagogique, UFR de

Médecine, Université de Rouen (France) http : //jufss.univ-lille2.fr/session10/5-11%20LADNER.pdf

3) F Chrétien. Etude docimologique des questions à choix multiples de l’épreuve d’histologie du

concours de PCEM1 à la faculté de médecine de Créteil/Paris XII. http://pedagogie.medicale.free.fr

4) F-J Authier. Calcul de l’indice de discrimination des QCM. Application à l’évaluation

rétrospective de cinq épreuves d’Embryologie et Biologie du Développement de PCEM1 à la faculté

de médecine de Créteil/Paris XII http://pedagogie.medicale.free.fr

5) J Lechevallier. Règles d’élaboration d’une évaluation par questions à choix multiples. Site :

www.sofop.org.

12

ANNEXE 1 : QUESTIONNAIRE

EVALUATION DES METHODES PEDAGOGIQUES PAR LES ETUDIANTS

ENSEIGNEMENT HABITUEL SUR LES LAMES AU MICROSCOPE

Votre appréciation globale sur l’enseignement habituel, portant sur les lames au microscope

des travaux pratiques d’anatomie pathologique est :

A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise

Vous trouvez l’examen classique, portant sur des lames au microscope :

A= Facile ; B= pas très facile ; C= Difficile ; D= impossible

Comment évaluez vous votre stress sur cette échelle, lors de l’examen classique sur lames au

microscope ?

VIDEO-QCM

Votre appréciation globale des Vidéo-QCM est :

A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise

Vous trouvez que l’évaluation par les Vidéo-QCM est :

A= Facile ; B= pas très facile ; C= Difficile ; D= impossible

A quel endroit étiez-vous assis lors des Vidéo-QCM ?:

= 1er tiers de la salle; B= 2ème tiers de la salle ; C= 3ème

tiers de la salle

La visibilité des illustrations des Vidéo-QCM était globalement :

A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise

Pour répondre aux questions des Vidéo-QCM, vous jugez globalement que :

A= vous aviez besoin de plus de temps ; B= vous aviez besoin de moins de temps ; C= le

temps imparti était adapté

Comment évaluez vous votre stress sur cette échelle (ci dessus), lors des Vidéo-QCM ?

Préfériez-vous qu’un examen par des Vidéo-QCM remplace l’examen classique portant sur

des lames au microscope :

A= Oui ; B= Non ; C= ne sait pas

VIDEO-QROC

Votre appréciation globale des Vidéo-QROC est:

A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise

Vous trouvez que l’évaluation par les Vidéo-QROC est :

A= Facile ; B= pas très facile ; C= Difficile ; D= impossible

A quel endroit étiez-vous assis lors des Vidéo-QROC ? :

A= 1er tiers de la salle ; B= 2ème tiers de la salle ; C= 3ème tiers de la salle

La visibilité des illustrations des Vidéo-QROC était globalement:

A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise

Pour répondre aux questions des Vidéo-QROC, vous jugez globalement que :

A= vous aviez besoin de plus de temps ; B= vous aviez besoin de moins de temps ; C= le

temps imparti était adapté

Préfériez-vous qu’un examen par des Vidéo-QROC remplace l’examen classique portant sur

des lames au microscope :

A= Oui ; B= Non ; C= ne sait pas

0 5 10

Pas de stress Très stressant

13

ANNEXE 2 : CORRECTION ET ANALYSE DES RESULTATS DES VIDEO-QCM

Mode pondération des Vidéo-QCM

Pour les Vidéo-QCM, les modes de pondération des QCM sont différents selon qu’il s’agit

d’un QCM à choix simple ou d’un QCM où plusieurs choix peuvent être faits.

- Dans un QCM où il faut choisir une seule réponse ; la notation est binaire :

Bonne réponse =1 point,

Toute autre réponse = 0 point

- Dans un QCM où deux ou plusieurs choix doivent être faits, la notation est pondérée au

prorata des bonnes réponses. Dans cette formule, le candidat totalise d’autant plus de points

qu’il a fourni de bonnes réponses.

Deux bonnes réponses (sur 2) = 1 point

Une bonne réponse (sur 2)= ½ point

Aucune bonne réponse = 0 point

Certaines mauvaises réponses seront sanctionnées : une mauvaise réponse est

sanctionnée de 0,2 point. Deux mauvaises réponses sont sanctionnées de 0,5 point.

Aucun point négatif n’a cependant été attribué.

Calcul de l’indice de difficulté et de discrimination

Parmi les étudiants, on distingue trois tiers : ceux des forts, des moyens et des faibles, selon

les recommandations de JJ.Guilbert (Guide OMS).

On dénombre :

F : nombre de réponses justes dans le groupe des forts

f : nombre de réponses justes dans le groupe des faibles

N : nombre total d’étudiants appartenant aux groupes des forts et des faibles.

Le calcul des indices s’est fait selon les formules suivantes :

L’indice de difficulté= F+f/ N x100

L’indice de discrimination=2x(F-f)/N

- L’indice de discrimination est le chiffre qui permet de déterminer dans quelle mesure une

question est assez sélective pour distinguer un groupe « fort » d’un groupe « faible »

d’étudiants. Il varie de -1 à +1. Plus cet indice est élevé, plus la question permet de faire la

différence entre un groupe « fort » et un groupe « faible ». Si l’indice de discrimination d’une

question est :

- de 0 ,35 et plus : la question est excellente

- de 0,25 à 0,34 : la question est bonne

- de 0,15 à 0,24 : la question est à revoir

- <0,15 : la question est mauvaise

- L’indice de difficulté d’une question permet de déterminer dans quelle mesure une question

est facile ou non. C’est le pourcentage d’étudiants ayant répondu correctement à une question.

Il varie de à 0 à 100%. Plus cet indice est élevé, plus la question est facile. En principe, une

question avec un indice de difficulté entre 30% et 70% est acceptable.

14

ANNEXE 3 : ANALYSE DU QUESTIONNAIRE D’EVALUATION

Appréciation globale des méthodes pédagogiques

Enseignement habituel

(lames au microscope)

(N=139)

Vidéo-QCM

(N=138)

Vidéo-QROC

(N=50)

A= Excellente 15,1% (21/139) 2,1% (3/138) 4% (2/50)

B= Bonne 69,8 % (97/139) 40% (55/138) 52% (26/50)

C= Moyenne 14,4% (20/139) 38,4% (53/138) 26% (13/50)

D= Passable 0% (0/139) 15,2% (21/138) 16% (8/50)

E= Mauvaise 0,7% (1/139) 4,3% (6/138) 2% (1/50)

Test Chi2 : p=1,45 10-11

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

Excellente Bonne Moyenne Passable Mauvaise

Appréciation générale des méthodes pédagogiques

Vidéo-QCM Vidéo-QROC Méthode classique (lames)

15

Acceptabilité de la méthode pédagogique pour une évaluation certifiante

Un examen par

des Vidéo-QCM ?

Un examen par

des Vidéo-QROC ?

A= Oui 12,3% (17/138) 13% (7/54)

B= Non 62,3% (86/138) 59% (32/54)

C= ne sait pas 25,4% (35/138) 28% (15/54)

Test Chi2 : p=0,92

Evaluation du niveau de difficulté des méthodes pédagogiques

Examen classique (lames au

microscope) (N=137)

Vidéo-QCM

(N=137)

Vidéo-QROC

(N=54)

A= Facile 7,3% (10/137) 2,1% (3/137) 2 % (1/54)

B= pas très

facile

52,5% (72/137) 38 % (52/137) 33,3% (18/54)

D= Difficile 37,2% (51/137) 52,6% (72/137) 55,5% (30/54)

E= impossible 3 % (4/137) 7,3 % (10/137) 9,2% (5/54)

Test Chi2 : p=0,006

0

10

20

30

40

50

60

Facile Pas très facile Difficile Impossible

Evaluation des méthodes pédagogiques

Vidéo-QCM Vidéo-QROC Examen classique (lames)

16

Positionnement de l’étudiant par rapport à l’écran

Vidéo-QCM (n=138) Vidéo-QROC (n=53)

A= premier tiers de la salle 46,4 % (64/138) 55 % (29/53)

B= deuxième tiers de la salle 42% (58/138) 32 % (17/53)

C= troisième tiers de la salle 11,6% (16/138) 13% (7/53)

Test Chi2=0,45

Visibilité des illustrations

Vidéo-QCM (n=135) Vidéo-QROC (n=53)

A= Excellente 8% (11/135) 9,5 % (5/53)

B= Bonne 49% (66/135) 62,3% (33/53)

C= Moyenne 29% (39/135) 20,7% (11/53)

D= Passable 9,6% (13/135) 5,6% (3/53)

E= Mauvaise 4,4% (6/135) 1,9% (1/53)

Test Chi2 : p=0,45

Temps imparti pour la réponse

Temps imparti Vidéo-QCM (n=137 Vidéo-QROC (n=54)

A= vous aviez besoin de plus de temps 32,8% (45/137) 35% (19/54)

B= vous aviez besoin de moins de temps 7,3% (10/137) 2 % (1/54)

C= le temps imparti était adapté 59,9% (82/137) 63% (34/54)

Test Chi2 : p=0,35

Echelle de stress

Examen classique (n=119) Vidéo-QCM (n=115)

Moyenne (médiane) 5,5 +/- 3,02 (5,5) 3,5 +/-3,27 (3)

Test de Student p= 0,00000385