1

Diplôme Inter-Universitaire de Pédagogie Médicale

Faculté de Médecine de Paris

UFR Saint-Antoine, Créteil, Pitié-Salpêtrière, Necker, Cochin

CREATION D’UN OUTIL D’EVALUATION DE L’ENSEIGNEMENT DU

POLE URGENCES-REANIMATION-ANESTHESIE EN DCEM 2 A LA

FACULTE DE MEDECINE PITIE-SALPETRIERE UNIVERSITE

PARIS VI - PIERRE ET MARIE CURIE

Docteur Benoît VIVIEN

Année Universitaire 2005-2006

2

Plan

Introduction p 3

Présentation de l’enseignement Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière

p 4

1) Organisation générale de l’enseignement p 4

2) Modalités actuelles d’évaluation des Certificats Couplés à la Pratique

Clinique (CCPC) par les étudiants

p 7

a) Evaluation des enseignements p 7

b) Evaluation des stages hospitaliers et des gardes p 11

c) Avantages et inconvénients du système actuel d’évaluation p 18

Présentation du mode d’évaluation des 1er et 2ème cycles des études médicales au CHU Saint Antoine

p 20

Création d’un outil d’évaluation via internet du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière

p 27

1) Cahier des charges p 27

2) Questionnaire p 29

Perspectives et conclusion p 37

3

Introduction

L’évaluation d’un enseignement est nécessaire afin de pouvoir conduire le cycle des études

en tenant compte des critiques, qu’elles soient positives et/ou négatives, de toutes les personnes

impliquées dans cet enseignement. A ce titre, il est indispensable d’évaluer l’enseignement en

prenant en compte l’avis des étudiants et des enseignants. Le principal but des évaluations est de

renforcer la qualité de l’enseignement en identifiant les besoins de formation ou de conseil des

enseignants, d’éventuelles nécessités d’adaptation des méthodes ou types d’enseignement, ainsi

que des modifications souhaitables sur le plan de la coordination du programme.

Afin de renforcer une vision positive et constructive de l’évaluation et de disposer

d’informations de qualité, certains principes doivent être respectés lors de la mise en place d’un

système d’évaluation des enseignements : anonymat des évaluations par les étudiants, information

des résultats aux responsables de chaque enseignement, mais confidentialité des résultats

individuels vis à vis de l’ensemble de la collectivité des enseignants, information aux étudiants des

résultats de l’ensemble des évaluations, élaboration d’outils et de modalités spécifiques pour

chaque type d’enseignement, organisation rigoureuse de la préparation, de la distribution, du

recueil et de la saisie des questionnaires.

Le but du travail que nous avons réalisé a été de créer un outil d’évaluation « via internet »

de l’enseignement du Certificat Couplé à la Pratique Clinique (CCPC, anciennement appelé pôle

ou stage intégré) Urgence-Réanimation-Anesthésie dispensé en DCEM 2 au CHU Pitié-Salpêtrière

(Université Pierre et Marie Curie - Paris VI). Nous avons utilisé comme modèle l’outil

d’évaluation des différents enseignements du 2ème cycle des études de médecine mis en place dans

le CHU Saint Antoine (Université Pierre et Marie Curie – Paris VI).

4

Présentation de l’enseignement Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière

1) Organisation générale de l’enseignement

Actuellement, l’enseignement des disciplines Urgence, Réanimation et Anesthésie lors du 2ème

cycle des études médicales est effectué au CHU Pitité-Salpêtrière sous la forme d’un CCPC Urgence-

Réanimation-Anesthésie en DCEM 2. Cet enseignement comprend 32 heures, sous la responsabilité

conjointe du Pr. J.J. Rouby (Réanimation Chirurgicale) et du Dr. A. Duguet (Réanimation

Pneumologique). Il réunit des enseignants provenant du Département d'Anesthésie-Réanimation (Pr. P.

Coriat), du Service d’Accueil des Urgences (Pr. B. Riou), de la Réanimation Médicale (Pr. C. Gibert) et

de la Réanimation Pneumologique (Pr. J.P. Derenne).

Pour chaque CCPC, l’enseignement est intégré dans le stage clinique, ce dernier durant 4 mois

(soit 3 groupes « quadrimestres » par année de DCEM 2). Le principe repose sur l’association étroite

entre enseignement théorique et enseignement pratique, l’idée générale étant qu’une question théorique

est plus facile à retenir si elle correspond à la pratique médicale quotidienne de l’étudiant. Pour cela,

l’enseignement théorique a lieu au cours du stage de 12h30 à 13h30, dans les locaux hospitaliers.

Les différents terrains de stages hospitaliers du CCPC Urgence-Réanimation-Anesthésie sont :

- la réanimation chirurgicale polyvalente (Pr. J.J. Rouby)

- la réanimation neurochirurgicale (Pr. L. Puybasset)

- la réanimation du service de chirurgie hépato-biliaire (Pr. P. Coriat)

- l’unité de réveil et d’accueil des polytraumatisés (Pr. O. Langeron)

- le service d’accueil des urgences (Pr. B. Riou)

- la réanimation médicale (Pr. C. Gibert)

- la réanimation pneumologique (Pr. J.P. Derenne)

Les gardes des étudiants hospitaliers ont lieu dans les terrains de stage respectifs dans lesquels

ils travaillent.

5

L’enseignement du CCPC comporte des cours magistraux et des enseignements par petits

groupes (Tableau 1). La présence aux enseignements, cours magistraux et cours en petits groupes, est

obligatoire avec une validation par le résultat à l'examen écrit du CCPC.

Les cours magistraux ont lieu dans la salle de conférence du Département d'Anesthésie-

Réanimation. L’apprentissage par petits groupes comporte des apprentissages au raisonnement clinique

(ARC), des cas cliniques (CC) et des travaux pratiques (TP). Trois groupes d’une dizaine d’étudiants

sont constitués lors de la réunion d’accueil du CCPC, en fonction de la proximité du site du stage et du

lieu de l’enseignement. Chaque enseignement est dispensé au même moment pour les trois groupes par

trois enseignants dans trois sites différents : salle de cours du Service d’Accueil des Urgences, salle de

cours du Service de Pneumologie, la salle de staff de la Réanimation Neurochirurgicale.

Tableau 1 : Programme de l’Enseignement du CCPC Urgence-Réanimation-Anesthésie en DCEM 2 au CHU Pitié-Salpêtrière (3ème quadrimestre 2005-2006).

6

Il existe un polycopié correspondant à l’enseignement, que les étudiants peuvent obtenir

auprès de l’Amicale des Etudiants du CHU Pitié-Salpêtrière. Ce polycopié fait l’objet d’une réédition

avant chaque quadrimestre, et d’une réactualisation tous les 2 à 3 ans.

L’enseignement théorique est sanctionné par un examen écrit d’une durée de deux heures, en

amphithéâtre. L’examen écrit a lieu à la fin du stage intégré, sauf pour le quadrimestre d’été (juin à

septembre) pour lequel il a lieu en juillet. Cet examen comporte 10 QCM à choix simple et 3 questions

rédactionnelles de 30 minutes. Chaque examen fait l’objet d’une validation spécifique par la

commission de validation des examens du certificat, dans le but d’une part de s’assurer de la cohérence

entre les questions posées et l’enseignement dispensé, et d’autre part de rédiger le corrigé. Ces

corrections sont systématiquement affichées à la sortie de la salle d’examen dès la fin de celui-ci.

Il existe également un examen de fin de stage qui rentre en ligne de compte dans la validation

globale de l’année de DCEM 2. L'examen de fin de stage se déroule 15 jours avant la fin du stage

intégré, et est organisé par le responsable universitaire du stage. Son jury comporte trois membres dont

un obligatoirement extérieur au service. Cet examen de stage comporte une note qui évalue l’activité et

le comportement de l’étudiant au cours du stage, et une note correspondant à la présentation d’un cas

clinique dont le format exact est choisi par le responsable de l’unité.

7

2) Modalités actuelles d’évaluation des CCPC par les étudiants

L’évaluation actuelle de l’ensemble des enseignements et des stages hospitaliers (ainsi que des

gardes le cas échéant) par les étudiants au CHU Pitié-Salpêtrière est effectuée de manière anonyme

sous la forme de questionnaires papier, que les étudiants doivent respectivement compléter le jour de

l’examen écrit en amphithéâtre, et le jour du choix de stage hospitalier. L’exhaustivité des réponses à

ces questionnaires est bonne (70%), les étudiants étant « fortement invités » à remettre leur

questionnaire respectivement avec leur copie d’examen, ou au moment du choix de stage.

a) Evaluation des enseignements

Le questionnaire d’évaluation des enseignements est basé sur une trame commune avec

quelques variantes selon les disciplines. Pour l’enseignement du CCPC « Urgence-Réanimation-

Anesthésie », les étudiants doivent se prononcer sur 6 items (Annexe 1) :

- présence aux cours magistraux,

- présence aux cours en petits groupes,

- définition du programme et des objectifs,

- bénéfice des nouvelles modalités d’enseignement,

- préparation de l’enseignement à l’internat,

- appréciation globale de l’enseignement,

et il existe un espace réservé pour des commentaires libres à la fin de ce questionnaire.

Les réponses à ces questionnaires sont centralisées par le Pr. V. Leblond, Responsable de

l’Evaluation des Enseignements du DCEM au CHU Pitié-Salpêtrière. Après un travail de saisie des

données sur ordinateur, les résultats de ces évaluations, ainsi que les photocopies des questionnaires

anonymes, sont retransmis aux responsables respectifs de chaque enseignement (Annexe 2).

8

Annexe 1 : Questionnaire d’évaluation par les étudiants de l’enseignement du pôle Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.

9

Annexe 2 : Résultat des évaluations par les étudiants de l’enseignement du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.

10

11

b) Evaluation des stages hospitaliers et des gardes

Le questionnaire d’évaluation des stages hospitaliers, et le cas échéant des gardes, est commun à

l’ensemble des stages effectués au CHU Pitié-Salpêtrière. Les étudiants doivent se prononcer sur les

items suivants (Annexe 3) :

- leur accueil le jour de leur arrivée en stage

- le nombre et la qualité des cours théoriques organisés pour les externes

- l’enseignement pratique sous encadrement médical, axé sur 5 éléments :

o examen clinique

o gestes techniques

o interprétation des examens complémentaires

o rédaction de l’observation médicale

o raisonnement médical

Chacun de ces 5 éléments est noté de A à E (A = excellent, B = bon, C = correct, D =

insuffisant, E = très mauvais), et l’étudiant est également invité à formuler des commentaires

après chaque réponse.

- la lourdeur des tâches administratives

- la manière dont l’étudiant s’est senti considéré pendant le stage

- les personnels médicaux ayant participé à l’enseignement

- une appréciation globale du stage, de A à E, après laquelle l’étudiant est invité formuler des

commentaires libres, ainsi que des suggestions sur d’éventuels changements à apporter au

stage hospitalier.

12

Annexe 3 : Questionnaire d’évaluation par les étudiants des stages hospitaliers du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.

13

14

En ce qui concerne les gardes, il existe également un questionnaire comprenant des items

assez similaires à ceux renseignés lors du questionnaire évaluant le stage hospitalier (Annexe 4) :

- les horaires de la garde

- l’enseignement pratique sous encadrement médical, axé sur 5 éléments :

o enseignement pendant la garde

o gestes techniques

o interprétation des examens complémentaires

o raisonnement médical

o conditions d’hébergement

Chacun de ces 5 éléments est noté de A à E (A = excellent, B = bon, C = correct, D =

insuffisant, E = très mauvais), et l’étudiant est également invité à formuler des commentaires

après chaque réponse.

- la lourdeur des tâches administratives

- la manière dont l’étudiant s’est senti considéré pendant les gardes

- une appréciation globale sur les gardes sous forme de commentaire libre, ainsi que des

suggestions sur d’éventuelles améliorations à apporter.

15

Annexe 4 : Questionnaire d’évaluation par les étudiants des gardes effectuées dans le cadre du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.

16

17

Les réponses à ces questionnaires sur les stages et sur les gardes sont centralisées par le Pr.

J.J. Rouby, Responsable des Stages Hospitaliers et Président de la Commission des Enseignements au

CHU Pitié-Salpêtrière. Là encore, après un travail de saisie des données sur ordinateur, les résultats de

ces évaluations, ainsi que les photocopies des questionnaires anonymes, sont retransmis aux

responsables respectifs de chaque stage. Il est également remis au responsable du stage une note

globale sur 20, sous forme d’un histogramme comparatif sur 2 ans des évaluations des étudiants lors

des 6 derniers quadrimestres (Figure 1).

Figure 1 : Histogramme comparatif des évaluations des 6 derniers quadrimestres par les étudiants des stages hospitaliers effectuées dans le cadre du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière.

18

c) Avantages et inconvénients du système actuel d’évaluation

Le principal avantage du système d’évaluation actuel, basé sur des « questionnaires papier »

que les étudiants sont invités à remplir lors de l’examen et lors du choix de stage, est d’assurer une

exhaustivité correcte (70%) du taux de réponses. En effet, en ce qui concerne l’enseignement,

l’étudiant est invité à remettre son évaluation en même temps que sa copie d’examen ; en ce qui

concerne les stages hospitaliers et les gardes, l’étudiant se voit remettre 2 fiches d’évaluation lors du

choix de stage, qu’il doit rendre lors du choix du stage suivant. Néanmoins, certains étudiants refusent

cependant de remettre leurs évaluations, et il est évidemment exclus de refuser leur copie d’examen ou

leur choix de stage, ce qui explique que l’exhaustivité soit loin de 100% malgré un système de recueil

quelque peu « coercitif ». Ce système de questionnaires papier, sous la direction du Pr. J.J. Rouby, est

en vigueur au CHU Pitié-Salpêtrière depuis de nombreuses années et a largement fait preuve de son

efficacité pour l’évaluation tant des enseignements que des stages.

Cependant, il faut reconnaître certaines limites à ce système actuel d’évaluation :

- Le questionnaire sur les enseignements est distribué aux étudiants le jour de l’examen en

amphithéâtre, afin qu’ils le rendent en même temps que leur copie d’examen. Ce moment

de l’examen qui est parfois vécu comme un stress par certains étudiants n’est probablement

pas le plus approprié pour répondre à un tel questionnaire.

- Le questionnaire sur les stages hospitaliers (et le cas échéant sur les gardes) est distribué lors

du choix de stage, et les étudiants ont par conséquent tout un quadrimestre pour y répondre.

Cette durée expose au risque de perte et/ou d’oubli du questionnaire, et un nombre non

négligeable d’étudiants y répondent finalement en dernière limite le jour du choix de stage

(des questionnaires sur les stages et les gardes sont systématiquement distribués aux

étudiants le jour du choix de stages).

19

- Le questionnaire actuel n’évalue pas l’adéquation entre l’enseignement et les questions

posées le jour de l’examen. Ceci serait éventuellement possible en modifiant le

questionnaire actuel. Cependant, le corrigé de l’examen étant affiché dès la sortie de

l’épreuve, il paraîtrait plus logique que les étudiants puissent se prononcer sur l’examen

après avoir pris connaissance du corrigé de ce dernier.

- La saisie des réponses aux différents questionnaires sur ordinateur, de même que l’analyse

et la synthèse des résultats, sont des tâches de secrétariat extrêmement « chronophages ». Il

en est de même pour le travail de photocopies et d’archivage des questionnaires, nécessaire

avant envoi aux différents responsables d’enseignements et de stages hospitaliers. Ceci

explique que les résultats des questionnaires actuels ne soient disponibles que plusieurs

semaines après leur date de recueil.

Enfin, dans le cadre de la fusion entre les Facultés de Médecine Pitié-Salpêtrière et Saint

Antoine, il va devenir nécessaire d’harmoniser les modes d’évaluation des enseignements et des stages

hospitaliers (avec les gardes) entre les 2 sites. Il serait évidemment possible d’appliquer au niveau de

Saint Antoine le « questionnaire papier » actuellement en vigueur à la Pitié-Salpêtrière … A contrario,

la démarche inverse semble préférable, le mode d’évaluation à Saint Antoine étant déjà informatisé, et

présentant de nombreux avantages.

20

Présentation du mode d’évaluation des 1er et 2ème cycles des études

médicales au CHU Saint Antoine

L’évaluation de la plupart des enseignements et des stages hospitaliers par les étudiants se fait

« via internet » depuis plusieurs années au CHU Saint Antoine. Alors que le principe des évaluations a

commencé plus tardivement à Saint Antoine par rapport à la Pitié-Salpêtrière, celles-ci ont en revanche

d’emblée été informatisées, à l’initiative du Pr. F.P. Chatelet, Responsable de l’Evaluation des

Enseignements, avec l’aide du Dr. J.F. Vibert, « Webmaster » du site internet du CHU Saint Antoine.

Les évaluations via internet ont commencé il y a 5 ans, initialement uniquement réservées aux

disciplines fondamentales de PCEM 2 et DCEM 1, puis se sont progressivement étendues, concernant

actuellement toutes les disciplines du PCEM 2 jusqu’au DCEM 3 depuis 3 ans. Depuis la rentrée

universitaire 2006, toutes les évaluations des enseignements et des stages hospitaliers sont effectuées

via internet. Lors de la prochaine rentrée universitaire 2007, dans le cadre de la fusion entre les CHU

Saint Antoine et Pitié-Salpêtrière, l’ensemble des enseignements de PCEM 2 sera regroupé sur le site

de Saint Antoine, et les évaluations des enseignements seront par conséquent effectuées uniquement via

internet. Enfin, dans le cadre de ce DIU de Pédagogie Médicale 2005-2006, le Dr. Seksik a mis en

place un questionnaire d’évaluation via internet des stages de sémiologie médicale de PCEM 2 et

DCEM 1.

Le questionnaire est « ouvert » dès la fin de l’examen ou du stage, et les étudiants ayant suivi

l’enseignement et/ou le stage hospitalier sont invités par email à y répondre de manière strictement

anonyme (Annexe 5). Les étudiants se connectent via leur adresse email et un mot de passe personnel.

Le questionnaire est ensuite « clos » après plusieurs semaines, sauf si le taux de réponse est < 50% :

dans ce cas une relance email est effectuée auprès de l’ensemble des étudiants, qu’ils aient ou non déjà

répondu, en raison du caractère anonyme de ce mode d’évaluation. Un inconvénient de cet anonymat

21

est qu’il autorise certains étudiants à pouvoir éventuellement laisser plusieurs évaluations sur un

même questionnaire. Par ailleurs, il est intéressant de noter qu’il existe une réduction progressive du

taux de réponses avec l’avancement des étudiants dans les études médicales : PCEM 2 > DCEM 1 >

DCEM 2 > DCEM 3. C’est en partie pour cette raison que les évaluations n’ont pas été développées

pour le DCEM 4.

Grâce à ce mode de recueil informatique des évaluations, le traitement des données puis la mise

en page des résultats et des commentaires libres sont effectués de manière relativement automatisée et

très rapide, permettant d’obtenir le résultats des questionnaires quelques jours seulement après leur

clôture. Seuls quelques commentaires libres jugés trop « virulents » par le Pr. F.P. Chatelet sont

exceptionnellement filtrés et retirés de la publication finale des résultats des questionnaires.

Les résultats de ces évaluations sont transmis aux responsables respectifs de chaque

enseignement ou de chaque stage hospitalier. De plus, il a été édicté une politique de « semi-

confidentialité » sur ces évaluations au niveau du CHU Saint Antoine, dans le but de favoriser une

« saine émulation » entre les disciplines. Ainsi, seuls les résultats des questions à choix multiples

(présence aux cours …) sont accessibles à l’ensemble des enseignants du CHU, alors que les

commentaires libres, qui par définition peuvent être « incisifs », ne sont accessibles qu’au responsable

concerné. A contrario, l’ensemble des évaluations, questions à choix multiples et commentaires libres,

sont accessibles à tous les étudiants du CHU par un mot de passe sur la partie du site Web de la faculté

qui leur est réservée (Annexes 6 et 7).

22

Annexe 5 : Questionnaire d’évaluation via internet des Certificats Couplés à la Pratique Clinique (CCPC) en DCEM 2 et DCEM 3 au CHU Saint Antoine.

23

24

Annexe 6 : Résultat des évaluations par les étudiants de l’enseignement et des stages du Certificat Couplé à la Pratique Clinique (CCPC) Locomoteur. (Seuls les premiers parmi les 33 commentaires libres formulés sont ici présentés).

QuickTime™ et undécompresseur TIFF (LZW)

sont requis pour visionner cette image.

25

QuickTime™ et undécompresseur TIFF (LZW)

sont requis pour visionner cette image.

26

Annexe 7 : Résultat des évaluations par les étudiants du stage de Rhumatologie à Saint Antoine, parmi les 4 stages possibles du CCPC Locomoteur. Cette évaluation permet au responsable du stage de se comparer par rapport aux résultats globaux de l’ensemble des stages du CCPC ; en revanche ce dernier n’a pas accès aux évaluations concernant les 3 autres stages. (Seuls les premiers parmi les 9 commentaires libres formulés sont ici présentés).

QuickTime™ et undécompresseur TIFF (LZW)

sont requis pour visionner cette image.

27

Création d’un outil d’évaluation via internet du CCPC Urgence-

Réanimation-Anesthésie au CHU Pitié-Salpêtrière

1) Cahier des charges

A partir de la maquette générale d’évaluation via internet des CCPC en vigueur au CHU Saint

Antoine, nous avons décidé, avec l’aide du Pr. F.P. Chatelet, de créer un questionnaire d’évaluation via

internet du CCPC Urgence-Réanimation-Anesthésie au CHU Pitié-Salpêtrière. Cette démarche était

indispensable en raison du processus de fusion entre les Facultés de Médecine de Saint Antoine et de la

Pitié-Salpêtrière, qui à terme conduira à un système unique d’évaluation. Nous avons donc décidé de

commencer cette transition par le CCPC concernant l’enseignement de notre spécialité, c’est-à-dire

Urgence-Réanimation-Anesthésie, réparti en 3 quadrimestres durant l’année du DCEM 2 au CHU

Pitié-Salpêtrière.

L’évaluation des enseignements, des stages hospitaliers et des gardes du CCPC Urgence-

Réanimation-Anesthésie était jusqu’à présent effectuée sous forme de 3 questionnaires papier, avec un

total cumulé de 24 questions à choix multiples et 15 commentaires libres ou dirigés (Annexes 1, 3 et 4).

A contrario, les questionnaires via internet des CCPC à Saint Antoine ne comportent que 8 questions à

choix multiples et 2 commentaires libres : 1 sur l’enseignement et 1 sur le stage. Lors de la

transposition de nos 3 questionnaires papier en 1 seul via internet, nous avons décidé de maintenir la

quasi totalité des 24 questions à choix multiples, ainsi que les 15 commentaires libres ou dirigés, afin

de conserver le recueil du maximum d’informations « ciblées ». De plus, nous avons également

introduit une question jusqu’alors absente sur l’adéquation entre l’examen écrit à la Faculté et

l’enseignement. Enfin, le nombre total de questions et le caractère novateur de ce questionnaire unique

au CHU Pitié-Salpêtrière nous a conduit à proposer une ultime question, sous forme de commentaire

libre, afin d’obtenir l’avis des étudiants sur la « lourdeur » éventuelle du questionnaire lui-même.

28

Une autre difficulté lors de la mise en place de cet unique questionnaires via internet a été le

choix de la période d’ouverture du questionnaire, en particulier pour le 3ème quadrimestre « d’été » (juin

à septembre inclus). En effet, lors des 2 premiers quadrimestres, les 3 évaluations étaient effectuées

vers la fin du stage (jour de l’examen écrit du CCPC et jour du choix du stage suivant). En revanche,

pour le quadrimestre d’été, l’examen a lieu en juillet, alors que le stage se termine fin septembre. Il est

techniquement impossible de scinder le questionnaire en 2 parties (enseignement et stage) pour ce seul

quadrimestre, au risque de perdre l’automaticité de l’analyse informatique par rapport aux autres

quadrimestres, et de réduire le taux de réponses. De plus, deux biais éventuels auraient pu apparaître

par rapport aux deux autres quadrimestres : d’une part certains étudiants auraient répondu uniquement

au questionnaire sur les enseignements, et d’autres uniquement au questionnaire sur les stages ; d’autre

part, les étudiants auraient répondu non seulement à distance de l’enseignement et de l’examen, mais

surtout après avoir eu connaissance de leur note à l’examen, ce qui aurait été susceptible d’influencer

leur évaluation. Nous avons donc choisi, comme à Saint Antoine, de privilégier l’évaluation de

l’enseignement et de l’examen, au détriment des dernières semaines de stage, en proposant le

questionnaire d’évaluation de ce quadrimestre aux étudiants dès la fin de l’examen, soit mi-juillet.

La mise en œuvre de ce questionnaire va également imposer de recueillir les adresses email des

étudiants, afin de les avertir (et éventuellement de les relancer) de l’ouverture du questionnaire,

accessible grâce à un lien HTML. Ce système permet d’obtenir, dans l’expérience du CHU Saint

Antoine, une exhaustivité de l’ordre de 70%. Cependant, cette même expérience nous a également

appris que près de 10 % des adresses email fournies par les étudiants en début d’année auprès du

service de la scolarité se révèle en pratique non valide, en raison d’erreurs de saisie ou de changements

d’adresse email de l’étudiant en cours d’année. Il sera donc nécessaire de sensibiliser plus

particulièrement les étudiants lors des enseignements et des stages hospitaliers à ce nouveau mode

d’évaluation, et ce d’autant plus que celui-ci ne sera initialement appliqué qu’au seul CCPC Urgence-

Réanimation-Anesthésie.

29

Questionnaire d’évaluation via internet de l’enseignement du CCPC Urgence-Réanimation-Anesthésie (DCEM 2)

au CHU Pitié-Salpêtrière

La Faculté de Médecine Pierre et Marie Curie a besoin d'évaluer ses enseignements afin de pouvoir les améliorer et les faire correspondre aux besoins réels des étudiants. Votre avis nous est donc indispensable. Merci de répondre à ce questionnaire. Le Pr. JJ Rouby s'engage à ce que l'anonymat de ce questionnaire soit préservé.

Année universitaire 2006-2007 - Quadrimestre Septembre 2006 à Janvier 2007. * : réponses obligatoires

Stage hospitalier * 1. Service hospitalier dans lequel a été effectué le stage (sélectionner dans la liste ci-dessous) :

Pr. Rouby : Réanimation Chirurgicale Polyvalente Gaston Cordier Pr. Puybasset : Réanimation Neurochirurgicale Pr. Coriat : Réanimation Digestive et Hépato-biliaire Pr. Langeron : Salle de Réveil et Accueil des Polytraumatisés Pr. Riou : Service d’Accueil des Urgences Pr. Gibert : Réanimation Médicale Pr. Derenne : Réanimation Pneumologique

*2. Numéro du Quadrimestre (sélectionner dans la liste ci-dessous) :

1 2 3 4 5 6 7 8 9

*3. L'accueil à l'arrivée dans le stage a été effectué par (nom et qualité) :

30

*4. Evaluation de l'enseignement pratique sous encadrement médical :

1) Examen clinique : � Excellent � Bon � Correct � Insuffisant � Très mauvais

5. Commentaires :

*6. 2) Gestes techniques : � Excellent � Bon � Correct � Insuffisant � Très mauvais

7. Préciser lesquels :

*8. 3) Interprétation des examens complémentaires : � Excellent � Bon � Correct � Insuffisant � Très mauvais

9. Préciser lesquels :

31

*10. 4) Rédaction de l’observation médicale : � Excellent � Bon � Correct � Insuffisant � Très mauvais

11. Commentaires :

*12. 5) Raisonnement médical : � Excellent � Bon � Correct � Insuffisant � Très mauvais

13. Commentaires :

*14. Fréquence hebdomadaire des cours théoriques organisés pour les externes dans le stage

1

2

3

4

5

*15. Evaluation du niveau global de ces cours théoriques pendant le stage : � Excellent � Bon � Correct � Insuffisant � Très mauvais

32

*16. Au cours du stage, l'enseignement pratique et théorique a été effectué par (plusieurs réponses possibles) : � Chef de service ou responsable de stage � PU-PH � PH � Chefs de clinique ou MCU-PH � Internes � Personne

*17. Les tâches administratives sont elles : � Normales � Excessives

*18. Au cours du stage, l’étudiant s’est-il senti : � Très apprécié � Bien considéré � Ignoré � Mal considéré

*19. Appréciation globale sur le stage hospitalier : � Excellent � Bon � Correct � Insuffisant � Très mauvais

20. Commentaires libres sur le stage :

21. Suggestions et/ou changements à effectuer :

33

Gardes *22. Service hospitalier dans lequel ont été effectuées les gardes :

Pr. Rouby : Réanimation Chirurgicale Polyvalente Gaston Cordier

Pr. Riou : Service d’Accueil des Urgences

Pr. Gibert : Réanimation Médicale

Pr. Derenne : Réanimation Pneumologique

Pr. Puybasset / Van Effenterre : Neurochirurgie

*23. Evaluation de l'enseignement pratique pendant les gardes : 1) Raisonnement médical diagnostique et thérapeutique : � Excellent � Bon � Correct � Insuffisant � Très mauvais 24. Commentaires :

*25. 2) Gestes techniques : � Excellent � Bon � Correct � Insuffisant � Très mauvais 26. Préciser lesquels :

*27. Comment qualifiez-vous les conditions d’hébergement pendant la garde : � Excellent � Bon � Correct � Insuffisant � Très mauvais

34

28. Commentaires :

*29. Au cours des gardes, les tâches administratives sont elles : � Normales � Excessives *30. Au cours des gardes, l’étudiant s’est-il senti : � Indispensable � Bien intégré dans l’équipe � Ignoré 31. Appréciation globale sur les gardes effectuées pendant le stage :

32. Suggestions et/changements à effectuer :

35

Enseignement théorique et examen

*33. A quelle proportion des enseignements pensez-vous avoir assisté :

1) Cours magistraux : � La plupart, voire tous � Plus de la moitié � Moins de la moitié � Aucun

34. Commentaires libres sur les cours magistraux :

*35. 2) Cours en petits groupes : � La plupart, voire tous � Plus de la moitié � Moins de la moitié � Aucun

36. Commentaires libres sur les cours en petits groupes :

*37. Votre appréciation sur la qualité des documents de travail fournis (polycopiés, photocopies, CD, documents sur le site web de la faculté) : � Bonne � Moyenne � Mauvaise � Il n’y avait aucun document

36

*38. Votre appréciation générale sur l'enseignement du CCPC Urgence-Réanimation-Anesthésie : � Excellent � Bon � Correct � Insuffisant � Très mauvais *39. Comment jugez vous l'adéquation entre le programme enseigné et les questions posées lors de l'examen : � Excellente � Bonne � Moyenne � Mauvaise 40. Commentaires libres sur l’examen :

*41. Votre appréciation sur l'adéquation entre l'ensemble de cet enseignement et la préparation à l'Examen National Classant (ENC) : � Excellente � Bonne � Moyenne � Mauvaise 42. Commentaires libres sur l’enseignement du CCPC vis-à-vis de l’ENC :

43. Que pensez vous de ce nouveau mode d’évaluation via internet du CCPC Urgence-Réanimation-Anesthésie ?

37

Perspectives et Conclusion

Ce mémoire réalisé dans le cadre du DIU de Pédagogie Médicale 2005-2006 fait état d’un

travail uniquement méthodologique, en l’occurrence sur la mise en place d’un système novateur

d’évaluation « via internet » des enseignements du CCPC Urgences-Réanimation-Anesthésie au CHU

Pitié-Salpêtrière, à partir de l’expérience du CHU Saint Antoine. A ce titre, aucun résultat ni aucune

analyse ne peut évidemment être ici présenté à ce jour dans ce mémoire.

La mise en place de ce questionnaire pour l’évaluation via internet du CCPC Urgence-

Réanimation-Anesthésie est prévue pour le 1er quadrimestre DCEM 2 d’octobre 2006 à janvier 2007. Il

s’agit d’un changement radical et novateur du mode d’évaluation des enseignements, par rapport à ce

qui était proposé jusqu’à présent au niveau du CHU Pitié-Salpêtrière. Ce changement nécessitera

évidemment une « motivation » particulière des étudiants afin qu’ils répondent au questionnaire à

l’issue de leur quadrimestre. A cet effet, le rôle « incitatif » des différents responsables des stage du

CCPC sera essentiel, et il est envisageable de laisser aux étudiants une plage horaire avec un accès

internet dans un bureau lors de leurs dernier jours de stage, afin qu’ils puissent effectivement répondre

au questionnaire.

En effet, cette première version du questionnaire « via internet » peut paraître « lourde » au

premier abord, puisqu’elle regroupe en 1 unique document les 3 évaluations préalablement distinctes de

l’enseignement, du stage et des gardes, ce qui la rend particulièrement exhaustive, avec 43 items à

compléter par l’étudiant. Néanmoins, il faut d’une part souligner que parmi ces 43 items, il existe 3

items d’ordre « administratif » (questions n° 1, 2 et 3) sur les lieux du stage et de gardes, ainsi que le

rang de quadrimestre de l’étudiant. D’autre part, 25 de ces 43 items se présentent sous forme de « listes

déroulantes » ou de « cases à cocher », pour lesquelles les réponses, rendues obligatoires, peuvent être

38

formulées en quelques secondes ; a contrario, les items pour lesquels une réponse est attendue sous

forme de commentaire libre, donc demandant plus de temps pour être complétées, sont au nombre de

18, mais facultatifs.

A l’issue de ce quadrimestre octobre 2006-janvier 2007, une évaluation de l’acceptabilité de ce

questionnaire par les étudiants sera bien évidemment effectuée, au travers de l’exhaustivité de leur taux

de réponses, ainsi que de leurs commentaires libres sur le questionnaire lui-même (question n°43).

L’objectif que nous nous sommes fixé est de mettre en place un questionnaire valide et efficient au

terme de l’année universitaire 2006-2007, soit 3 quadrimestres de « rodage ». Le CCPC Urgence-

Réanimation-Anesthésie ayant alors servi de « site pilote », ce questionnaire sera ensuite généralisé lors

de l’année universitaire 2007-2008 à l’ensemble des CCPC du CHU Pitié-Salpêtrière. Néanmoins, il

faut garder à l’esprit que lorsque la fusion des CHU Pitié-Salpêtrière et Saint Antoine sera totale pour

l’ensemble du 1er et du 2ème cycles des études médicales, il se posera à terme le choix d’un

questionnaire unique sur l’ensemble des 2 sites : « version courte » telle qu’elle existe à Saint Antoine

depuis plusieurs années, ou au contraire « version longue » telle que nous comptons tester à la Pitié-

Salpêtrière.