La réforme du 3ème cycle en 2017

Luc Mouthon, Pierre Pottier

Séminaire de rentrée des coordonnateurs DES/DESC

UPMC - 20 octobre 2016

Evaluation des compétences

Maquette type DES

Deuxième rapport Pruvot-Couraud – Juin 2016

Membres du groupe

Pierre Pottier Nantes Médecine InterneAgnes Liard-Zmuda. Rouen. Chirurgie InfantileBenoit Marin. Limoges. Epidémiologie, Prévention, Economie Dam Hieu Phong. Brest. NeurochirurgieDominique Wendum. Paris. Anatomie et Cytologie PathologiquesIsabelle Boutron. Paris. Santé Publique. Jacques Darcourt. Nice. Biophysique et Médecine NucléaireJean-Nicolas Dacher. Rouen. RadiologieKarim Boudjema. Rennes. Chirurgie Viscérale et DigestiveLaurence Compagnon. Paris Médecine GénéraleMatthieu Resche. Paris. Biostatistiques et Informatique MédicaleOlivier Bouchaud. Paris. Maladies Infectieuses et TropicalesStephane Schneider. Nice. NutritionThao pham. Marseille. Rhumatologie Cyril Schweitzer. Nancy. Pédiatrie.

Missions du groupe

Se mettre d'accord sur des principes pédagogiques communs à tous les collèges pour l'évaluation des compétences des internes.

Rédiger des recommandations (ou un cahier des charges) pour la création d'un dispositif d'évaluation des compétences des internes.

Donner des exemples de dispositifs existants (français ou étrangers) d'évaluation des compétences des internes qui illustrent les principes prédéfinis.

Proposer des outils d'évaluation innovants qui pourraient être utilisés au sein d'un dispositif d'évaluation des compétences en 3ème cycle.

Lancer des expérimentations pilotes dont les résultats pourraient être disponibles en cours d'année 2016.

Effectuer un état des lieux des pratiques existantes en matière d'évaluation des compétences

Pierre Pottier – CNCEM – 22 janvier 2016

NATURE ET DEFINITIONS DE LA COMPETENCE PROFESSIONNELLE

• Etre capable de mobiliser des ressources internes (savoirs, savoirs faire, savoirs être) et externes (personnes, documents ressources) pour résoudre un problème en situation professionnelle

• Savoir agir adéquatement en situation professionnelle

• La compétence ne se voit pas, elle s’infère à partir de la performance

• La performance, c’est ce qui est observable

• Multiplier les observations dans des contextes différents pour approcher la compétence

1. Partager une définition commune de la compétence , à tous les niveaux(local, inter-régional, national, inter-DES)

3. Si l’évaluation des compétences participe à la validation d’un DES,envisager qu’un DES puisse ne pas être validé

4. Une compétence ne cessant de s’améliorer (tout au long de la vie),si possible, définir le minimum requis pour accéder au niveau supérieur et envisager qu’un interne n’accède pas au niveau supérieur

5. Mettre en place des mesures de remédiation pour les internes en difficultésvisant l’acquisition des compétences manquantes

prérequis indispensables avant de s’engager dans une approche par compétence :

2. Se sortir de la validation « par défaut », les critères suivants(très fréquemment utilisés) ne doivent pas se suffire à eux-mêmes :

stage validé car pas de problème, attestations de présence, contrôle des connaissancesmémoire à défaut d’exposés réflexifs

Mission N°1 : principes pédagogiques communs

6. proposer un projet novateur mais réaliste et applicable dans le temps impartiPierre Pottier – CNCEM – 22 janvier 2016

Mission N°1 : principes pédagogiques communs

1. EVALUATION EN SITUATION PROFESSIONNELLE AUTHENTIQUELes stages doivent être au cœur des dispositifs d’évaluation Intérêt de la simulation pour approcher l’authenticité des situations

2. DIVERSIFIER LES OUTILS, LES MOMENTS ET LES LIEUX D’EVALUATION Intérêt du portfolio

3. RENDRE L’INTERNE ACTEUR DE SA PROPRE EVALUATIONInformé des objectifs pédagogiquesActivités d’auto-évaluationResponsable de la gestion de ses preuves d’apprentissage

4. PRIVILEGIER UNE EVALUATION FORMATIVE IMPLIQUANT LA RETROACTION ET LE TUTORATLa rétroaction (ou feed back) est à la fois un outil d’évaluation formative et l’un des plus puissants inducteurs d’apprentissage

Pierre Pottier – CNCEM – 22 janvier 2016

Mission N°2 recommandations pour la création d'un dispositif d'évaluation des compétences des internes.

1°) Décliner les objectifs du programme de DES en compétences, connues des internes.

2°) Centrer le dispositif d’évaluation sur des mises en situation professionnelle, idéalement rencontrées au cours des stages.

3°) Planifier les périodes d’évaluation dans le programme à divers temps de la formation.

4°) Choisir des outils d’évaluation diversifiés et complémentaires, au mieux regroupés dans un portfolio.

5°) Décrire les implications de la non validation à la fin de de chaque phase

Pierre Pottier – CNCEM – 22 janvier 2016

Mission N°3 : exemples de dispositifs existants illustrant les principes prédéfinis.

1. description d'une expérience Québécoise intégrant des ECOS

2. évaluation des compétences en médecine générale

3. expérience de la radiologie

4. Dispositif prévu pour deux D.E.S en cours de créationDES de médecine d’urgence

DES de maladies infectieuses et tropicales

5. Evaluation « 360° » en neurochirurgie

6. test de concordance de script en chirurgie pédiatrique

Pierre Pottier – CNCEM – 22 janvier 2016

Expérimentations pilotes en Médecine Interne –PROJET D’ETUDE MULTICENTRIQUE

Restitution du travail du groupe

PROJET

Evaluation de la faisabilité, de la validité et de la reproductibilité d’un carnet d’observation directe des compétences cliniques des internes de médecine interne.

RATIONNEL

•Réforme du 3ème cycle•Approche compétence•Evaluation compétence clinique en situation professionnelle•Evaluation à distance et hors situation (e-learning )•Evaluation en situation (stage) mais indirecte et souvent informelle•Outils d’observation directe validés en anglais•Pas d’outil en français

Pierre Pottier - Réunion annuelle du CEMI – 22 septembre 2016

Méthodel’outilTraduction et validation des grilles construction du carnet d’observation directe comprenant 4 grilles évaluant différentes composantes de la compétence :- Examen clinique (ED_EX)- Gestes techniques (ED_CT)- Intégration à l’équipe et les compétences génériques (ED_360)- les compétences relationnelles (ED_CR) (à conserver ? cf. résultats préliminaires)

• 10 services de médecine internes pilotes (4 APHP, 4 CHU de province, 2 CHG)• de novembre 2016 à mai 2017• 60 internes évalués par deux observateurs pendant leur semestre sur une ou

plusieurs des grilles du carnet, une fois ou plusieurs fois • au minimum 2 fois par interne pour une grille

• Questions ouvertes sur l’intérêt/faisabilité à chaque utilisation• Données psychométriques : reproductibilité inter-juges, validité évaluée par les

différences de scores en fonction du niveau des internes et la progression des scores dans le temps pour un même interne

Expérimentations pilotes en Médecine Interne –PROJET D’ETUDE MULTICENTRIQUE

Critères de jugement

Design

Pierre Pottier - Réunion annuelle du CEMI – 22 septembre 2016

Calendrier

En concertation avec les groupes e-

learning et e-carnet de la CNCEM

• Mise en place des expérimentations

pilotes

• Analyse des résultats

• Choix des outils les plus pertinents pour

les niveaux 1, 2 et 3

• Mise à disposition de ces outils pour les

collèges pour évaluation complémentaire

• Mise en place des outils d’évaluation des

compétences

Nov 2016

Avril-juillet

2017

Nov 2017

Février –

Mai 2017