Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – ...

[email protected]

Réforme – Innovations - Changements

Occasions d’apprentissagesSystème – Actuel – ProposéCompetency-Based AssessmentCompétences MD – ProMED2000LCME 2002Plan directeurOutils – R-Type – Q4 - PortfolioActeursConseils de compétencesComités d’épreuves - Mentors

AccueilMembresProjet – ButsFinalitésPrincipes générauxConditions gagnantesSite WebHistorique

Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages

[email protected]


• Revoir la procédure d’évaluation actuellement en vigueur au programme MD;

• Réfléchir à l’opportunité d’une centralisation des examens;

• Revoir nos politiquesd’évaluation et, s’il y a lieu,proposer des modifications.

Mandat( 01-11-22 )

[email protected]

Groupe de travailsur l’évaluation des apprentissages

( GTEA )

Membres ad hoc

Andrée BoucherChristian BourdyBernard CharlinDominique ChandonnetAndré FerronRaymond LalandeChristian LavalléeJulien LordBrigitte MaheuxSerge NormandLouise Roy

Autres personneset instances consultées

Comité du programmeComité des directeurs des département cliniquesSerge DubéMichel GirardBernard MessierRamses Wassef

[email protected]

Un projet… à découvrir !

ModalitésInstrumentation

Acteurs

Résultatsattendus

Compétencemédicale

LCME 2002

Justification

Réformedu systèmed’évaluation

[email protected]

Un projet… pour nous tous !

Rayonner

Nousmobiliser

Améliorer nospratiques

Mieux répondreaux besoins

Réformedu systèmed’évaluation

[email protected]

Finalités du systèmed’évaluation des apprentissages

Faculté

Certifiercompétences

Mesurerles progrès

Responsable

Évaluationsanctionne

lle

Évaluationsanctionne

lle

Évaluation

formative

Évaluation

formative

[email protected]

The LCME urges schools to develop a system of evaluation

that fosters self-initiated learning by students and disapproves of the use of frequent tests

which condition students to memorize details

for short-term retention only.

Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

[email protected]

Evaluation of student performanceshould measure not only retention of factual knowledge,

but also development ofthe skills, behaviors, and attitudes needed in

subsequent medical training and practice, and the ability to use data appropriately

for solving problems commonly encountered in medical practice.


[email protected]

Courses or clerkshipsthat are extremely short in duration

may not have sufficient time to provide structured activities

for formative evaluation, but should provide some alternate means

(such as self-testing or teacher consultation)that will allow students to

measure their progress in learning.


[email protected]

Des courants majeursissus des milieux anglo-saxons

Des objectifs … aux compétences

Outcome-Based Education

Competency-Based Assessment

[email protected]

Un médecin compétent

Performanceof Tasks

Doing the right thing

Doing the thing right

The right person doing it

Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

Agir correctement de façon professionnelle

[email protected]

Un médecin compétent

Tâche à effectuer

Effectuer la bonne action

L’exécuter correctemen

t

Par la bonne personne

Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

Agir correctement de façon professionnelle

[email protected]

What the doctor is able to doDoing the right thing

1. Clinical skills2. Practical procedures3. Patient investigation4. Patient management5. Health promotion and disease

prevention6. Communication skills7. Information handling and retrieval

Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

[email protected]

How the doctor approaches their practiceDoing the thing right

1. Understanding of basic, clinical and social sciences

2. Appropriate attitudes, ethical understanding and legal responsibilities

3. Appropriate decision making , clinical reasoning and judgment


[email protected]

The doctor as a professionalThe right person doing it

1. Role of the doctor within the health service

2. Aptitude for personal development


[email protected]

Démonstration

Compétences

Intégration

ConnaissancesHabiletésAttitudes

Apprentissages

Évaluation

Référence : National Postsecondary Education Cooperative Competency-Based Initiatives Working GroupU.S. Department of Education - 2001

Modèle de certification des compétences

[email protected]

Occasions d’apprentissagesau programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

[email protected]

Objets d’évaluation ( actuels )au programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

ÉVALATION

ÉVALATION

Unités cours et stages

[email protected]

Objets d’évaluation ( proposés )au programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

É V A L U A T I O N

COMPÉTENCES

[email protected]

Les compétences attendues

ExamenGestes

techniques

Prise encharge

Technologieinformation

Communiquer

Travailleren équipeIntégrer

Connaissances

Jugementcritique

Maintiencompétence

Profession-nalisme

Éducateur

Éthique

DiplôméMD

Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002

[email protected]

Educational objectives are statements of the items of knowledge, skills, behaviors, and attitudes

that students are expected to exhibit as evidence of their achievement.

They are not statements of mission or broad institutional purpose, such as

education, research, health care, or community service. Educational objectives state

what students are expected to learn, not what is to be taught.


[email protected]

Énoncé des compétences médicales( mots clés seulement )

InterrogatoireExamen physiqueGestes techniquesPrise en chargeInvestigationTraitement

Expertise médicaleQuestionnaireExamen

Cliniciencompétentet efficace

CommunicationCommunication CommuniquerRelationmédecin-patient

CollaborationContexte Travailler en équipe Communautaire

ÉruditionIntégrationconnaissances

Intégrationconnaissances

Gestion

Promotionde la santé

Professionnalisme

Jugement critiqueMaintien compétence

ÉducateurPromotion santé

Notions éthiquesProfessionnalisme

Éthique

Ressource pourpopulation définiede patients

IMC-IDC Externat CMFC - 2000 ProMEDS - 2000

[email protected]

Compétences pour un plan directeur( mots clés seulement )

ExamenGestes

techniques

Prise encharge

Technologieinformation

Communiquer

Travailleren équipeIntégration

connaissances

Jugementcritique

Maintiencompétence

Professionnalisme

Éducateur

Éthique

DiplôméMD

Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002

[email protected]

Réforme du système d’évaluationInnovations

• Modèle d’évaluation axé surla certification des compétences

• Tests périodiques de rendementpour mesurer les progrès

• Profil cumulatif pour l’évaluation formative

• Mentors pour accompagner les étudiants

• Formation aux professeurs sur le feedback

[email protected]

Système d’évaluation des apprentissagesau programme MD

CONNAISSANCES CERTIFICATIONdes COMPÉTENCES

Évaluation formative

Évaluation sommative

HABILETÉS + ATTITUDES

C o m p é t e n c e m é d i c a l e

TRP : Test de rendement périodique ( Progress Test )

TRP

[email protected]

Réforme du système d’évaluationChangements

• Évaluation sanctionnelle se concentre sur la certificationet la consolidation des compétences

• Systématisation de l’évaluation formativeaux années pré-cliniques pour mesurer les progrès

• Outils d’évaluation choisis pour mesurerl’intégration des connaissances, l’application des habiletéset la démonstration des attitudes

• Travail d’équipe pour préparer les instruments d’évaluation

[email protected]

Les acteurs

Implantation du systèmed’évaluation des apprentissages

Conseilsde compétences

Comitésd’épreuves

Mentors

CompétencesPlan directeurProgrèsProfil individuel

ÉpreuvesRéalisationsTRPsPortfolio

AccompagnerGuiderÉvaluer

Étudiants

PairsFormatif

[email protected]

Rôle desConseils de compétences

•Identifier les objets de l’évaluation

•Actualiser les objectifs en termes de

compétences

•Élaborer un plan directeur pour certifier

et consolider les compétences

•Déterminer les moments pour mesurer les

progrès

•Définir le contenu d’un profil individuel

[email protected]

Rôle desComités d’épreuves

• Élaborer un ensemble d’épreuves

et définir les réalisations attendues

• Élaborer les test périodiques de rendement

pour mesurer les progrès

• Choisir les formats et contenus d’épreuves

pour mesurer l’intégration des

connaissances

• Déterminer le format d’un portfolio

[email protected]

Rôle desMentors

• Accompagner les étudiants dont les résultats

aux évaluations formatives indiquent

qu’ils n’enregistrent pas les progrès

attendus

• Guider l’étudiant dans sa démarche

d’apprentissage

• Offrir des sessions d’évaluation individualisée

[email protected]

Rôle desÉtudiants

• Se responsabiliser davantage

dans

des activités d’autoévaluation

• Évaluer les pairs

• Se constituer un portfolio

[email protected]

Évaluation des apprentissages

Exempled’un plan directeur

tel que proposépar le CMC

Compétence

s CanMEDS

2000

Exemple

Plan

directeur

CanMEDS 2000

Exemple

Plan

directeur

adapté

CanMEDS 2000

[email protected]

Réforme du système d’évaluationdes apprentissages au programme MD

Choisirles instruments

appropriés

[email protected]

Évaluer la compétence professionnellePyramide de Miller

FaitDoes

DémontreShows How

Sait commentKnows How

SaitKnows

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

SavoirCognition

ComportementBehaviour

[email protected]

Évaluer la compétence professionnelleModes d’évaluation

Fait

Démontre

Sait comment

Sait


Évaluation• écrite• orale• ordinateur

Évaluation• de la performance• contextuelle

[email protected]

Évaluer la compétence professionnelleTypes d’instruments

Fait

Démontre

Sait comment

Sait


Épreuves factuelles :QCM, Ex. écrit, oral …

Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …

Performance in vitro :ECOS, Ex. PS. …

Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …

[email protected]

Instruments d’évaluationCurriculum de Dundee

Fait

Démontre

Sait comment

Sait

Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

Portfolio

ECOS

QCM-RQROC

QCMQ. dév.

[email protected]

Portfolio(évaluation formative et sanctionnelle)

• Inventaire de preuves et de réalisations

cumulées par le candidat durant sa période d’apprentissage.

• Réflexion du candidat sur les éléments rassemblés

pour témoigner des progrès enregistrés.

• Analyse du portfolio par des examinateurs.

• Dialogue entre les examinateurs et l’étudiant

fondé sur les éléments du portfolio.

• Système de notation adapté

aux finalités formatives ou sanctionnelles.

Histoires de cas, Exposés, etc.

Vidéos de pratique clinique, Résultats de tests formatifs, etc.

[email protected]

PortfolioQuelques avantages …

• Approche très individualisé de l’évaluation

• Permet d’évaluer les dimensions « compliquées » :

développement personnel, professionnalisme,

auto-apprentissage, auto-évaluation, réflexion, etc.

• Volet longitudinal, accumulation de preuves,

mesure du progrès

• Exploite la richesse de l’interaction

étudiant-professeur

[email protected]

PortfolioQuelques défis …

• Culture « nouvelle » de l’évaluation

• Formation des examinateurs

(contexte sanctionnel)

• « Repenser » les critères psychométriques

(validité, fidélité)

[email protected]


Exempled’un format de

question Q4utilisé

par le CMC

www.mcc.ca/CRS_Demo

Question

Type Q4

CMC

[email protected]


Exempled’un format dequestion type R

prônépar le NBME

NBME – Extended-Matching ( R-Type) Items( Question d’appariement détaillé )

[email protected]

Réforme du système d’évaluationdes apprentissages au programme MD

Principes générauxet

Règles d’application

[email protected]

Énoncé des principes générauxÉvaluation des apprentissages au programme MD

1. L’évaluation des apprentissages est planifié sur un continuum

englobant les années pré-cliniques et cliniques.

2. Les activités formelles d’évaluation formative occupent

autant d’importance que les activités d’évaluation

sommative.

3. La fréquence des séances d’évaluation formative et

sommative, leur séquence et leur pondération sont choisies

afin de maximiser la validité.

Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

[email protected]

L’évaluation des apprentissages est planifié sur un continuum

englobant les années pré-cliniques et cliniques

1. Les compétences clés constituent toujours la base d’un plan directeur

pour situer et justifier les activités d’évaluation autant formative que

sommative.

2. L’acquisition des compétences clés est évaluée en termes de

progression, de consolidation et de certification à diverses étapes

dans le programme MD.

3. Les modalités et les protocoles d’évaluation adoptés facilitent l’accès

aux résultats cumulatifs de l’évaluation pour permettre à chaque

étudiant et à ses professeurs d’en exploiter toute la richesse.

Règles d’application :


[email protected]

Les activités formelles d’évaluation formative occupent autant

d’importance que les activités d’évaluation sommative

1. Les séances d’évaluation formative produisent des résultats

quantitatifs et qualitatifs qui ne sont pas comptabilisés pour fins de

certification.

2. Les séances d’évaluation formative génèrent une rétroaction rapide à

l’étudiant.

3. L’ensemble des compétences et des objectifs clés sont soumis à des

procédures d’évaluation formative.

4. Les corpus de connaissances associés aux sciences fondamentales et

aux sciences cliniques sont l’objet d’activités d’évaluation formative.

5. Les procédures et les modalités de l’évaluation formative font appel à

l’autoévaluation et à l’évaluation par les pairs.



[email protected]

La fréquence des séances d’évaluation formative et sommative, leur

séquence

et leur pondération sont choisies afin de maximiser la validité

1. Les résultats de l’évaluation formative indiquent les progrès de

l’étudiant en rapport avec les corpus de connaissances fondamentales

et cliniques.

2. Les modalités de l’évaluation formative fournissent à l’étudiant des

indications précises sur ses acquis et sur ses prescriptions suivantes

d’apprentissage.

3. Les séances d’évaluation sommative sont établies au moment le plus

approprié pour évaluer l’intégration et l’application des connaissances.

4. La pondération de l’évaluation sommative est ajustée pour tenir

compte des progrès de l’étudiant.

5. L’évaluation sommative certifie également la consolidation des

compétences attendues.



[email protected]

Conditions gagnantes

• Des étudiants responsables et autonomes• Des professeurs engagés et fiers• Une Faculté qui innove et qui rayonne

www.medbev.umontreal.ca/gtea

J’ai réalisé ce site

Il est sécurisé !


Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – ...

Documents

Transcript of Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – ...