Evaluation en simulation - MEDESIMmedesim.fr/doc/Cours2015/DU20152016ORIOTEVALUATION.pdf · Dreyfus...

17
03/02/2016 1 Evaluation en simulation Pr Denis Oriot Laboratoire de Simulation, ABS Lab, Poitiers Trois types d’évaluation Simulation Apprenant Modèle Validation d’un processus pédagogique (Kirkpatrick) Validation (testing) d’un modèle pédagogique Outil d’évaluation Validation d’une checklist ou d’une échelle d’évaluation (Downing) Trois types d’évaluation Simulation Apprenant Modèle Validation du processus pédagogique (Kirkpatrick) Outil d’évaluation Objectifs pédagogiques 1. Identifier les 4 niveaux d’évaluation de la pyramide de Kirkpatrick 2. Imaginer une stratégie utilisant les 4 niveaux d’évaluation de la pyramide de Kirkpatrick 3. Comprendre les intérêts et les difficultés d’évaluation inhérentes à chaque niveau de la pyramide de Kirkpatrick A quoi sert l’évaluation? Pratique clinique A quoi sert l’évaluation? Pratique clinique Survenue d’erreurs Building a Safer Health System Linda T. Kohn, Janet M. Corrigan, and Molla S. Donaldson, Editors Committee on Quality of Health Care in America NATIONAL INSTITUTE OF MEDICINE NATIONAL ACADEMY PRESS 2000 Washington, D.C. “Medical errors exceed the deaths from motor vehicle accidents, as well as deaths due to breast cancer or AIDS.” To Err Is Human

Transcript of Evaluation en simulation - MEDESIMmedesim.fr/doc/Cours2015/DU20152016ORIOTEVALUATION.pdf · Dreyfus...

03/02/2016

1

Evaluation en simulation

Pr Denis OriotLaboratoire de Simulation, ABS Lab, Poitiers

Trois types d’évaluation

Simulation

Apprenant

Modèle

Validation d’un processus pédagogique

(Kirkpatrick)

Validation (testing) d’un modèle pédagogique

Outil d’évaluation

Validation d’une checklist ou d’une échelle

d’évaluation (Downing)

Trois types d’évaluation

Simulation

Apprenant

Modèle

Validation du processus pédagogique(Kirkpatrick)

Outil d’évaluation

Objectifs pédagogiques

1. Identifier les 4 niveaux d’évaluation de la pyramide de Kirkpatrick

2. Imaginer une stratégie utilisant les 4 niveaux d’évaluation de la pyramide de Kirkpatrick

3. Comprendre les intérêts et les difficultés d’évaluation inhérentes à chaque niveau de la pyramide de Kirkpatrick

A quoi sert l’évaluation?

Pratique clinique

A quoi sert l’évaluation?

Pratique clinique

Survenue d’erreursBuilding a Safer Health System

Linda T. Kohn, Janet M. Corrigan, and Molla S. Donaldson, Editors

Committee on Quality of Health Care in AmericaNATIONAL INSTITUTE OF MEDICINE

NATIONAL ACADEMY PRESS 2000Washington, D.C.

“Medical errors exceed the deaths from motor vehicle accidents, as well as deaths due to breast cancer or AIDS.”

To Err Is Human

03/02/2016

2

A quoi sert l’évaluation?

Pratique clinique

Survenue d’erreurs

Apprentissage

A quoi sert l’évaluation?

Pratique clinique

Survenue d’erreurs

Apprentissage

Simulation

A quoi sert l’évaluation?

Pratique clinique

Survenue d’erreurs

Apprentissage

Simulation

Evaluation

PAS DE SIMULATION SANS EVALUATION

• L’évaluation = validation du processus pédagogique

• Absence d’évaluation activité ludique!

Définition

• « L’évaluation en pédagogie est l’analyse systématique de la qualité de l’enseignement et de l’apprentissage » (MacDougall 2010)

• La qualité des soins dépend de la qualité de l’enseignement (To err is human, 2000)

• L’évaluation de la formation par simulation préfigure de la qualité des soins qui seront prodigués

Contrattacite

Réalisme Apport pédagogique

Outild’évaluation

Que faut-il évaluer?

• Professionnel patient soins

• Apprenant modèle performance

Procédurede testing

03/02/2016

3

« Fiction contract in SBME »

• ‘’Agreement between participants and simulationeducators that, in view of the limitations of thesimulator, the educators will do their best tomake the simulation as real as possible and theparticipants will behave as if the simulated casewas real and treat the mannequin patients asreal human patients’’.

Dieckman P, Gaba D, Rall M. Deepening the theoretical foundationsof patient simulation as social practice. Sim Healthcare 2007;2:183-93

Gestes techniques

Respect de l’algorithme

Travail enéquipe

Sûreté dupatient

Que faut-il évaluer?Performance

Caractéristiques (J.M. Chabot 2000)

• Normée : le but est la hiérarchie de classement dans le groupe d’étudiants

• Critériée : le but est la réalisation d’un certains nombre de critères prédéterminés

Caractéristiques (J.M. Chabot 2000)

• Sanctionnante : le but final est la note pour obtenir le diplôme

• Formative : le but est d’accélérer une dynamique de formation

Caractéristiques

• Avoir une vision unitaire :‘formation – évaluation’

– Il n’y a pas de formation sans évaluation

– Il n’y a pas d’évaluation sans formation

• Avoir une vision dynamique (Skinner) scénario 1 - débriefing 1; scénario 2 - débriefing 2; scénario 3 - débriefing 3…

• Construction de la ‘learning curve’

Evaluation de la performance Learning curve

18

Performance

Temps J’ai vu

Je faisObjectif

pédagogique

SIMULATION

03/02/2016

4

Continuum ‘novice’ ‘expert’

Dreyfus 1986, 2004

< 1 an

1-5 ans

5 ans

5-10 ans

> 10 ans

Champ de l’évaluation

• L’évaluation est un jugement

• On évalue le savoir, le savoir-faire et le savoir-être (Knowledge, Skills, Attitudes)

• Mais jamais les PERSONNES +++

• L’évaluation est circonstanciée +++

Comment évaluer?

1. Avec quels moyens?

2. Pour quels niveaux?Ce n’est pas un moyen unique

qui évalue

un processus d’apprentissage

complexe

Critères de jugement d’une formation médicale

Centré sur l’apprenant

Centré sur le patient

Timing Proche de la formation

A distance de la formation

ConnaissancesKnowledge

Tests par QCM Audit, meilleure pratique

Aptitudes techniques

Skills

Echelle d’évaluation

(observation)

Taux de succès des interventions

Attitudescomportements

Attitudes

Echelle d’évaluation

(observation)

Interview des patients (sortie)

Donald Kirkpatrick Kirkpatrick : une vision dynamique

03/02/2016

5

Evaluation : 4 niveaux

Degré de satisfaction

Acquis

Changement des

pratiques

Impact

clinique

1

2

3

4

Evaluation d’un processusd’apprentissage

Kirkpatrick D. 1967

Kirkpatrick Niveaux 1 et 2 Niveau 3 Niveau 4

Science Translational Medicine 2010

Evaluation : 4 niveaux

Degré de satisfaction

Acquis

Changement des

pratiques

Impact

clinique

1

2

3

4

Evaluation d’un processusd’apprentissage

Kirkpatrick D. 1967

LAB

Evaluation : 4 niveaux

Degré de satisfaction1

Evaluation d’un processusd’apprentissage

Kirkpatrick D. 1967

Niveau 1Réalisme satisfaction

03/02/2016

6

Les 5 W et 1 H

31

WHO?

WHAT?

WHY?

WHERE?

WHEN?

HOW?

QUI ?

• Les instructeurs de la séance de simulation

Niveau 1

Niveau 1

Réalisme : modèle, environnement, scénario

Intérêt scientifique : scénario, aspect ‘challenging’, difficultés du scénario adaptées au niveau d’apprentissage

Implication : agir comme en clinique

Qualité du débriefing : Ambiance bienveillante ; état d’esprit ‘SIDRA’ Sincere, Innovative, Dedicated, Respectfull, Authentic ; débriefing questionnant; débriefing pertinent (par rapport aux points soulevés)

Satisfaction : globale, inclusion dans un curriculum, recommandation à un collègue

QUOI ? POURQUOI ?

• Intérêt = information pour l’instructeur +++

• Toujours évaluer le niveau 1 +++

• Une réponse positive ne garantit pas un apprentissage, mais une réponse négative compromet toujours l’apprentissage

• Donc, très important d’avoir un haut niveau de satisfaction (viser > 80%)

Niveau 1

OU ?• Au centre de simulation

QUAND ?• A la fin de la séance de simulation

Niveau 1

COMMENT ?Auto-évaluation sous forme de questionnaire rempli par l’apprenant/participant à la fin de la session

• Question ouverte non utilisée

• Question fermée : OUI / NON

• Echelle numérique : entre 0 et 10

• Echelle de Likert : en 3, 5, 7, n classes– Avec questions

– Avec propositions

Niveau 1

03/02/2016

7

Exemples de présentation de questionnaire

• Question fermée :

Etes-vous satisfait de la séance de simulation : OUI/NON

• Echelle numérique :

Quel est votre degré de satisfaction de la séance de simulation? (0=aucun; 10=maximum)

Niveau 1

Exemples de présentation de questionnaire

• Echelle de Likert avec questions :

• Echelle de Likert avec propositions :

Niveau 1

Etes-vous satisfait de la séance de simulation?

Pas du tout

(1)

Plutôt non

(2)

Je ne sais pas

(3)

Plutôt oui

(4)

Absolument

(5)

La séance de simulation était satisfaisante

Je désapprouve fortement (1)

Je désapprouve

(2)

Je ne sais pas

(3)

J’approuve

(4)

J’approuve fortement

(5)

Barsuk, J Grad Med Educ 2012

Expression :Moyennes des scores attribués de 1 à 5 pour chacun des items du questionnaire.

5-point Likert scale;1 = disagree strongly; 5 = agree strongly.

Niveau 1

Sam, Paediatr Child Health 2012

Niveau 1

Expression :Moyennes des scores attribués de 1 à 5 pour chacun des items du questionnaire.

5-point Likert scale;1 = disagree strongly; 5 = agree strongly.

Présentées sous forme de barre-graph en face des items du questionnaire

Expression : pourcentage de réponses dans chaque classe de Likert

Crozier, J Surg Educ 2014

Niveau 1 Niveau 1

Arriaga, Ann Surg 2014

Expression :Pourcentage de participants qui sont d’accord (coté > 4 sur l’échelle de Likert en 5 point). 1 = disagree strongly; 5 = agree strongly) [± IC 95%]

% pour les 3 classes : Surgeons (S), Anesthesiologists (A) et Nurses (N)Valeur de ‘p’ entre les 3 classes (test de Fisher)

03/02/2016

8

Evaluation : 4 niveaux

Acquis2

Evaluation d’un processusd’apprentissage

Kirkpatrick D. 1967

QUI ?

• Les instructeurs de la séance de simulation

Niveau 2

QUOI : Les acquis

K – Connaissances : auto et hétéro-évaluation

S – Performance : auto et hétéro-évaluation

A – Comportement : hétéro-évaluation

Confiance en soi : autoévaluation

Niveau 2

POURQUOI ?

• Intérêt = objectif principal de la simulation

• Toujours évaluer le niveau 2 (minimum = auto-Eval)

• Une réponse positive garantit un apprentissage

• Une réponse négative = absence d’apprentissage

Doit faire poser des questions sur les raisons de l’absence d’apprentissage

Niveau 2

OU ?• Au centre de simulation

QUAND ?• Au début de la séance de simulation (hétéro-

Eval quand type 3)

• Pendant la séance de simulation (hétéro-Eval)

• A la fin de la séance de simulation (auto-Eval et parfois en hétéro-Eval quand type 3)

Niveau 2 Niveau 2

COMMENT ? Auto-évaluation

• Questionnaire à la fin de la session

• « Avez-vous acquis plus de connaissances? »:

– Likert ou échelle 0-10 : but > 50% d’acquis

• « Avez-vous acquis plus de compétence? »:

– Likert ou échelle 0-10 : but > 50% d’acquis

• « Avez-vous acquis plus de confiance en vous?

– Likert ou échelle 0-10 : but > 50% d’acquis???

• Différencier les acquis en termes de procédures, algorithmes, communication

03/02/2016

9

COMMENT ? Hétéro-évaluation

• Evaluation par un tiers – observateur – ou par des instruments adaptés

Niveau 2

Outils d’évaluation utilisés Critères de jugement

K-Connaissances Quiz avec QCM ou QROC Score au test théorique

S-Performancetechnique

Document papier : échelle globale, checklist, échelle d’évaluationChronométrageEvaluation instrumentale : Q-CPR*, Skillguide*

Scores

Minutes, secondes Valeurs concernées

A-Performance comportementale

Document papier : échelle globale, checklist, échelle d’évaluationChronométrage

Scores

Minutes, secondes

K-Connaissances

• QCM (5-10, couvrant le sujet) ou un cas clinique + QROC • Après ou avant/après la session = pré-test et posttest• Etabli par plusieurs experts, aucune équivoque• Posttest : mêmes QCM et réponses qu’au pré-test, mais

distribution aléatoire• Expression :

– Score du posttest– Comparaison pré/posttest Δ = score posttest – prétest

(Objectif : Sim augmente le score au posttest)

Niveau 2

Test théorique : expression

Moyennes Delta = posttest – pré-test

Moyenne, médiane, progressions individuelles

T1 T2

1 2 7

2 3 9

3 4 5

4 5 6

5 1 7

6 2 10

7 3 9

8 4 7

9 6 9

10 4 10

moyenne 3,3 7,8

médiane 3,5 8

0

1

2

3

4

5

6

7

8

9

10

T1 T2

Progression entre T1 et T2

moyenne 3,3 7

médiane 3,5 7,5

T1 T2

1 1 10

2 2 4

3 6 5

4 3 10

5 1 3

6 4 10

7 3 10

8 4 10

9 5 4

10 4 4

0

1

2

3

4

5

6

7

8

9

10

T1 T2

Progression entre T1 et T2

Moyenne, médiane, progressions individuelles

T1 T2

Niveau 2 : exemple

Connaissances techniques : ACLS• 41 internes de médecine (2ème année)• Tous certifiés ACLS• Prétest / post-test design• Intervention:

– 4 x 2h formation ACLS sur mannequin simulateur avec débriefing

• Résultats:– Amélioration des scores de 24 %– Succès (100/100) : 17 % prétest 100% posttest

Wayne DB, J Gen Intern Med 2006

03/02/2016

10

Niveau 2

S-Performance technique : document papier

• Nécessité d’avoir une évaluation objective

• Performance médicotechnique difficile à évaluer Evaluateurs à former

• Un superviseur évaluation subjective

• Deux superviseurs meilleure évaluation (objective?) mais ne voient pas la même chose?

• Complexité des procédures : IOT vs. PMO

Niveau 2 : complexité des procédures

Place de la vidéo• Emplacement de la (des) caméras +++

• Revoir les séances corriger l’évaluation de visu

• Lecture des vidéos et évaluation de la performance (checklist/échelle d’évaluation) reproductibilité de visu vs vidéo (test-retest) : – Tiers indépendant ou

– Même observateur à distance (anonymat)

• Double évaluation de visu et double évaluation vidéo : comparaison de la reproductibilité obtenue de visu et de celle obtenue avec la vidéo

Niveau 2 Outils d’évaluation

S-Performance technique : document papier

o Global Rating Scale

o Checklist

o Echelle d’évaluation

Evaluation globale (5 niveaux avec novices)

L’échelle mesure le niveau d’autonomie• Proficient =“Compétent” indique une habileté à réaliserindépendamment• “Expert” est un niveau improbable

Comment évaluer une procédure?

• Global Rating Scale

Checklist ou échelle?

Augmentation du nombre d’items ↘ reproductibilité

Augmentation de la description ↗ reproductibilité

03/02/2016

11

Comment évaluer une procédure?

Validité Avantages Désavantages

ChecklistValiditémodeste

Novice peut voir oùil doit s’améliorer

Demande le temps d’évaluation d’un expertDouble évaluation

Echelled’évaluationForte validité

Applicable dans de nombreuses situations par différents évaluateurs (objective)

Demande du temps pour sa réalisation

Demande le temps d’évaluation d’un expert

Evaluation de la performance technique : Exemples pédiatriques

Nom Année Auteur Items ICC, Crombach Alpha

Standardized Direct Observation Tool (SDOT)

2004 Joshi 26 ICC = 0.81, CA = 0.95

Neonatal Resuscitation Program Megacode Checklist (NRPMC)

2004 Wood 20 CA = 0.70

Tool for ResuscitationAssessment Using ComputerizedSimulation (TRACS)

2009 Calhoun 72 ICC = 0.80

Multirater Instrument for the Assessment of SimulatedPediatric Crises (MIASPC)

2011 Calhoun 44 ICC = 0.72, CA = 0.69

Evaluation Tool for SimulatedPediatric Resuscitation (ETSPR)

2012 Grant 12 ICC = 0.76, CA = 0.82

Barsuk, J Grad Med Educ 2012

Niveau 2

Fisher, Am J Obstet Gynecol 2011

Expression des scores de performance technique

Niveau 2

S-Performance technique : chronométrage

• TIMING = évaluation objective

• Temps pour réaliser une procédure technique :

– Connaissance de la totalité de la procédure et de ses difficultés

– Habileté technique (gestuelle) à réaliser la totalité de la procédure : entrainement

Plus rapide ne veut pas dire forcément mieux!

(timing vs process)

Nesbitt, J Thorac CardiovascSurg 2013

Expression du timing

Thomas, Pediatrics 2010

Niveau 2 Niveau 2 : timing : exemple

Introduction d’un nouvel équipement :

• Familiarisation avec le ventilateur Dräger Fabius

• 18 anesthésistes en formation randomisés en 2 groupes

• Groupe 1 : cours

• Groupe 2 : cours + pratique en simulateur

• Test : résolution de 2 crises simulées

• Résultats :– impression subjective de maitrise identique

– groupe simulateur résout les 2 crises plus vite +++

Dalley P, Anesth Analg 2004

03/02/2016

12

Niveau 2

S-Performance technique : évaluation instrumentale

Niveau 2A-Performance comportementale : document papier, timing

• Evaluation du CRM (Crisis Resource Mangement)

• Evaluation difficile (performance d’une équipe, plusieurs évaluateurs, vidéo…) pendant une situation de crise!

• Neuf échelles validée pour le CRM

• Communication : annonce d’une mauvaise nouvelle

Niveau 2 : performance comportementale

CRM

Annonce

Quels outils d’évaluation?Kardgong-Edgren, Clin Sim Nurs 2010

Evaluation du CRM : échelles spécifiques

Nom Année Auteur

Anaesthetists’ Non-Technical Skills (ANTS) 2003 Fletcher

Ottawa Global Rating Scale 2006 Kim

Behavioral Assessment Tool (BAT) 2006 Anderson

Mayo High Performance Teamwork Scale 2007 Malec

Clinical Teamwork Scale (CTS) 2008 Guise

Team Performance During SimulatedCrises Instrument (TPDSCI)

2009 Calhoun

Evaluation instrument of CRM 2011 Plant

Simulation Team Assessment Tool (STAT) 2012 Reid

Evaluation tool of CRM 2012 Grant

Clinical Teamwork Scale (CTS)

03/02/2016

13

Niveau 2 : Exemple

• Acquisition de compétencesnon techniques (CRM)

• Répartition des tâches

• Fonctionnement en équipe

• Conscience de la situation

• Prise de décision

Yee B, Anesthesiology 2005;103:241-8

Evaluation : 4 niveaux

Changement des

pratiques3

Evaluation d’un processusd’apprentissage

Kirkpatrick D. 1967

QUI ?

• Les instructeurs de la séance de simulation (au centre de simulation) pour auto-Eval

• Les investigateurs cliniques sur le lieu professionnel pour hétéro-Eval

Niveau 3

QUOI

Changement des pratiques professionnelles :

- auto ou hétéro-évaluation (K, S, A)

Niveau 3

POURQUOI ?

Intérêt = La plus véridique évaluation de l’efficacité d’un programme de formation

• Connaissances, savoir-faire, comportementsrécemment acquis, sont-ils utilisés dansl’environnement quotidien de l’apprenant?

• = Mesure du transfert apparu dans le comportement de l’apprenant suite à la simulation

Niveau 3

OU ?• Au centre de simulation (auto-Eval)

• Sur le lieu professionnel de l’apprenant (hétéro-Eval)

QUAND ?• Après la séance de simulation

• Difficile : impossible de prédire quand le changementsurviendra

• À quelle fréquence évaluer?

Niveau 3

03/02/2016

14

Niveau 3

COMMENT : Auto-évaluation : Questionnaire à la fin de la session

• Changement des pratiques professionnelles

• « Pensez-vous que cette séance de simulation vous fera changer quelque chose dans votre pratique professionnelle? » : objectif > 50% de OUI

• « Dans quels domaines? » (question ouverte) Connaissances, procédures, attitudes

Niveau 3

O’Donnell, SIH 2011

COMMENT : Hétéro-évaluation : Mesure de performance in situ

Learning Curve

Temps

Performance

Mastery JIT JIT

Niveau 3 : Just-In-Time Treatment

Réinjections pédagogiques courtes réparties au cours du temps

Niveau 3a : exemple

Changements de performance de CRM

• 3-12 mois après un cours sur la CRM (Crisis Resource Management)

– 61% exposés à une ou plus situations critiques

– 70% estiment que leur gestion de la crise a été améliorée

• Perceptions / attitudes

• Formation de collègues à la gestion des crises, stratégies de résolution de problème, planification / anticipation d’effets indésirables, travail en équipe, communication avec collègues, impact sur la pratique clinique

Weller J, Anaesthesia 2003

Niveau 3b : exemple

Intubation fibroscopique :

• 24 internes novices en intubation fibroscopique orale

• 2 groupes randomisés : Gr1 (n=12) : cours Gr 2 (n=12) : cours + mannequin

. Mesure de la performance en salle d’opération

Groupe

cours

Groupe

cours + modèle

P

Durée de

l’intubation (s)

210 81 < 0.01

Intubation

réussie42 % 92 % < 0.005

Naik VN, Anesthesiology 2001

Niveau 3b : exemple

Performance du travail en équipe/CRM :

• Beaucoup plus difficile à étudier

• 1 étude en médecine d’urgence :

– Observation « live » pré et post-training (8h de simulation et débriefing)

– « Tendance à l’amélioration du travail en équipe » aux urgences (p = 0.07)

– Mais petit collectif (4 équipes de 5 pers.)

Shapiro 2004

03/02/2016

15

Evaluation : 4 niveaux

Impact

clinique4

Evaluation d’un processusd’apprentissage

Kirkpatrick D. 1967

QUI ?

• Les investigateurs cliniques et méthodologistes : analyse des séjours-patients

Niveau 4

Niveau 4

QUOI

Impact clinique :• Recherche de marqueurs cliniques pertinents en

rapport avec la formation, dont la modification de l’incidence et/ou de la gravité serait un reflet uniquement en lien avec la formation par simulation réalisée

• Bénéfice secondaire au processus pédagogique = la santé des patients

POURQUOI ?

Intérêt = La prevue ultime de l’efficacité d’un programme de formation

• = Amélioration de la santé des patients apparueaprès la formation par simulation

Niveau 4

OU ?• Au niveau du centre de soins ou de la communauté

QUAND ?• Après la séance de simulation

• Difficile : impossible de prédire quand le changement surviendra

Niveau 4 Niveau 4

COMMENT : Epidémiologie des éléments traceurs• Recherche translationnelle (= du modèle au patient)

• Relevé rétrospectif d’éléments cliniques traceurs bien ciblés des années n-1 et n-2 dans l’activité

• Relevé prospectif des mêmes éléments cliniques traceurs lors des années n et n+1

• Pré-intervention vs. post-intervention

• Mesure de l’impact clinique de l’apprentissage

• Mais… effet TEMPS inéluctable

03/02/2016

16

Utilisation des marqueurs cliniques du tableau de bord d’un service

Niveau 4

COMMENT : Epidémiologie des éléments

traceurs

Niveau 4 : Exemple• Obstétrique Draycott T. BJOG 2006;113:177-82

Sim HF -50% d’encéphalopathies +++ (avant/après formation)

1998–1999

(n = 8430)

2001–2003

(n = 11030)

Relative risk

5’ Apgar ≤ 6,

n (rate / 10.000)

73 (86.6) 49 (44.4) 0.51 (0.35–0.74)

HIE

n (rate / 10.000)

23 (27.3) 15 (13.6) 0.50 (0.26–0.95)

Mod /sev HIE

n (rate/10.000)

16 (19.0) 11 (10.0) 0.53 (0.24–1.13)

NB : Montre une association, pas un lien de causalité ;

possibilité d’un effet-temps!mais encourageant !

Niveau 4 : Exemple

Comparaison intra-régionale

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

1,8

2

MNP IM total IM graves

1993-1997

1998-2006

NS

**

*

Pour 1000 naissances vivantes

Comparaison inter-régionale (1998-2006)

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

1,8

2

MNP IM total IM graves

Limousin

Poitou-Charentes

Pour 1000 naissances vivantes

NS ****

****

Niveau 4 : Exemple

Autre région

Niveau 4 : Exemples Niveau 4 : Exemple

• Soins intensifs

– CVC en USI adulte 0.5 (SIM+) vs 3.2 (SIM-) infections sur cathéter sur 32 mois (p<0.001)

Barsuk JH, Arch Intern Med 2009;169:1420-3

03/02/2016

17

Moyens d’évaluation• Questionnaire d’auto-évaluation

– Nv 1 : réalisme, intérêt scientifique, implication, débriefing, satisfaction

– Nv 2a : connaissances, performance technique, confiance

– Nv 3a : changement des pratiques

• Tests théoriques (quiz avec QCM ou QROC)– Nv 2b : acquisition de connaissances (pré/posttest)

• Echelle(s) d’évaluation (hétéro-évaluation)

– Nv 2b (au labo) : performance technique, comportementale, individuelle ou en équipe

– Nv 3b (in situ) : changement des pratiques

• Chronométrage

– Nv 2b (au labo) : timing

– Nv 3b (in situ) : timing clinique

• Epidémiologie d’éléments traceurs

– Nv 4 : mesure de l’impact clinique de la formation Rare!

Moyens d’évaluation de la performance

Individu Equipe

Non technicalskills

Technicalskills

TAPAS

Annonce

Simulation = 1 des 4 modes d’apprentissage

Je fais

Je vois

Je lis

Je simule

Kolb 1984

Conclusion

• L’évaluation est indispensable à toute formation par simulation

• Activité pédagogique et non activité ludique

• Légitimité scientifique en tant que processus pédagogique

• Valide ou invalide les hypothèses formulées

• Précise les déficits de performance possibles complément de formation

• Lien entre l’enseignement et la recherche