EVALUATION DE L’EQUIPE PEDAGOGIQUE

Olivier Claris

Services de Néonatalogie et Réanimation Néonatale

Hôpital E. Herriot, Hôpital Lyon SudUniversité Claude Bernard, Lyon

EVALUATION EN FMC• Interface entre l’évaluation en formation initiale et l’évaluation en médecine

• ANDEM : processus d ’application de méthodes scientifiques, visant à rassembler des données fiables et valides pour savoir comment et à quel degré des activités particulières produisent des effets ou des résultats particuliers

• L’activité en formation est une activité de transformation des individus. L’évaluation est le moyen par lequel on cherche à apprécier cette transformation ( évaluation scolaire)

EVALUATION - METHODES

• Méthode expérimentale : observe des faits constatés par l’expérience ou le comportement

d’un individu

• Plans d’observation expérimentaux

– plan post-formation : constate un résultat

– plan « avant-après »

– groupes contrôles

EVALUATION• Normative : Repérer des performances par rapport à des normes établies

(contrôle de connaissances). Objectif de certification

• Formative : Tout au long du processus de formation

Aide le formateur à modifier le programme en fonction des résultats

• Evaluation : Critère indispensable d’agrément d’une manifestation de FMC

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (1)

VERGNENEGRE - Rev Mal Resp 1998;15:773-779

• Enquête de satisfaction a posteriori

– « les états généraux de l’asthme »

– débat avec participation du public

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (2)

• Questionnaire– intérêt des thèmes traités (0-10)– aspect novateur de la session (0-10)– choix des intervenants (0-10)– adéquation temps - quantité des informations (0-10)– intérêts des discussions et de la conclusion (0-10)– réponse aux attentes (0-10)– organisation autres sessions (oui - non - ne sait pas)

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (3)

• Evaluation de 4 ateliers de 10 à 30 participants, par enquête avant-après, le sujet étant son propre témoin, à partir d’un questionnaire de connaissances élaboré par le concepteur de l’atelier

• Evaluation d’une session plénière par QCM/QROC fournis par les orateurs

groupe intervention - groupe contrôleappariement : âge - mode d’exercice

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (4)

Caractéristiques des 64 répondants : Age 42.8 7.3Sexe 53 H / 11FExercice public 42%

privé 28%mixte 30 %

Intérêts des thèmes : 6.9 2Aspect novateur : 6.9 2.1Choix intervenants : 6.7 1.7Adéquation : 5.8 1.9Discussion /ccl : 6.3 2.2Réponse aux attentes : 6.2 2.3

Autres sessions : oui 78%

non 9%

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (5)

Groupe Groupe p intervention contrôle

(n = 59) (n=59)

N réponses 3.23 ± 1.29 2.69 ± 1.29 0.01exactes pourles 3 sessions

Session 1 3.21 ± 1.72 2.78 ± 1.73 0.05Session 2 3.33 ± 1.19 2.50 ± 1.29 0.04Session 3 3.15 ± 0.88 3.23 ± 1.33 NS

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (6)

Début atelier Fin atelier p

4 ateliers (n=51) 4.27 ± 2.14 5.32 ± 2.09 0.0001

Atelier 1 (n=4) 3.31 ± 0.48 4.37 ± 0.48 NSAtelier 2 (n=11) 3.16 ± 1.27 4.35 ± 0.82 0.03Atelier 3 (n=15) 7.04 ± 0.99 8.22 ± 0.45 0.0012Atelier 4 (n=16) 2.84 ± 0.88 3.68 ± 0.68 0.0009

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (7)

• Biais de sélection quant à la participation à une session de formation• Faible nombre de sujets• ANDEM : 4 niveaux d’évaluation - Niveau I : niveau de l’application subjective ; expression des participants - Niveau II : test des connaissances, subjectif ou objectif - Niveau III : changement des pratiques, subjectif ou objectif (audit clinique, revue par les pairs, analyse de cas simulés) - Niveau IV : résultat sur la santé, subjectif ou objectif (audit des données épidémiologiques)

SOCIETE DE PNEUMOLOGIE DE LANGUE FRANCAISE (8)

• Evaluer les besoins

• Résultas négatifs de sessions traditionnelles et brèves sur une journée

• Peu de répercussions sur la pratique professionnelle de l’acquisition de connaissances

théoriques

EVALUATION PEDAGOGIQUE IMMEDIATE D’UNE ACTION DE FMC

Peut-on définir une zone acceptable de qualité pédagogique pour un organisme accréditeur?

Christian, N Engl J Med 1998;338:1163

session 245, 94 questionnaires

1 conférencier absent : conférence jugée excellente par 1/5 des participants

EVALUATION A DISTANCE D’UNE ACTION DE FMC

• Steib, Ann Fr Anesth Réanim 2003;22:356-60organisateurs de 7 séminairesau moins 3 mois aprèsmode exercice : CHU, CHG, PSPH, clinique,….Activité principale : anesthésie, réa, urgences6 critères notés de 1 à 10utilisation post formation du document pédagogiquediffusion des informations à des collèguesentretien avec responsable hiérarchiquemodification de procédures de soinsapplication des modificationsatteinte de l’objectif de formation

EVALUATION A DISTANCE D’UNE ACTION DE FMC

• 5 réponses, 91/239 (38%)

• 25 CHU, 31 CHG, 27 PSPH

• anesthésie 83, réa 6, urgences 2

• cours mère-enfant 2, SI, 2 respiratoire 1

• notes PSPH plus faibles

• moindre utilisation document pédagogique pour cours mère-enfant

EVALUATION A DISTANCE D’UNE ACTION DE FMC

• Utilisation post formation du document : 7

• Diffusion des informations à des collègues : 6.8

• Entretien avec hiérarchie : 3.6

• Décision de modification de procédure : 7.3

• Application des modifications décidées : 7.7

• Atteint de l’objectif de formation : 8

NEWCASTLEILLING, Medical teacher, 2002;24:67-70

• Continuing Professional Development (CPD) for general practice is « a process of lifelong learning for all individuals and teams which enables professionals to

expand and fulfil their potential and which also meets the needs of patients and delivers the health and health care priorities of the NHS (1998) »

• Programme de formation sur 2 ans– durée du travail ½ journée / semaine– management, audit, épidémiologie, projet de recherche– livres de travail : informations, exercices, littérature– 9 réunions d ’une demi journée

NEWCASTLE (2)

• Etude de 1996 à 1998, 2 1ères promotions (16)• Objectifs : - motifs d ’inscription

- changement dans l’année- bénéfices pour patients et NHS

• Evaluation de la 1ère promotion 1 an après la fin de la formation• Evaluation de la 2ème promotion au début et à la fin de la formation•Questionnaires et interviews (13 par téléphone)

NEWCASTLE (3)

• Satisfaction générale• Motifs :

- apprendre plus- paraît intéressant

• Changement de pratiques : - 14/16- meilleur usage de la bibliographie

NEWCASTLE (4)

• Module de management : le plus utile (questionnaire et interview) «J’ai appris l’importance de construire une équipe et du leadership, et comment l’appliquer en pratique»

• Module de recherche : apprend à être plus critique et à considérer la recherche comme un challenge et non comme une menace

NEWCASTLE (5)

• Bénéfices pour le patient : - réduction des grossesses chez les

adolescentes- éradication H. pylori chez 158 patients

• Bénéfice pour le NHS : - oui 14/16- « je n’ai pas besoin de changer »- « cette formation m’a plu mais ne m’a pas fait changer ; je suis proche de la

retraite »

NEWCASTLE (6) • Les professionnels apprennent quand leur apprentissage est basé sur leur travail quotidien• On peut développer de la théorie à partir de problèmes pratiques et d’expériences personnelles• Les besoins personnels, des patients et du système peuvent tous être satisfaits par une détermination soigneuse de ces besoins et une organisation adaptée à la formation

ROYAUME-UNI – PEDIATRIESAIDI, Medical Education 2003;37:328-334

• RCPCH 2000 : CME -> CPD• 3 nouveautés :

- plan de développement personnel, prenant en compte les besoins personnels

et de l’employeur pour l’année à venir- recueil personnel des activités du CPD 1h = 1 crédit

1250 crédits sur 5 ansCPD interne et externe

- Trace écrite de l’activité du CPD

ROYAUME-UNI – PEDIATRIE (2)• 9 groupes : âge, lieu d’exercice• Réunions à Londres (déplacement payé)• Les questions :

- Est-il difficile de suivre un CDP ? - Le PDP a-t-il un rôle facilitateur ?- Le CPD a-t-il entraîné des modifications de vos pratiques cliniques, rôles professionnels, responsabilités académiques ? - Que pensez vous de ce nouveau CPD ? Clarté des recommandations, utilisation aisée

des formulaires…

ROYAUME-UNI – PEDIATRIE (3)

• Responsable

• Rapporteur : rapport en 4 semaines

• 2 lecteurs indépendants

• 49 participants / 117 contacts

• 4 à 7 par groupe

ROYAUME-UNI – PEDIATRIE (4)

• Est il difficile de suivre un CDP ?

- oui pour tous les groupes- annulation du RV ; «qui va faire mon travail ?»- financièrement inégal (3-5 j ; 250-1000 £/an)- qualité variable des réunions, notamment internes- nécessité de retourner au cabinet après la formation

ROYAUME-UNI – PEDIATRIE (5)

Dans quelle mesure le PDP vous a-t-il aidé ?

- A identifier des besoins de formation

- Antagonisme entre les souhaits personnels et les demandes de l’institution

ROYAUME-UNI – PEDIATRIE (6)

CPD et changements :

– influence positive sur la pratique clinique, après participation à plusieurs réunions

– intérêt de la comparaison d’expériences professionnelles

– les aspects académiques sont aussi utiles aux médecins des centres non-enseignants, car leurs médecins doivent écrire des protocoles

ROYAUME-UNI – PEDIATRIE (7)

Documentation :

• recommandations claires, mais présentation des documents non appréciée• quelles activités recueillies ? Comment attribuer les crédits ? Catégoriser les activités ? • la « paperasserie » prend du temps…• format électronique souhaité, mais accès inégal à un ordinateur

ROYAUME-UNI – PEDIATRIE (8)CPD basé sur des objectifs individuels d’apprentissage professionnel : Avantages :

- pour la pratique clinique du médecin- pour le patient- pour la société

Inconvénients - qualité inégales des réunions internes- défaut de financement- manque de temps- charge de travail importante

AFRIQUE DU SUDDE VILLIERS, Medical Education 2003, 37:

815-821

• CPD :

« Promeut des soins de bonne qualité et actualisés, et offre à tous les cliniciens des possibilités d ’apprentissage pour maintenir et améliorer leurs compétences pratiques »

AFRIQUE DU SUD (2)

• Modèle classique :

- Conférences- Peu d’interaction conférenciers - assistance- Non adapté aux besoins- Trop basé sur l ’acquisition de points- Peu d ’impact sur la pratique quotidienne

AFRIQUE DU SUD (3)

• Modèle compétence :

- Petits groupes de 12 personnes avec experts

- 2 heures/mois 3 mois

- 3 programmes en 9 mois par personne

AFRIQUE DU SUD (4)• Technique nominale de groupe : - introduction : objectifs et déroulement de la technique - 1 à 2 questions, puis réponses individuelles (autant que possible) - génération d ’item : réponses données à tour de rôle à l ’expert - classification d ’item : item similaires ou redondants regroupés - phase de priorisation : chaque participant classe par ordre décroissant ses 5 item les plus importants - vote final

AFRIQUE DU SUD (5)

• 2 réunions pour développer 2 questionnaires : participantsexperts

• Comment améliorer l’apprentissage en petits groupes ?

• Quelles sont les forces de la technique petits groupes ?

• Taux de réponses : global : 38%petits groupes : 47%experts : 66%

AFRIQUE DU SUD (6)

• Age : 25-89 (40)• Sexe : 54% femmes• Diplôme : 1935 - 1999 (1989)• Aucun impact du caractère obligatoire sur la participation : 53%• Conférences mensuelles : 85%• Petits groupes : 78%

AFRIQUE DU SUD (7)

• Non participation aux petits groupes : - contraintes de temps (34%)

• Non participation aux conférences : - préférence pour le petit groupe (19%)- travail (19%)- temps (19%)

AFRIQUE DU SUD (8)

Intérêts du programme CPD 51 réponses

Amélioration des connaissances 90%Amélioration des soins 78%Amélioration des performances 63%Renforcement jugement prof 55% Contact avec collègues 41%Changement d’attitude 25%Coupure dans le travail 10%

AFRIQUE DU SUD (9)

Changements :

- réunion d’introduction mieux structurée- besoins d’apprentissage des participants- contenu- agenda : dates - durée - lieu- formation des experts- 5 réunions par sujet en 5 mois

ONTARIO

Austin, Am J Pharm Education 2006;70(5),art 117

Evaluation professionnelle de 1500 pharmaciens (15%):

- 87% OK- 13% nécessitent une aide : rédaction d’un

plan d’éducation écrit précisant les objectifs spécifiques d’apprentissage et les indicateurs de suivi

ONTARIO (2)

Problèmes rencontrés : difficultés à obtenir des informations du patientdifficultés à identifier les pb liés au tttmauvaise utilisation de « référentiels »manque d’informations scientifiquesfaible aptitude à communiquerméconnaissance des obligations

professionnelles concernant la surveillance et le suivi des patients

ONTARIO (3)

Années d’activité : 34 (10 – 52)Sexe : 66% hommesOfficine : 87%Lieu du diplôme : 45% Canada / USASuccès à la recertification : 69%

ONTARIO (4)

2002 : OCP Professional Skill Enhancement Workshop2 ½ journéesRéférences cliniques (mentor)Interactions avec le patientIdentifier au plus 3 axes stratégiquesEvaluation immédiate, puis à 12 – 18 mois impact sur les pratiques professionnelles

ONTARIO (5)

Le PSEW m’ a aidé à mieux comprendre l’évaluation des pratiques : 80%, score 3,47/4Je n’ai pas perdu mon temps : 91%, score : 3,56/4

ONTARIO (6)

Depuis le PSEW , je me suis amélioré pour (n=35) : Recueillir les infos : 84%Utiliser les infos sur les ttt : 92%Ecoute active : 40%interview cohérente du patient : 60%

ONTARIO (7)

Comment évaluez-vousla participation au PSEW pourutiliser les infos ttt : 8.8interpréter les questions : 7.7rechercher les références : 8.6recueillir les infos du patient : 7.2communiquer avec le patient : 8.6confiance en mes capacités de P : 7.4

CONCLUSION

•L’évaluation est obligatoire, mais à améliorer•Il faut définir les objectifs de chaque FMC, et les vérifier•Il faut généraliser le concept d’évaluation•Il faut toujours innover en FMC