Enquête d’auto-évaluation du PEC

Objectif: améliorer l’évaluation (l’enquête sur le PEC est conçue dans un but formatif)

Procédure de l’auto-évaluation• Etape 1 - organiser une session d’introduction: pour expliquer les

critères et les concepts du PEC et préciser quel type de preuves est nécessaire à l’enquête.

• Etape 2 – remplir le questionnaire en ligne: le questionnaire d’auto-évaluation du PEC est à remplir individuellement.

• Etape 3 - organiser un/des entretien(s) de groupe: en fonction de votre statut, vous pouvez organiser un entretien de groupe avec des étudiants et des enseignants sélectionnés (interviewés en même temps) ou deux interviews séparés avec un groupe d’étudiants et un groupe d’enseignants.

En tant qu'organisateur du PEC, vous voulez vous assurer que les participants à l'enquête:

Comprennent le concept du PEC et décrivent clairement les objectifs et les modalités de cette auto-évaluation;

Comprennent les critères de qualité et les indicateurs énoncés dans l’enquête;

Recensent toutes les méthodes d’évaluation; Comprennent le type de preuve recherché; Comprennent comment remplir le questionnaire.

Pourquoi ai-je besoin d’organiser une session d'introduction?

Qui dois-je inviter? Qui dois-je inviter? Invitez toutes les parties concernées par le programme à

évaluer

Profil des participants:• Divers statuts (étudiants, enseignants,

coordonnateurs, évaluateurs externes, etc.)Ou• Un groupe d’enseignants ayant des visions

différentes sur le programme à évaluerNombre de personnes:• 8 - 12 (ou plus) par programme

Comprendre le PEC

• Consultez la présentation ppt ‘Guide d’appui pour la session d'introduction’ et le document Word ‘Guide d’organisation d’une enquête d’auto-évaluation’ pour présenter le concept PEC et expliquer les 12 critères de qualité

Etablir une liste d’évaluation (PEC)

Le questionnaire en ligne demandera à chaque participant d’établir une liste de leur méthodes d’évaluation. Lors de la session d’introduction, veuillez consulter le tableau (page suivante) pour vous assurer que tous les participants comprennent comment remplir l’enquête

Une déscription du PEC

Méthode d’évaluation L’objet de l’évaluation?

Qui évalue? Quand/nombre de fois une évaluation est-elle effectuée?

Pour des fins sommatives et/ou formatives?

P.e. test des connaissances (QCM, T/F, etc.), projet,

observations pendant le stage,…

Quelles compétences/ tâche principale / flux de

travail

P.e. enseignant / experts sur le

terrain / collègues

P.e. à la fin de la séquence de cours/ plusieurs fois par

séquence ☐ seuls les scores ☐ les réactions individuelles/du groupe ☐ ni commentaires/ni résultats

☐ seuls les scores ☐ les réactions individuelles/du groupe ☐ ni commentaires/ni résultats

☐ seuls les scores ☐ les réactions individuelles/du groupe ☐ ni commentaires/ni résultats

☐ seuls les scores ☐ les réactions individuelles/du groupe ☐ ni commentaires/ni résultats

☐ seuls les scores ☐ les réactions individuelles/du groupe ☐ ni commentaires/ni résultats

Quel type de preuve est nécessaire?

Une série de preuves & exemples:

Les participants peuvent se servir des ressources suivantes pour indiquer la qualité de l’évaluation: L’évaluation (écrite & orale, par bloc thématique et

générale) des étudiants/des cours; Rapport des grades / résultats des examinateurs

externes; Evaluation de stage; Commentaires des experts du terrain.

• Donnez quelques exemples pour préciser les attentes :– Exemple d’une conclusion non valide: “c’est évident”:– Une preuve solide telle que “au début du cours nous

avons reçu un document décrivant les sections (détaillant les critères qui permettront d’évaluer les étudiants)

(consultez une autre présentation ppt pour plus d’exemples)??? (titre??)

• Leur opinion/ expérience peut servir comme preuve : vos collègues partagent-ils la même opinion ou la même expérience?

Quel genre de preuve est nécessaire?

Etape 2: Remplir le questionnaire en ligne

Remplir le questionnaire en ligne prendra environ 1 heure!

Les participants auront besoin d’au moins une semaine pour remplir le questionnaire.

Demandez aux participants de créer un nom d’utilisateur et un mot de passe.

Envoyez un rappel.

Etape 2: Remplir le questionnaire en ligne

Demandez aux participants devisiter le site:

http://fs10.formsite.com/formulierenITG/form296/index.html

se connecter avec leur nom d’utilisateur et leur mot de passe;

essayer de répondre à toutes les questions et de donner des preuves!

cocher ‘Ne sais pas' uniquement s’ils ne savent vraiment pas quoi répondre;

remplir le questionnaire dans les délais prévus!

Etape 3: L’entretien de groupe

Les objectifs de l’entretien de groupe :

Comprendre les différentes opinions; Obtenir des preuves; Corriger les “erreurs”; Améliorer spontanémentL’objectif général: consensus sur la qualité: -

“quelles sont les forces et les faiblesses de notre évaluation”

Préparer l’entretien de groupe

Impression des résultats pour tous les participants (sauf si effectifs trop nombreux)

Le cas échéant, préparer une présentation ppt•Montrez pour chaque critère:

- le score moyen des indicateurs;- la note la plus haute et la plus basse / l’écart type;- le résumé des preuves.

•Note: vous pouvez transférer l’échelle Likert en score allant de 1 à 6!

Le diapo suivant montre le genre de problèmes qu’un sondage en

ligne pourrait détecter

ClartéLes critères d’évaluation et les normes sont

communiqués et compréhensibles

Problèmes:

• Si l’évaluation se rapporte par exemple au module “rédaction de

rapports”, les critères d’évaluation utilisés pour attribuer un score à

un rapport dépendront uniquement de l’enseignant et ne sont pas

explicitement communiqués à l’étudiant.

• Les critères clés sont annotés. La façon dont ils sont utilisés pour

attribuer un score est floue et difficile à interpréter.

Le diapo suivant donne un exemple de la façon dont on peut illustrer les problèmes que l’enquête en ligne

pourrait détecter lors d’un entretien de groupe

• Les compétences exigées sont bien décrites mais ne sont pas reflétées en classe. Il n’existe pas de lien étroit entre les compétences et l’évaluation.

• Les étudiants ne comprennent pas ce qui est attendu d’eux dans leurs travaux.• Les critères exigés pour les présentations ne sont pas clairs.• Les évaluateurs externes ne comprennent pas toujours le contexte de l’évaluation.

Clarté

Ce qu’il faut discuter?Suite à l’impression des résultats de l’enquête, les deux situations suivantes peuvent

apparaître :

Situation 1- Il y a un consensus:

Score moyen relativement élevé + pas de scores bas (variations)(Presque) tous les participants le trouvent suffisantOUScore moyen relativement bas + pas de score élevé (variations)(Presque) tous les participants le trouvent insuffisant

Questions éventuelles pour la discussion:1. Est-ce vraiment la force / la faiblesse du PEC qui est en jeu?2. L’ensemble des preuves est-il valable? Les indicateurs avec un score élevé sont-ils

étayés par des preuves solides?3. Dans le cas où il y a peu de preuves: existe-t-il des preuves pour étayer le score?4. Pour les points faibles: quelles sont les possibilités d’amélioration?

Ce qu’il faut discuter?Situation 2- Il n’y a pas de consensus:

• Des scores très différents• Grand écart entre les scores les plus hauts et les plus bas• Quelques notes anormales

Suggestions pour des questions de discussion:• Le questionnement génère des scores différents. Demandez plus d’explications.

Sur quelle base arrivez-vous à un jugement? Pour quelle partie du PEC?• Les scores sont-ils étayés par des preuves valides ou s’agit-il plutôt d’un

sentiment?• Cherchez les preuves : existe-t-il une différence entre les meilleurs scores et les

scores les plus bas pour la preuve fournie? Le résultat est-il différent à cause d’une différence de perspective?

• Affrontez l’opinion de l’autre: ces idées sont-elles nouvelles?• Résumez les preuves: quels sont les éléments positifs et négatifs?• Cherchez un consensus.

Des conseils pour réussir un entretien de groupe

Expliquez bien que les différentes opinions sont les bienvenues.

Les répondants sont invités à se corriger / à reformuler certains aspects particuliers.

Interrogez explicitement les personnes qui expriment clairement leur désaccord.

Gardez la discussion sur les rails (tenez-vous aux sujets clés).

Les critères de qualité sont interdépendants. Il arrive dès lors que certains sujets reviennent dans les discussions. Assurez-vous de garder le contrôle de la discussion et de passer les critères un par un. Evitez les allées et venues entre les critères.

Les discussions naissent presque naturellement, parce que les gens sont en désaccord.

Quelques conseils pratiques concernant la collecte de données

• Déterminez à l’avance la fourchette de temps consacrée à la discussion de chaque critère de qualité

Dans un but de recherche:• Vérifiez l’équipement d’enregistrement;• Demandez la permission avant d’enregistrer une

discussion de groupe;• Envoyez le matériel préparé (par exemple les résultats

de l’enquête et les points de discussion) à Lai;• Envoyez le rapport de l’interview/de l’enregistrement

à Lai.