1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants...

1

Formation à la gestion qualité des évaluations standardisées

des acquis des étudiants

21/11/2002

2

[1] Cycle de gestion qualité des tests standardisés – 21/11/02Objectif : vous initier aux étapes de réalisation d'un test standardisé d'évaluation des acquis des étudiants ainsi qu'aux principales procédures de gestion qualité associées à chacune de ces étapes.

[2] Contrôle qualité a priori des questions fermées – 28/11/02Objectif : vous initier aux règles de rédaction des questions à choix multiple (QCM) et vous amener à critiquer et améliorer des QCM en utilisant ces règles.

[3] Dispositifs d'entraînement des étudiants aux proc. d'évaluation – 05/12/02Objectif : vous initier à trois dispositifs d'ingénierie docimologique mis gratuitement à votre disposition par le SMART-ULg pour vous permettre d'entraîner vos étudiants avant un test certificatif : [1] la Lecture Optique de Marques (LOM), [2] les Boîtiers de Vote Electronique (BVE) et [3] le Testing Interactif Multimédia via Internet (TIMI).

[4] Contrôle qualité a posteriori des questions fermées – 12/12/02Objectif : vous initier aux méthodes et indices qui permettent d'analyser les résultats des épreuves en vue d'en évaluer la qualité des questions puis d'effectuer d'éventuelles rectifications.

[5] Ressources offertes par le SMART pour la réal. de tests pédagogiques de qualité – 19/12/02Objectif : vous initier à la mise en oeuvre concrète des différentes procédures proposées par le SMART-ULg de manière à vous permettre de mettre en oeuvre et d'analyser vos tests standardisés d'évaluation des acquis des étudiants.

PROGRAMME DE LA FORMATIONPROGRAMME DE LA FORMATION

Formation à la gestion qualité des évaluations standardisées des acquis des étudiants - 21/11/02

3

[1.1] Introduction

SOMMAIRE de la séance du 21/11/02SOMMAIRE de la séance du 21/11/02

[1.2] Les fondements de notre système méthodologique

[1.3] Le cycle de gestion qualité des évaluations standardisées

[1.4] Une application dans le cadre du cours d’Obstétrique et de pathologie de la reproduction des ruminants, équidés et porcins

[1] Cycle de gestion qualité des tests standardisés


4

[1.1] IntroductionIntroduction

[1.1.1] Le SMART, ses missionshttp://www.smart.ulg.ac.be


5

[1.1.2] Ouvrages de référence


Edumétrie et docimologie, D. Leclercq (1999)

Educational Assessment of Students, A. Nitko (2001)

http://cwx.prenhall.com/bookbind/pubbooks/nitko/


6

[1.1.2] Ouvrages de référence http://cwx.prenhall.com/bookbind/pubbooks/nitko/



7

[1.2.1] Une approche « qualité »

Besoins des ensei-

gnants & desétudiants

Ressourcesen personnel et

en matériel

Modèles & procédures

SMART

Objectifsde qualité

[1.2] Les fondements de notre système méthodologiqueLes fondements de notre système méthodologique

(Gilles, 2002)


8

[1.2.2] Des objectifs-critères à prendre en compte pour améliorer les tests

Besoins des ensei-

gnants & desétudiants

Ressourcesen personnel et

en matériel

Modèles & procédures

SMART

Objectifsde qualité


(Gilles, 2002)

validité fidélité sensibilité diagnosticité praticabilité équité communi-

cabilité


9

• La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ;

• La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ;

• La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ;

• La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ;




10

• L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ;

• La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ;

• La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.




11


[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées

Entraînement

Analyse du cours

- Contenus- Processus

mentaux- Objectifs

Choix de laforme d’examen

- Oral/écrit- Pratique- Travail de l’année- ...

Construction desquestions

- Constructiond’échelles

- Instructions auxnotateurs

- Rédaction desquestions

- Taxonomies d’objectifs- Analyse de contenu

(liens conceptuels )- Interdisciplinarité- Transférabilité

Kaléidoscope des tech. dequestionnement :QCM-SGI, degrés decertitude, justifications , th.des décis ions , training

- Règles de rédaction- Historique et

représentativité des Q.- pronostic par les

enseignants

EXAMEN

- papier crayon enauditoire

- à l’aide d’unordinateur (par ex.WINCHECK auCAFEIM-FAPSE)

- Procédures anti-fraude

- Justifications- Avis des

examinés

Correction del’examen

- distribution- moyennes- marge de variation- écart-type- analyse des questions

- r.bis desquestions

- Alpha deCronbach del’épreuve

Feed-back auxexaminés

- FB « matières » et « processus

mentaux »- scores métacognitifs- score final- analyse des

questions

- précis ion- rapididité- disponibilité- Feedback sur

l’épreuve

Recueil des avis(étudiants etenseignants)

Evaluation desobjectifs- contenus- processus

mentaux- processus

d’enseignement- procédures

d’évaluation

Champs deslogiciels

GUESS et TIMI(via internet)

Champ dulogicielEVALENS

Champs deslogiciels

CERT et WINCHECK

- Individualisé- Sur demande- Avant le premier

examen- Feedback détaillé

Cycle de gestion qualité des tests standardisés(Gilles, J.-L. & Leclercq, D., 1996)

8 étapes

EEEVIBVE

Plus d'une trentaine de procédures "qualité"

TVI

Une série de dispositifs technologiques

[1.3.1] Vue d’ensemble du modèle et des procédures

12

[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées[1.3.1] Vue d’ensemble du modèle et des procédures

Cycle de gestion de la

qualité des tests standardisés

(Gilles & Leclercq, 1996)

1. Analyse desobjectifs de

l’enseignement

- Points Enseignés- Catégories de

Performances- Priorités

4. Entraînement

6. Correction etdiscussion

- performances- analyse des

propositions,contrôle qualité aposteriori : rpbis,rectifications

7. Feed-backaux examinés

- FB « matières »,« processusmentaux » et« métacognitifs »

- infos surl’analyse desquestions

3. Constructionde l’épreuve


- Barèmes et tarifs- Contrôle qualité

a priori

2. Mise en formede l’épreuve

- Définition desModalités deQuestionnement

- Équilibrage del’épreuve

8. Macro régu-lation (recueil desavis des étudiants)

5. Epreuve- préparation du

matériel, deslocaux, consignes

- vérification dutiming

- procédures anti-fraude


13


[1.3.2] Analyse des objectifs de l’enseignement

6. Évaluation

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

Taxonomie des objectifs d’enseignement de Bloom


l’enseignement




l’enseignement




14

http://www.bced.gov.bc.ca/exams/specs.htm

Exemple :les examens provinciaux (K12)en Colombie Britannique




15

1. Connaissance

Niveau 1 Connaissance

La définition de la connaissance englobe les comportements et les situations de contrôle qui mettent l’accent sur la mémorisation, par reconnaissance ou par rappel, d’idées, de données ou de phénomènes.

Font partie de ce niveau la connaissance de la terminologie, de faits spécifiques (dates, événements, personnes, etc.) de conventions et de catégories, de critères, de méthodes de recherche, de principes et de généralisations, de théories et de structures.

Student Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002




16

3. Application

2. Compréhension

1. ConnaissanceStudent Assessment and Program Evaluation Branch, Ministère de l’éducation, Colombie Britannique, 2002

Niveau 2 Compréhension et application

La compréhension fait référence aux réponses qui témoignent de l’entendement du message littéral contenu dans une communication. Cela signifie que l’élève est en mesure d’interpréter ou d’extrapoler le sens d’un message.

L’interprétation met en jeu la remise en ordre d’idées (inférences, généralisations ou résumés). L’extrapolation fait appel à des estimations ou des prédictions basées sur la compréhension des tendances.

L’application exige que l’élève applique une abstraction appropriée (théorie, principe, idée, méthode) àune nouvelle situation.




17

6. Évaluation

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

Niveau 3 Processus mentaux supérieurs

L’analyse se traduit par la capacité de reconnaître les sous-entendus, de distinguer les faits des hypothèses, de discriminer les conclusions des arguments qui les étayent, de reconnaître les hypothèses et les faits qui sont essentiels à la thèse ou à l’argument et de faire la différence entre les relations de cause à effet et d’autres relations séquentielles.

La synthèse met en jeu la production d’une communication unique, la capacité de proposer des modalités de contrôle des hypothèses, de concevoir une expérience, de formuler et de modifier des hypothèses et de faire des généralisations.

L’évaluation se définit comme l’expression de jugements de valeur sur des idées, des solutions et des méthodes. Elle fait appel à des critères et à des normes pour mesurer le degré d’exactitude, d’efficacité, d’économie ou de pertinence des détails. L’évaluation met en jeu la capacité d’appliquer des critères donnés à des jugements sur le travail accompli, de reconnaître les erreurs de logique et de comparer les principales théories et généralisations. Les questions qui font appel aux processus mentaux supérieurs subsument le niveau Connaissance ainsi que le niveau Compréhension et application.





18








[1.3.3] Mise en forme de l’épreuve

PHYSIQUE 12DESCRIPTION DE L’EXAMEN PROVINCIAL

(…) L’examen provincial comporte deux parties :

PARTIE A : Questions à choix multiple comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base ainsi que l’application d’équations simples alors que quelques questions peuvent être plus complexes.

PARTIE B : Questions à développement comptant pour 50 % de l’examen (60 points). La plupart de ces questions sont des problèmes exigeant une compréhension des définitions et des concepts de base alors que certaines questions peuvent nécessiter une explication des concepts de base.Le nombre de questions à développement peut varier d’un examen à l’autre, selon la valeur attribuée à chaque question. Cependant, le nombre total de points attribués à la section des questions à développement demeure inchangé.


PHYSIQUE 12


19









[1.3.3] Mise en forme de l’épreuve


PHYSIQUE 12

20




a priori




a priori


[1.3.4] Construction de l’épreuve

x


BIOLOGIE 12


21




a priori




a priori



x

Student Assessment and Program Eval. Branch, Ministère de l’éducation, Colombie Britannique, 2002

BIOLOGIE 12


22




a priori




a priori




BIOLOGIE 12


23




a priori




a priori



x


BIOLOGIE 12


24




a priori




a priori


[1.3.4] Construction de l’épreuve FRANÇAIS LANGUE PREMIÈRE 12BARÈME DE NOTATION

ÉPREUVE ORALE


communiquer informationsopinions sentiments préparationconnaissance

FRANCAIS LANGUE PREMIERE 12

CONTENU


25




a priori




a priori


[1.3.4] Construction de l’épreuve FRANÇAIS LANGUE PREMIÈRE 12BARÈME DE NOTATION

ÉPREUVE ORALE


maîtrise de la syntaxe,vocabulaire prononciatio

ndébit verbal

FRANCAIS LANGUE PREMIERE 12

FORME


26




l’enseignement






a priori




Y. Lion, 2000


27

Exemple de QCM :(Castaigne & Hanzen, 2000)

2,8

cm

3,9 cm

0,6

cm

1,5 cm

Cette échographie de l’ovaire gauche d’une vache pie noire de 6 ans, a été réalisée une semaine après l’oestrus.Votre diagnostic :

1. Un follicule de de Graaf2. Un kyste folliculaire3. Un Corps Jaune4. Un Corps Jaune Cavitaire5. Un artefact6. Aucune7. ToutesExemple d’échelle

de pourcentages de certitude (Leclercq, 1986)

Exemple de recueil des données pour une lecture automatisée des réponses et certitudes :(SMART-ULg, 1996)



28



29



30


Le Kaléidoscope des techniques de questionnement - Edumétrie et docimologie, 1999

D. Leclercq & J.-L. Gilles, 1999


31

4. Entraînement





Testing Interactif Multimédia via Internet (T.I.M.I.)


[1.3.5] Entraînement à l’épreuve


32

4. Entraînement





Boîtiers de Votes Electroniques (B.V.E.)

Formulaire de réservation en ligne des BVEhttp://www.smart.ulg.ac.be/evaletu/bve/




33

4. Entraînement





Dispositif de Lecture Optique de Marques (L.O.M.)



Boucles courtes Boucles courtes (en 5 jours ouvrables maximum)(en 5 jours ouvrables maximum)


34


[1.3.6] Epreuve

4. Entraînement






35


[1.3.6] Epreuve

4. Entraînement






Dispositif anti-fraude

Forme A

Quatre formes différentes sont possibles : les étudiants ont alors les mêmes questions, mais dans des ordres différents.

37


[1.3.6] Epreuve

4. Entraînement






Dispositif anti-fraude

38







(Gilles, 2002)


[1.3.7] Correction & discussion


39

Fichiers envoyés par e-mail aux enseignants


[1.3.7] Correction & discussion


40







[1.3] Le cycle de gestion qualité des évaluations standardiséesLe cycle de gestion qualité des évaluations standardisées[1.3.8] Feedback aux examinés


41

8. Macro régu-lation (recueil desavis des étudiants)


[1.3.9] Macro régulation


42




43

Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)

1

2

3

4

5

6

Moy

enne

s de

s av

is

1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)




44

Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)

1

2

3

4

5

6

[1.1]

Le m

ode d

'évalu

ation

était

adéq

uat

[1.2]

L'en

traîne

ment a

vant

l'exa

men ét

ait su

ffisa

nt

[1.3]

Les

ques

tions

étaie

nt cla

ires

[1.4]

Que

stion

s bien

adap

tées à

la m

atière

[1.5]

Le m

ode d

'évalu

ation

perm

et au

prof

. d'av

oir un

e bon

ne re

prés

entat

ion de

s...

[1.6]

L'év

aluati

on es

t équ

itable

et im

parti

ale

[2.1]

Les

exige

nces

de l'e

nseig

nant

sont

claire

ment p

résen

tées

[2.2]

Les

exige

nces

de l'e

nseig

nant

sont

prés

entée

s en t

emps

utile

s

[2.3]

L'en

seign

ant m

et l'é

tudian

t à l'a

ise à

l'exa

men or

al

[2.4]

L'ho

raire

fixé p

our l

'exam

en es

t res

pecté

[3.1]

Les

répo

nses

corre

ctes s

ont c

ommun

iquée

s aux

étud

iants

après

l'exa

men

[3.2]

L'an

alyse

stati

stiqu

e de l

a qua

lité d

es qu

estio

ns (r

.bis)

est c

ommun

iquée

[3.3]

Apr

ès l'e

xamen

, l'étu

diant

peut

obten

ir de

s exp

licati

ons s

ur la

quali

té de

ses r

épon

ses a

u...

Moy

enne

s de

s av

is

1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)




45


Entraînement

Analyse du cours

- Contenus- Processus

mentaux- Objectifs

Choix de laforme d’examen

- Oral/écrit- Pratique- Travail de l’année- ...

Construction desquestions

- Constructiond’échelles

- Instructions auxnotateurs


- Taxonomies d’objectifs- Analyse de contenu

(liens conceptuels )- Interdisciplinarité- Transférabilité

Kaléidoscope des tech. dequestionnement :QCM-SGI, degrés decertitude, justifications , th.des décis ions , training

- Règles de rédaction- Historique et

représentativité des Q.- pronostic par les

enseignants

EXAMEN

- papier crayon enauditoire

- à l’aide d’unordinateur (par ex.WINCHECK auCAFEIM-FAPSE)

- Procédures anti-fraude

- Justifications- Avis des

examinés

Correction del’examen

- distribution- moyennes- marge de variation- écart-type- analyse des questions

- r.bis desquestions

- Alpha deCronbach del’épreuve

Feed-back auxexaminés

- FB « matières » et « processus

mentaux »- scores métacognitifs- score final- analyse des

questions

- précis ion- rapididité- disponibilité- Feedback sur

l’épreuve

Recueil des avis(étudiants etenseignants)

Evaluation desobjectifs- contenus- processus

mentaux- processus

d’enseignement- procédures

d’évaluation

Champs deslogiciels

GUESS et TIMI(via internet)

Champ dulogicielEVALENS

Champs deslogiciels

CERT et WINCHECK

- Individualisé- Sur demande- Avant le premier

examen- Feedback détaillé

Cycle de gestion qualité des tests standardisés(Gilles, J.-L. & Leclercq, D., 1996)

EEEVIBVE

TVI


46

[1.4] Une applicationUne application


47

1. Analyse de l ’enseignement

Points Enseignés, Catégories de Performances

2.Mise en forme de l ’épreuve

Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes)

3.Construction des Questions

Indices de Qualité

4. Entraînement des étudiants

on line : TIMIen amphi : BVE ou Formuloms

5. Mise en œuvre de l ’épreuve

Matériel, Timing, procédures anti-fraude

6. Correction de l ’épreuveOn-line :DC, sévérité, réalisme, r.bis, ...

7. Feedback aux étudiants

On-line ou en amphi

Cycle gestion qualité S.M.A.R.T. des tests pédagogiquesCycle gestion qualité S.M.A.R.T. des tests pédagogiques

8. Régulation du processus

Recueil et analyse des avis des étudiants, propositions d ’améliorations

48






Indices de Qualité







On-line ou en amphi



Cycle gestion qualité S.M.A.R.T. des tests pédagogiques

Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

49

1.1 Définir les Points Enseignés [PE]Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance

1.2 Définir les Catégories de Performance [CP]

Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ?

1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP]

Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant


Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

50

Isoler chaque module assez important pour justifierd ’une évaluation et en quantifier l ’importance

1.1 Définir les Points Enseignés

[PE]



51

Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ?

1. Analyse de l ’enseignement 1.2 Définir les Catégories

de Performance [CP]


52

Relier les Points Enseignés et les Catégories de PerformancePour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme.

Les 6 catégories de performances choisies par l ’enseignant sont affichées

Pour ce PE (4.8) , l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur laconnaissance et la compréhension.

1. Analyse de l ’enseignement 1.3 [PE x CP]


53






Indices de Qualité







On-line ou en amphi




Gilles & Leclercq, 1996 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

54

• Catégories de Conditions : « ...avec degrés de certitude », « ...à livre ouvert », ...

• Catégories de Questionnement : « VF », « QCM », « QROC », ...

Il existe des

…Qui vont permettre de définir des Modalités de Questionnement (MQ) exemple : « QCM avec degrés de certitude »

Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ]

exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude »

Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ]

2.Mise en forme de l ’épreuve Création des trinômes

Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 … ce qui donne une liste de trinômes : [PE x CP x MQ]

55

• Quelles modalités de questionnement utiliser ou ne jamais utiliser ?• Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s).

[MQ][CP]

Exemple de binôme [CP x MQ] :

2.Mise en forme de l ’épreuve 2.1 [CP x MQ]

Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ]


56

2.Mise en forme de l ’épreuve Répartition des CP par MQ


57

2.Mise en forme de l ’épreuve Importance des PE


58






Indices de Qualité







On-line ou en amphi




Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000 Gilles & Leclercq, 1996

59

1) conseils méthodologiques2) choix parmi les références des Questions

PE : 1.6.3.CP : analyseMQ : QCM SGI DC

2,8

cm

3,9 cm

0,6

cm

1,5 cm

Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus.Votre diagnostic :

1. Un follicule de de Graaf2. Un kyste folliculaire3. Un Corps Jaune4. Un Corps Jaune Cavitaire5. Un artefact



SMART a créé une liste de trinômes à retrouver dans les questions qui

composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes.

RC : 6

60

http://www.smart.ulg.ac.be/formations/gqtp/documents/smart_oga_dakar.pdf

Suite à lire dans l’article accessible sur le serveur web du SMART :

[1.4] Une applicationUne application


61

FIN


1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants...

Documents

Transcript of 1 Formation à la gestion qualité des évaluations standardisées des acquis des étudiants...