L’évaluation des étudiants Avez-vous déjà été évalué 1 - 2014 - P... · (c) SMART-IFRES...

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

L’évaluation des étudiants

Paris, 16 octobre 2014

Pascal Detroz, IFR

ES-ULg

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

Avez-vous déjà été évalué ?

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

1. La Problématique

(c) SMA

RT-IFRES U

LgPascal D

etroz

Définir l’évaluation

Recueillir de

l'information

Porter un jugem

ent

Prendre un décision

Stufflebeam, 1981

Recueillir de

l'information

Porter un jugem

ent


Recueillir de

l'information

Porter un jugem

ent


réguler

Cela aussi, vous le faites...

Mais faites-le vous bien ?

(c) SMA

RT-IFRES U

LgPascal D

etroz

Biais susceptibles d’affecter

l’évaluation

Recueillir de

l'information

Porter un jugem

ent


Recueillir de

l'information

Les biais liés à la

perception

décisionLes biais

liés à l'action

Porter un jugem

ent Les biais liés aux

interprétations

(c) SMA

RT-IFRES U

LgPascal D

etroz

Biais liés à nos perceptions

(c) SMA

RT-IFRES U

LgPascal D

etroz

Biais liés aux interprétations

!M

is en évidence par la psychologie sociale!

Exemple : l’égotism

e implicite. N

ous accordons plus d’im

portance et nous ressentons plus d’attraction pour les personnes, les lieux et les activités qui contiennent les lettres de notre nom

et les chiffres de notre date de naissance (K

oole et al., 2001; Pelhal et al., 2002 et 2011; Jones et al.s 2004). !

Exemple : T

he Totalitarian Ego (Greenw

ald, 1980). Le besoin d’un concept de soi stable est si intense qu’il agit com

me

un dictateur qui contrôle l’information et réécrit l’histoire

à son avantage personnel.

(c) SMA

RT-IFRES U

LgPascal D

etroz

Biais liés à l’action

(c) SMA

RT-IFRES U

LgPascal D

etroz

Biais susceptibles d’affecter

l’évaluation

Recueillir de

l'information

Porter un jugem

ent


Recueillir de

l'information

Les biais liés à la

perception

décisionLes biais

liés à l'action

Porter un jugem

ent Les biais liés aux

interprétations

Des biais dans nos évaluations

Cinq types de m

éthode quasi expérimentale!

Un m

ême jeu de copies corrigées plusieurs fois par un m

ême correcteur sans qu’il ne

s’en rende compte!

Un m

ême jeu de copies corrigées par plusieurs correcteurs différents!

Une m

ême copie est placée dans un ensem

ble de copies dans des positions différentes!

Une m

ême copie est placée dans un ensem

ble de copies dont les valeurs sont plus ou m

oins dispersées largement!

Une m

ême copie est corrigée par plusieurs groupes de correcteurs auxquels on fournit des

informations com

plémentaires différentes sur l’élève!

Quelques résultats exem

plifiant l’ampleur des biais!

(c) SMA

RT-IFRES U

LgPascal D

etroz

Des biais dans N

OS évaluations ?

!N

ous somm

es des enseignants universitaires ! N

ous savons évaluer !A

gazzi (1967). Pour six domaines, si correcteurs notent une série d’exam

en (sur 20). !Le seuil de réussite est à 10. voici les résultats :

6 notes insuffisantesA

vis discordant6 notes suffisantes

Version latine40"%

50"%10"%

Com

position Française21"%

70"%0"%

Anglais

37"%47"%

16"%

Mathém

atique44"%

36"%20"%

Philosophie9"%

81"%10"%

Physique37"%

50"%13"%

Des biais dans N

OS évaluations ?

Résultats de recherche :!

!La qualité form

elle des copies!

!Le caractère audible des enregistrem

ents!

!L’orthographe et la gram

maire!

!La lisibilité du texte (Style)!

!La longueur du texte!

!Texte m

anuscrit VS texte dactylographié

Des biais dans N

OS évaluations ?


!L’effet de contraste ou de contexte!

!La fidélité intra-correcteur!

!L’expérience du correcteur!

!La personnalité du correcteur!

!L’état transitoire du correcteur!

!Le profil du correcteur

Des biais dans N

OS évaluations ?


!La fidélité inter-correcteurs!

!Le genre de l’évalué!

!L’attractivité du prénom

!

!L'ethnie de l’étudiant!

!L’effet de halo sur l’origine sociale des étudiants

Des biais dans N

OS évaluations ?


!L’effet de stéréotypie ou d’inertie!

!La distribution forcée (loi de posthum

us)

(c) SMA

RT-IFRES U

LgPascal D

etroz

Des biais dans M

ES évaluations ?

!C

ela doit être vrai pour mes collègues ! !

Mais pas pour m

oi !!

La majorité des gens surévaluent leurs aptitudes générales,

particulièrement leurs habilités m

entales et sociales ( Pajares et K

ranzler, 1995; Regan et al., 1995 ; A

licke et Govorun, 2005)!

Les individus les moins com

pétents pour une tâche sont ceux qui se surestim

ent le plus (Paulus et al. 2003)!

Informés de ce biais, la m

ajorité des participants se considèrent m

oins portés que les autres à en subir les effets (Van Boven et al. , 2003)

Est-on conscient de nos lacunes

!L’exem

ple issus de la pédagogie universitaire

!"#"$

!!#!$

%#!$&#%$

'#'$

&'#'$

('#'$

)'#'$

!'#'$

%'#'$

*'#'$

+,-./012-

231$45677,84$9/:1;1$45677,84$

9/:1;1$23$4<=677,84$+,-

./012-231$23$4<=677,84$

!"#$%&'($&)(*+%,-#.+)(.*/&))-+&(,&)(/0..#-))#./&)(&+(,&)()#"0-'12#-'&($-*)(#%(,03

#-.&(,&($4*"#$%#50.(

!"#$%"&'(()*

")#!+)'!,,"*

!&#!$&%)"(!*

&*&*

!&*

)&*

,&*

%&*

'&*

$&*

"&*

(&*

-./01234/

453*67899.:6*;1<3=3*67899.:6*

;1<3=3*45*6>?899.:6*-./

01234/453*45*6>?899.:6*

!"#$%&''()##('%"#$"'$*+(,-(.&'$/

"$0"1/"2

"'3$4"$5)"'$*+(,-"1$,"#$*3-4)('3#$

Dans notre échantillon, aucun des enseignants

universitaires n’avait suivi de formation à l’évaluation

(c) SMA

RT-IFRES U

LgPascal D

etroz

Conclusions provisoires

!Evaluer

à l’U

niversité est

quelque chose

de com

plexe qui doit être pris au sérieux et nécessite une com

pétence scientifique (docimologique) forte.

Contrairem

ent à notre intuition, nous somm

es des évaluateurs très subjectifs. !Surtout quand nous som

mes engagés d’un point de

vue ém

otionnel, ce

qui est

le cas

quand nous

évaluons nos propres enseignements. !

!N

ous avons besoin d’outils et de méthodes !

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

2. Le problème de la m

esure

(c) SMA

RT-IFRES U

LgPascal D

etroz

La mesure physique

(c) SMA

RT-IFRES U

LgPascal D

etroz

La mesure en Sciences H

umaines

Une nécessaire triangulation

(c) SMA

RT-IFRES U

LgPascal D

etroz

Une autre représentation

!Le score observé (par exem

ple à lors de l’évaluation des enseignem

ents par les étudiants) est toujours la som

me d’un score vrai et d’une erreur de m

esure!

!C

ette erreur peut être systématique ou aléatoire!

!Le but de l’évaluateur est de dim

inuer la part d’erreur de m

esure et d’augmenter la part du score vrai

Score vrai

Erreur systém

atique

Erreur aléatoire

Score vrai

Erreur systém

atique

Erreur aléatoire

En route vers la qualité : le concept de validité (A

ERA

, APA

, NC

ME, 1999)

!En 1999, nouveaux standards de l’A

PA, l’A

ERA

et NC

ME.!

Définition : la validité réfère au degré avec lequel les preuves et la théorie

soutiennent les scores d’un test et leur interprétation.! !La validité est un concept unifié !C

inq « sources de preuves » de la validité:!1. C

ontenu du test!2. Processus de réponse!3. Structure interne!4. R

elations à d’autres variables!5. C

onséquences du test!!L’analyse

de la

validité consiste

en un

processus d’enquête

menant

à un

argumentaire axé sur ces 5 sources de preuves.!

En route vers la qualité : le concept de validité (A

ERA

, APA

, NC

ME, 1999)

En conséquence, l’approche de la validité respecte aujourd’hui un certain nombre de principes:!

!La validité n’est pas une propriété du test.!

!U

n test ne peut pas être valide ou invalide.!

!C

e que nous cherchons à évaluer sont les inférences réalisées à partir des résultats d’un test.!

!La validité n’est pas une affaire de tout ou de rien.!

!La validité d’un test doit être évaluée au regard des objectifs spécifiques du test.!

!L’étude de la validité im

plique l’analyse de multiples types de preuves.!

!L’étude de la validité n’a pas de fin, c’est un processus ouvert.

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

Vers un cycle qualité en évaluation

Le Cycle de C

onstruction et Gestion Q

ualité des Tests

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 1 : A

NA

LYSE

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

Création d’une table de spécification

Pourquoi ? !"#$%&'(')&$$&*

&+,($&-(./0&123-(45#66'&+2--#7&("8-)-(6#'($&(1.%'-(.%($&(6'.7'#*

*&(4&(3.'*

#2.+(&+(1#-(45)6'&%"&-(8+,)7')&-9(:&+3.'1&'($#("#$848,)(4&(1.+,&+%(&,(4&(6'.1&--9

Com

ment ?

;8-,&'($&-(6.8+,-(4&(*#2<'&(=%8(.+,(),)(#/.'4)-(#%(

1.%'-9(>

&?'&(&+()"84&+1&(4&-(6.8+,-(&--&+2&$-(=%8(4&"'.+,(@,'&()"#$%)-9(;8-,&'($&-(1#,)7.'8&-(4&(6&'3.'*

#+1&-(=%8(-.+,("8-)&-(6#'($5)"#$%#2.+9(!+(4)4%8'&($&-(./0&123-(45#66'&+2--#7&A45)"#$%#2.+(&+(1'.8-#+,B($.'-=%&(15&-,(6&'2+&+,B($&-(6.8+,-(4&(*

#2<'&(&,($&-(1#,)7.'8&-(4&(6&'3.'*#+1&9(

Les catégories de performances!"#$"

%&'()(*+$,-$.,&//"$)0+..&1$.,2(1)+0+3.,-$,45((*

,"$67$,/&",8(95,:;<<<=

"#/#0$">,*#*

("+.$">,-#3+)+">,

2())&?0"$>,#)7*

#"$">,"&//$5$">,#2"+"$,

-+.270$">,"$3("*

75$">,0"&-7+"$>,-#2"+"$>,

"$2())&?0"$

70+5+.$">,$*

/5(@$">,-#6$5(//$">,"$.(7-"$>,0"&-7+"$>,

+)0$"/"#0$">,&//5+A7$"

-+33#"$)2+$">,+-$)0+3+$">,0"(76$">,&)&5@.$">,

"$2())&?0"$>,$'/5("$">,2(*

/&"$"

B71$">,$.0+*

$">,#6&57$">,2(*

/(.$"

!(*/(.$">,

/5&)+3+$">,/"(/(.$">,-#.+1)$">,3("*

75$">,/"(-7+"$>,"#&5+.$"

!())&+0"$!(*

/"$)-"$C//5+A7$"

C)&5@.$"D6&57$"

Exemple d’une table de spécification

PE

CP

P

riorités

Exemple d’une table de spécification

!"#$%"&"'(&'$)*+&',&'+"%-%.('*/%0$)).12

3%'0%+#".&('&+'(4#56.$&0

&1+7

77

34.1*+%((%+.)1',6'8(.&1+'98%$&:';<7

77

73&*'1)+.)1*',4&"2)1)0

.&7

77

77

3&*'"=2(&*',4/>2.=1&'&+'*#86".+#7

77

77

?@@&8+6&"'61'*/%0$)).12

A1)0%(.&*',6'86."'8/&-&(6

77

7B"%.+&0

&1+',6'86."'8/&-&(67

77

77

A$$(.56&"'(&'*/%0$)).12

77

7

C%."&'0)6**&"

77

7D.18&"

77

7E)0

061.56&"'%-&8'(&'8(.&1+

E)00

61.8%+.)1'@)18+.)11&((&7

77

73&*'#-&1+6&(*',#*%2"#0

&1+*7

77

7D%12&"'(&'$)*+&',&'+"%-%.(

3&*'0#+/),&*',&'"%12&0

&1+',6'0%+#".&('&+'

,&*''$"),6.+*7

77

73&*'+&8/1.56&*',4&1+"&+.&1',6'0

%+#".&(7

77

7

D&8&$+.)1

B%F)1)0.&'%@@&8+.-&',&'G"%+/H)/('9IJKL<

D#$)1*&M%()".*%+.)1

N"2%1.*%+.)1E%"%8+#".*%+.)1

B%F)1)0.&',&*'%$$"&1+.**%2&*'8)21.+.@*',&'O())0

'$%"'"&-6&'$%"'!)/('9IJJJ<

E)11%.+"&E)0

$"&1,"&A$$(.56&"

A1%(>*&"?-%(6&"

E"#&"D%@@.1&"

M%".&"P0

$")-.*&"E)0

$)*&"

B%F)1)0.&',6',)0

%.1&'0)+&6"'9Q&H&++:'IJRL<

!&"8&-)."P0

.+&"?F&86+&"

A,%$+&"

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

!"#$%&'()*+,(C((D

+&(,#/$&(4&(-6)18E1#2.+(1.*6'&+#+,(

4&-(./0&123-(45#66'&+2--#7&(6'8.'8-)-9(!;#(FGH(C(

"#(@,'&(%2$8-)&(6.%'(68$.,&'($&(6$#+(45)"#$%#2.+(I(

6&%,(@,'&(%2$8-)&(6.%'(1.**

%+8=%&'("&'-($&-(),%48#+,-(I(

6&'*&?'#(4&(3.%'+8'(4&-(3&&4/#1J-(

6&'3.'*#+,-9

ETAPE 1 : A

NA

LYSE

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 2 : D

esign

Définition des form

ats et options de questionnem

entT

ypologie de formats de questionnem

ent

Questions ferm

ées!Q

uestions ouvertes

T%&-2.+-(U(1S.8Q(*

%$26$&(T

%&-2.+-(V"'#8O3#%Q(W(T

%&-2.+-(45#66#'8&*&+,((

P

T%&-2.+-(U(')6.+-&(/'<"&(

T%&-2.+-(U(')6.+-&($.+7%&(

T%&-2.+-(4&*

#+4#+,(%+&(6&'3.'*#+1&(

!RXH(

P(

+ Le choix d’options de questionnement

;&(3.'*#,(&-,(1.+-84)')(1.*

*&(#4)=%#,(&+(3.+12.+((

4&-(./0&123-(4%(,&-,(4&(-&-(1.+482.+-(45#66$81#2.+9(

K%,.*#2-#2.+((4&-(1.''&12.+-(

LM(#%7*&+,#2.+(4%(+.*

/'&(4&(=%&-2.+-(LM(6$%-(4&("#$848,)(4&(1.+,&+%(N#-(4&(6'./$<*

&-(4&(1.+1.'4#+1&-(8+,'#(&,(8+,&'O1.''&1,&%'-(LM(#%7*

&+,#2.+(4&($#(E4)$8,)(K%,.*

#2-#2.+(LM(6'#21#/8$8,)(P

N8<7&(4&-(=%&-2.+-(6.',#+,(-%'(4&-(4),#8$-(;8*

8,#2.+-(4%(+.*/'&(4&(

6'.1&--%-(*&+,#%Q(LM(6#'3.8-(

'&1.++#8--#+1&((R.+,'#12.+(4%(1S#*

6(1.7+823(>

#%"#8-&(6'&--&(#%6'<-(4&-(&+-&87+#+,-(&,(4&-(),%48#+,-

Principaux avantages et inconvénients des questions ferm

ées

!!

!!

N&'*&?&+,($5)"#$%#2.+(4&(

6&'3.'*#+1&-(1.*

6$&Q&-(LM"#$848,)(4&(1.+-,'%8,(N&'*

&?&+,(45)"#$%&'($&-(./0&123-(45&Q6'&--8.+(H.$$818,#2.+-(6$%-(6'.1S&-(4&(1&$$&-(4&($#("8&(=%.248&++&(LM(#%,S&+218,)

!+(7)+)'#$B(6&%(4&(=%&-2.+-(6.%'()"8,&'(45#%7*

&+,&'($&(,&*6-(4&(

1.''&12.+(LM(*#%"#8-&("#$848,)(4&(

1.+,&+%(Y8#8-((1.+1.'4#+1&(8+,'#(&,(8+,&'O1.''&1,&%'-(Z*

#%"#8-&(E4)$8,)[

Principaux avantages et inconvénients des questions ouvertes

!!

!!

;&-(#"#+,#7&-(4&(1&?&(*.4#$8,)(

-.+,(-#(1#6#18,)(U()"#$%&'(4&-(./0&123-(45#66'&+2--#7&-(4&(,'<-(S#%,(+8"&#%(Z&,($&%'(8+,)7'#2.+[B(#8+-8(=%&($#(1#6#18,)(U(#78'9(;&(6'.1&--%-(&,($&(6'.4%8,(6&%"&+,(@,'&()"#$%)-9

G8\1%$,)(U(1')&'(4&(,&$$&-(

)6'&%"&-($&(,&*

6-(+)1&--#8'&(6.%'($&-(),%48#+,-($&(,&*

6-(+)1&--#8'&(6.%'($#(1.''&12.+($&(,'#+-3&',(U(45#%,'&-(,]1S&-9(

Principaux avantages et inconvénients des évaluations de perform

ances complexes

!!

!!

Et la table de spécification dans tout cela ?

Et la table de spécification dans tout cela ?

Quels outils pour quel form

at ?

T%&-2.+-(3&'*

)&-T

%&-2.+-(.%"&',&-(

De l’outil à l’instrum

ent

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 2 : D

esign

!"#$%&'()*+,(-((D

+&(,#/$&(

4&(-6)18E1#2.+(

1.*6'&+#+,($&-(*

.4#$8,)-(4&(=%&-2.++&*

&+,(1'.8-)&-(#"&1($&-(./0&123-(45#66'&+2--#7&9

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 3 : Q

uestions

Création des questions en référence à la table

de spécification

L’enjeu principal est : cet item évalue-t-il avec validité au-m

oins un des objectifs d’apprentissage les plus im

portants référencés dans la table de spécification ?!

L’enjeu est également de construire une banque de questions

pérenne.!

Différents critères d’analyse form

elle s’appliquent aux différentes m

odalités de questionnement.

Création des questions en référence à la table

de spécification

Des critères form

els à respecter pour les QC

M!Trois règles concernant l'adéquation aux objectifs!

Respecter l'objectif.!

Coller à l'objectif.!

Ne pas perturber les apprentissages.!

Trois règles concernant la valeur diagnostique de la réponse!

Révéler le processus m

ental.!

Indiquer l'erreur comm

ise.!

Préciser sur quelle partie de l'énoncé porte la question.

Des critères form


M!Six règles de rédaction sur la form

e!

Respecter la consigne!

Proposer des phrases syntaxiquement correctes.!

Eviter les termes vagues.!

Eviter les négations.!

Séparer informations et questions.!

Regrouper

dans l'am

orce les

éléments

comm

uns aux

solutions proposées.

Des critères form


MH

uit règles de rédaction des solutions proposées!

Indépendance syntaxique des solutions.!

Indépendance sémantique des solutions.!

Egalité des mots com

muns à la solution et à l'am

orce. !

Egalité de vraisemblance des solutions.!

Mêm

e longueur pour toutes les solutions.!

Mêm

e complexité de toutes les solutions.!

Mêm

e degré de généralité.!

Mêm

e degré de technicité.

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 3 : Q

uestions

!"#$%&'()*+,(-((D

+&(-)'8&(4&(=%&-2.+-('&$#2"&-(#%Q(

(./0&123-(45#66'&+2--#7&(&+($8&+(#"&1($#(,#/$&(4&(-6)18E1#2.+9(R&-(

=%&-2.+-(4.8"&+,(

'&-6&1,&'(4&-(1'8,<'&-(4&(=%#$8,)(H8(6.--8/$&B(1')#2.+(45%+&(/#+=%&(4&(=%&-2.+-9

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 4 : Entraînem

ent

Entraîner les étudiants

Dans le but d’évaluer au m

ieux les performances des étudiants (et éviter les

biais dans la mesure récoltée), il est nécessaire de donner suffisam

ment

d’informations (voire de form

ations) sur la manière dont ils vont être évalués. !

Leur comm

uniquer les informations sur le test (quand, com

ment, avec quelles

modalités d’évaluation, sous quelles conditions...).!

Expliquer ce

que co

mprend

le test

et sur

quoi

il se

concentre

particulièrement. !

Donner l’opportunité aux étudiants de s’entraîner à fournir les perform

ances attendues.!

Gérer l’anxiété des étudiants.!

Leur donner certaines compétences pour gérer les m

odalités de testing.

Un m

oyen : le test à blanc

Organiser un test à blanc sim

ilaire à celui qui sera utilisé lors de l’exam

en. Si possible, il se structurera autour des :!

mêm

es objectifs d’apprentissages;!

mêm

es types de documents (consigne, feuille de réponse...);!

mêm

es conditions de temps;!

mêm

es modalités de questionnem

ent;!

mêm

es degrés de difficulté;!

mêm

es procédures anti-fraude;!

mêm

es conditions exogènes;!

...

Un m

oyen : le test à blancU

n moyen : le test à blanc

!"#$%&"'('"#)

!"#$%&'#

*+!),-

.)

+/%)/"#'$"'#)

!01.2)

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 4 : Entraînem

ent

;&('&-6.+-#/$&(4&($5)"#$%#2.+(1.*

*%+8=%&(%+&(-)'8&(

458+3.'*#2.+-(-%'($&(,&-,9(

!!"#$%&'()*+,(-((G&-(,&-,-(45&+,'#^+&*

&+,B(4&-(,&-,-(U(/$#+19(

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 5 : Le test

Lors de la passation…

Votre

responsabilité

est d’établir

un enviro

nnement

professionnel.!

Adapter le test au tem

ps disponible.!

Adopter une attitude professionnelle (ne pas bavarder avec les étudiants,

siffloter, rester juste derrière un étudiant, parler au GSM

...).!

Répondre aux questions portant sur les tâches attendues lors de l’évaluation. !

Adapter le test aux étudiants présentant un handicap.!

Organiser des procédures anti-fraude.!

Conserver une atm

osphère de travail durant l’examen.





!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 5 : Testing

!"#$%&'()*+,(-((;&-(=%&-2.+-(1'))&-A1S.8-8&-(U($5),#6&(_9(T

%&-2.+-(-.+,(6')-&+,)&-(#%Q()"#$%)-9(!+"8'.++&*

&+,(.62*#$8-)(

N'.1)4%'&(#+2O3'#%4&(

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 6 : C

orrection

La correction d’un test

C’est

une étape

très technique

qui com

prend 3

phases essentielles :!

[1] évaluer la production de l’étudiant;!

[2] effectuer des contrôles qualité sur la correction et/ou les items;!

[3] effectuer d’éventuelles modifications subséquentes.!

Pour chaque modalité de questionnem

ent, il existe différentes m

odalités de

correction et

différents types

de contrôles

qualité.

La correction d’un test standardisé

Pour les QC

M, l’évaluation de la production de l’étudiant est autom

atique.!

Pour les QRO

C, l’évaluation de la perform

ance de l’étudiant est plus ou m

oins automatique. !

Des décisions doivent être prises préalablem

ent sur le barème.!

Les contrôles qualité portent sur les items via le “r.bis”.!

En tendance, les étudiants les meilleurs au test ont-ils choisi la réponse correcte alors que

ce n’est pas le cas des étudiants les plus faibles au test ? Observe-t-on l’effet inverse pour

les distracteurs ?!

Sinon que faire ? Vérifier l’alerte ! Si elle est confirm

ée, il existe la possibilité :!

* de valoriser un des autres distracteurs;!* de m

odifier la réponse correcte; !* d’élim

iner l’une des questions.


Les corrélations .bissériales


La correction des productions longues

Trois types d’échelle d’évaluation : !

Les échelles d’évaluation métriques : traduisent un jugem

ent portant sur la qualité en une échelle m

étrique.!

Les échelles graphiques ordinales : (dites échelles de Likert) : un continuum

délimité et échelonné par des descripteurs de qualité.!

Les échelles

descriptives :

Similaires

aux précédentes,

sauf que

l’on rem

place les

form

ulations

ambiguës

(souvent,

parfois...)

par des

descriptions du comportem

ent attendu pour valoriser un niveau donné. !

Echelle métrique

X',S.7'#6S&(45%-#7&(C

Les échelles graphiques ordinales

;&-(3#%,&-(45.',S.7'#6S&(45%-#7&(-.+,

Les échelles descriptives :

Types d’échelle

Le QR

OL project

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 6 : C

orrection ./("/01#*0+2,/($/(,345+,%+6#*(#"7+*&0/(,+(8#""/86#*9(!./0('"+&'/:

/*'0(5&0/*'(47+,/:/*'(;(

54"&)/"(,+(<%+,&'4($%(1"#8/00%0($/(8#""/86#*9(!"#$%&'()*+,(-((=*/(5/"0&#*($/(8#""/86#*()+2,/($/0(

"40%,'+'0($/0(45+,%40

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 7 : Feedback

Donner un feedback diagnostic aux parties-

prenantes

Rappelons que l’évaluation est en lien avec un processus de

décision et de régulation.!

Assessm

ent pro

vides students,

amo

ng o

thers, w

ith inform

ation to make decisions about learning (N

itko, 2001).!

Les bo

ns feedbacks

sont

descriptifs, spécifiques

et contiennent

de l’inform

ation susceptible

d’améliorer

les perform

ances de l’étudiant ou de l’enseignant.!

Les feedacks peuvent porter sur divers éléments

On peut donner un feedback sur un item

On peut donner un feedback relatif à un objectif d’apprentissage spécifique

On peut donner un feedback relatif à un

objectif d’apprentissage général

On peut donner un feedback relatif à un

élément de m

atière spécifique

On peut donner un feedback relatif à un sous-

chapitre

On peut donner un feedback relatif à une

catégorie de performance

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 7 : Feedback

!"#$%&'()*+,(-(>/0(?//$2+8@0($&+7*#06<%/0(/'(1/"0#**+,&040(0#*'(1"#1#040(;(,345+,%49(

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 8 : R

égulation

Donner un feedback diagnostic aux parties-

prenantes!L’étape de m

acro-régulation :!

Recueillir de l’inform

ation auprès !de l’ensem

ble des !parties-prenantes sur!le déroulem

ent de l’évaluation,!

ce qui doit permettre un jugem

ent critique !

dont le

but est

de prendre

des décisions

quant

à l’am

élioration de futurs processus d’évaluation, voire des enseignem

ents.!

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

!"#$$%&!'((')!"#$$%&!*!+$,!'((-.'((/!

ETAPE 8 : R

égulation

./("/01#*0+2,/($/(,345+,%+6#*(8#,,/8'/(/'(+*+,A0/(,/0(#1&*&#*0($/0($&B4"/*'/0(1/"0#**/0(<%&(#*'(4'4(1+"6/0(1"/*+*'/0($%('/0'9(C,("48#,'/(47+,/:

/*'($&5/"0/0(0'+606<%/09(!!"#$%&'()*+,(-(D#*0/&,0(1#%"(+:

4,&#"/"(,/(1"#8/00%0(1#%"(,/(1"#8E+&*(8A8,/9(

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

Merci de votre attention !

(c) SMA

RT-IFRES U

Lg (c) Pascal D

etroz

Pour référencer ce powerpoint en tout

ou en partie : !

Detroz, P, C

rahay, V. (2014) évaluer les étudiants à l’université, C

onférence, 16 octobre 2014, Paris

L’évaluation des étudiants Avez-vous déjà été évalué 1 - 2014 - P... · (c) SMART-IFRES...

Documents

Transcript of L’évaluation des étudiants Avez-vous déjà été évalué 1 - 2014 - P... · (c) SMART-IFRES...