Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une...

Correction de dissertations : analyse de l’activité de quelques professeurs engagés dans une

approche par compétences

Marc Vantourout & Rémi Goasdoué

Journée d’étude ADMEE – Chamalières, 22 octobre 2010

Introduction - Contexte

• Injonctions institutionnelles : exercer dans le cadre d’une approche par compétences (APC)

• La compétence un nouvel objet pour l’évaluateur …

• L’opérationnalisation, un défi : évaluer des compétences dites complexes

• Peu de travaux centrés sur l’évaluateur, sur son activité

Etudier l’activité de professeurs de sciences économiques et sociales (SES), engagés dans une APC, corrigeant des dissertations

Cadre théorique

Appréhender la correction de copies comme une tâche particulière de lecture-compréhension de texte :

- processus interactif impliquant un lecteur et un texte

- l’enjeu : comprendre comment s’élaborent les représentations (et non plus identifier ce qui pèse sur le processus de comparaison « référent/référé »)

- Etudier le déroulement de l’activité de l’évaluateur en s’intéressant aux connaissances et représentations de l’évaluateur

Cadre théorique :apports des modèles de compréhension texte

• Aborder les processus cognitifs dans l'activité de correction

• S’intéresser aux divergences entre correcteurs

Inférences : prise en compte des caractéristiques des évaluateurs (déterminants internes : connaissances, attentes, …) :o Inférences de compréhensiono Inférences évaluatives sur le contenuo Inférences sur l’élève

Inférence : toute information non explicitement présente dans le texte que le lecteur construit à partir de ses connaissances.

Etude empirique

• La correction de copies type bac en SES :– Choix de la matière et de l'épreuve

(dissertation avec étude de documents)– Le sujet : « Dans quelle mesure les mutations

du travail peuvent-elles expliquer la crise du syndicalisme ? »

– Choix des copies– Les correcteurs– La tâche : correction avec verbalisation

concomitante

Constat « classique » en docimologie…

Evaluateur 1 2 3 4 5 6 7 8 9 10 11 A B C D

Note attribuée à la copie A

14 13 13 9 14 10 11 15 8 8 12 16 12 14 12

Rang de la copie A (/ 3 copies corrigées)

1 1 2 2 1 1 1 1 2 2 2 1 2 2 2

Note attribuée à la copie B

10 12 16 16 12 10 9 13 13 10 13 13,5 12,5 15,5 16,5

Note attribuée à la copie C

7 6 7 9 4 5 5 5 6 5 7 5 6 5,5 6

Moyenne des notes des copies A et B

12 12,5 14,5 12,5 13 10 10 14 10,5 9 12,5 14,75 12,25 14,75 14,25

Sévérité (moy A, B, C) 10,33 10,33 12,00 11,33 10,00 8,33 8,33 11,00 9,00 7,67 10,67 11,50 10,17 11,67 11,50

Ecart note max min 7 7 9 7 10 5 6 10 7 5 5 11 6 10 12,5

N'évaluant pas dans une APC (n'utilisent pas de grille de compétences)Evaluant dans le cadre d'une APC

(utilisent la même grille de compétences)

Comparaisons APC/autres

Quelques éléments supplémentaires relatifs aux apports de l’APC dans la situation d’évaluation étudiée

Moytot Moycomp Moynoncomp Moynoncomp+ Moynoncomp-

Copie A 12,07 13,5 11,55 14 8,75

Copie B 12,8 14,5 12,18 14,5 9,75

Copie C 5,9 5,63 6 7,5 4,75

Correction de la copie A : étude de l’activité de 3 évaluateurs s’inscrivant dans une APC

Professeurs expérimentés engagés dans une APC (2 d’entre eux ont participé à l’élaboration de la grille de compétences ; existence d’un mode d’emploi ; stage pour utiliser cette grille)

Compétence

IndicateurNiveau d’exigence

BarèmeNon Plutôt non Plutôt oui Oui

Mettre en œuvre des séquences argumentatives pour répondre au sujet

Présence explicite d’une idée par séquence reliée au sujet

Présence d’argument(s) pour la défendre

Présence d’une illustration

(il s’agit ici d’évaluer seulement la cohérence de l’argumentation)

Seulement un des indicateurs

Idée

ET illustration

MAIS pas d’argument

Idée ET illustration MAIS partiellement argumenté

OU

Idée ET argument SANS illustration

(2 à 3 fois)

Idée ET arguments ET illustration(3 à 4 fois)

4

Extrait de la grille de compétences élaborée et utilisées par les professeurs de SES s’inscrivant dans une APC pour évaluer

Un ensemble d’échelles descriptives globales

Comparaisons APC - Copie A

Correcteurs

GrilleBarème A B C D

Introduction /2 1,5 1 0,5 0,5

Mettre en œuvre une réponse organisée

/2 1,5 1,5 1,5 1

Conclusion /1 0,5 1 0 0,5

Utilisation pertinente des termes du sujet pour répondre au sujet

/2 2 1,5 2 1,5

Mettre en œuvre des séquences argumentatives pour ….

/4 4 2,5 4 2

Mobiliser des connaissances pour … /4,5 3 2,5 3,5 2,5

Mobiliser des informations des documents pour …

/4,5 3,5 2 3 3,5

Présentation de la copiebonus malus

0,5

Note /20 16 12 14 11,5

Etude de l’activité : inférences, jugements évaluatifs

Copie : « Les salariés n’adhèrent donc plus aux syndicats, c’est pourquoi on parle de crise du syndicalisme »

Correcteur A« Fait un effort pour préciser ce qu’est la crise du syndicalisme »Jugement évaluatif positifDélimite et définit les termes du sujet, plutôt oui.

Correcteur B« Effort de définition des termes du sujet »Jugement évaluatif positifDélimite et définit les termes du sujet, plutôt oui.

Correcteur C« Crise du syndicalisme définie de façon acceptable »Jugement évaluatif positifDélimite et définit les termes du sujet, plutôt oui.

Accord entre les correcteurs

Etude de l’activité : inférences, jugements évaluatifsCopie :Phr 3 Ce déclin puise une partie de ses causes dans les mutations du travail. Phr 4 Les mutations sont des transformations, des changements du monde du travail Correcteur A

« Les mutations du travail c’est plus flou »

Compétence : définir les termes du sujet

Jugement évaluatif qui reste globalement positif : délimite et définit les termes du sujet, plutôt oui.

Correcteur B« Il manque un exemple, définir mutations par changements est un peu facile »

Compétence : définir les termes du sujet

Jugement évaluatif qui reste globalement positif : délimite et définit les termes du sujet, plutôt oui.

Correcteur C« Essai de définition mais insuffisante sur le fond, extrêmement succincte. »

Compétence : définir les termes du sujetJugement évaluatif positif

« A sans doute mal compris la notion de mutations. »

Inf. compréhension => Inf. évaluative

Compétence : mobiliser des connaissances (maîtrise des notions du programme)

Intro (/2) :

A : 1,5 (plutôt oui) B : 1 (sujet pas vraiment compris) C : 0,5 (plutôt non)

Accords et désaccords : Inférences, compétences évaluées, jugements évaluatifs

Etude de l’activité : inférences, jugements évaluatifsPhr 24 Les syndicats sont devenus des institutions, c’est pourquoi les salariés ne se reconnaissent plus dans les syndicats et n’y adhèrent donc plus.

Phr 25 Les représentants des syndicats ne sont plus des salariés c’est pourquoi on peut se demander si les syndicats défendent leurs propres intérêts ou ceux des adhérants. Correcteur B« Définir le terme institution ; On parle plutôt d’institutionnalisation des syndicats »Annotation : « Ne sont plus des salariés présents dans l’entreprise. Donner un exemple pour construire la démonstration »

Correcteur C« Très bon mécanisme, très bonne argumentation. Chose loin d’être simple à comprendre pour des élèves de terminale. Ce n’est pas évident pour l'élève de comprendre que l'institutionnalisation provoque une sortie des délégués syndicaux trop fréquente de l'entreprise pour qu'il y ait un contact important entre les collègues

Jugement évaluatif positif : valide un mécanisme (indicateur de la compétence : mobiliser des connaissances)

Les correcteurs n’ont pas la même compréhension de ce passage.

Corr. B : prend l’élève « au pied de la lettre »

Corr. C : infère que l’élève a compris (inf. comp. => inf. éval.) ; le crédite de « la sortie des délégués syndicaux ».

Jugements évaluatifs différents (contenu et orientation)

Etude de l’activité : inférences, jugements évaluatifsPhr 10 Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans les intérêts communs d’une classe. Phr 11 Ainsi les syndicats ont plus de difficulté à rassembler les actifs autour d’un intérêt commun. (doc 2).Phr 12 De plus cette fragmentation des classes sociales illustrée par la moyenisation des catégories ouvrières dans la population et un déclin du monde ouvrier dont la part diminue de 9,6 points entre 1975 et 2000 ; s’accompagne des modifications des conditions de travail dans l’entreprise.

Correcteur A« Il y a un souci, je pense qu’il veut dire classe moyenne au lieu de classe sociale »Inférence de compréhension

« A utilisé une information correcte et est correctement reliée au sujet »Pris en compte pour valider la compétence « Mobiliser des informations des documents pour répondre au sujet »


Correcteur B« A-t-elle vraiment repris l'un des éléments du doc 2 ou le fait-elle pour faire plaisir au correcteur ? Faire mieux référence au doc 2 et le lien avec son point de vue »Inférence sur l’élève (Corr. B utilise ses connaissances sur les élèves)

« Expression qui n'existe pas : moyennisation des catégories ouvrières ; on parle de moyennisation de l'ensemble de la société. »


Correcteur C« Utilisation valable du document 2 ».« Moyennisation, notion non prévue dans le corrigé, tout à fait valable, qui sera validée »

Accords et désaccords entre évaluateurs

Résumer les accords et désaccords, les convergences et les divergences

PhraseIntérêt Relève Inférences (verbalisées)

Compréhension Evaluatives Elève Totaux

Conv Div Eva A Eva B Conv Div Eva A Eva B Conv Div Eva A Eva B Conv Div Conv Div

A22 1 1 1 1 1 1 1 1

A23 1 1 1 1 0 1

A24 1 1 1 0 1

A25 1 1 1 0 1

… … … ... ... ... ... ... ... ... ... ... ... ... ... ... ...

38 9 21 21 15 13 13 8 6 8 1 3 1 2 22 23

Accords et désaccords entre évaluateurs

Phrase Jugements

Positif Négatif Autre Totaux

Eva A Eva B accorddésaccordEva A Eva B

accord désacc Eva A Eva B accord désac Accord Désac.

A22 1 1 1 2 1 1 1 2

A23 1 1 1 1 1 1 1

A24 1 1 1 1 0 2

A25 1 1 0 1

… ... ... ... ... ... ... ... ... ... ... ... ... ... ...

26 16 14 17 13 36 11 27 4 5 3 3 28 47

Accords entre évaluateurs

Eva A (16) et Eva B (12)Intérêt :

Accord EVA A et EVA B (Phrases de la copie sur lesquelles les évaluateurs

verbalisent)

80,85%

INFERENCES EVA A EVA B Conv DivInf Comp 21 21 15 13Inf Eva 13 8 6 8Inf Elève 1 3 1 2

Accord EVA A et EVA B (conv/conv+div) 48,89%

JUGEMENTS EVA A EVA B Accord DésaccordPositifs 26 16 14 17Négatifs 13 36 11 27Autres 4 5 3 3

Accord EVA A et EVA B(accord/accord+désaccord) 37,33%

Accords entre évaluateurs

Comparaison entre

Correcteurs A et B

Correcteurs A et C

Correcteurs A et D

Correcteurs B et C

Correcteurs B et D

Correcteurs C et D

Taux de convergence de "l'intérêt/désintérêt" 81% 77% 89% 83% 78% 90%

Taux de convergence des inférences 49% 29% 18% 37% 31% 26%

Taux d'accord des jugements évaluatifs 37% 29% 25% 27% 29% 45%

Les sources de divergences1. Exercice et référent(s) : connaissances, mécanismes attendus … mais quid de

l’organisation précise de l’argumentation, de la présentation des mécanismes

2. Lecture :

Voir diapo précédente

1. Utilisation de la grille :

• Opérationnalisation : indicateurs « généraux » indicateurs « spécifiques » (indices)

• Correspondance entre éléments de la copies pris en compte et compétence évaluée

• Niveaux d’exigence et combinaisons d’indicateurs spécifiques

• Niveaux d’exigence points attribués (appropriation du barème)

• Appropriation générale de la grille : § argumentatif bien écrit, mais mal placé (mauvaise partie / plan)

Intérêts et limites de l’APC pour évaluer des dissertations en SES

Intérêts :

- Garde-fou (notes), check-list

- Suscite une lecture approfondie

- Outil pédagogique : explicitation des critères, retour d’information (favorise évaluation formative, formatrice)

- Ce qui est acquis est acquis (effet cumulatif, pas de points négatifs)

- Articulation certificatif et formatif

Limites :

- Ce qui échappe à la grille (cohérence globale)

- Effet formatant de la grille (« Enseigner la grille ou la dissertation ? » )

- Ce qui est acquis est acquis (effet cumulatif, pas de points négatifs)

Apports et limites de l’évaluation dans une l’APC : divergences entre correcteurs

Compétence(s) – critère(s) – qualité(s) de la productionMettre en œuvre des séquences argumentatives pour répondre au sujet

Indicateurs « généraux »(opérationnalisation du critère, de la compétence)1) Présence explicite d’une idée par séquence reliée au sujet 2) Argument(s) pour la défendre 3) Illustration

4 Niveaux d’exigence précisPourtant source de divergences- Non : Seulement un des indicateurs- Plutôt non : ….

Barème : 4 pointsRépartition des points « convenue » mais part d’autonomie source de divergencesNon => 0, 0+, 1 - Plutôt non => 1, 1+, 2, …

Copie : Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans …

Evaluateur /Lecteur- Opérationnalisation des indicateurs « généraux » - Attentes=> DIVERGENCES

Lecteur/Evaluateur-Inférence(s)-Compréhension (oui, non)-=> DIVERGENCES

EvaluateurAccepte, n’accepte pas, …Valide, ne valide pas, …Infère, n’infère pas (crédite)=> DIVERGENCES

Compétence(s) – critère(s) – qualité(s) de la production : Mettre en œuvre des séquences argumentatives

Indicateurs « généraux »(opérationnalisation du critère)1) Présence explicite d’une idée par séquence reliée au sujet 2) Argument(s) pour la défendre 3) Illustration

4 Niveaux d’exigence précisPourtant source de divergences- Non : Seulement un des indicateurs- Plutôt non : ….

Barème : 4 pointsRépartition des points « convenue » mais d’autonomie source de divergences

Copie : Les classes sociales étant devenues très nombreuses, les actifs ne se reconnaissent plus dans …

EVALUATION-Opérationnalisation des indic. « généraux » en « spécifiques »-=> DIVERGENCES

LECTURE-Inférence(s)-Compréhension (oui, non)-=> DIVERGENCES

EVALUATIONAccepte, n’accepte pas, …Valide, ne valide pas, …Infère, n’infère pas=> DIVERGENCES

Quelques mots de conclusionMalgré un important travail méthodologique, existence de divergences importantesInformation en retour diversifiée, mais aspect formatif Enseigner la dissertation / enseigner la grille (cohérence globale de la copie)

Dimension formative : évaluation certificative et formative

Stratégie de lecture ; pas de traitement heuristique

Et la notion de compétence :

-

Illustrations des types d’inférences

•Inférences de compréhension

–Inférences qui aboutissent d’autres non ou que le lecteur abandonne ou refuse (rapport coût / bénéfice)–Les inférences sont verbalisées quand elles contredisent les attentes de l’évaluateur (les autres sont tues)


•Inférences d’évaluation sur le contenu


•Inférences sur l’élève

Pistes d’interprétations

• Stratégies de lecture - compréhension– Valorisation de traits de surface : prélèvement

d’indice (phrase à phrase)

– Compréhension plus approfondie : intégration dans une représentation cohérente

• Élaboration de couples attentes - confirmations (construction de la cohérence)

Perspectives

• Mise en relation entre : analyse de la tâche d'évaluation, analyse de l'activité, analyse des entretiens, appréciations et notes

• Travailler sur des copies construites• Entretiens croisés sur les copies • Limites de la tâche de verbalisation

concomitante (validité écologique)• Place de la formation à l’évaluation /

développement professionnel

Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une...

Documents

Transcript of Correction de dissertations : analyse de lactivité de quelques professeurs engagés dans une...