1

Assurer la cohérence entre l’évaluation et les objectifs

Philippe GagnéSabine Brunet

Geneviève BoucherLaurence Dumont

Colloque de l’AQPCLe 5 juin 2013

Objectifs/Standards

Évaluations/Tests

Alignement curriculaire

Matériel pédagogique

et activités d’apprentissageVa

lidité

de

cont

enu:

Jusq

u’à

quel

poi

nt le

test

mes

ure-

t-il

les

obje

ctifs

du

prog

ram

me?

Contenu: Ce que nous enseignons est-il testé? Opportunité d’apprentissage: Enseignons-nous ce qui est testé?

Anderson, 2001

Le département et l’équipe de recherche

Sollicitation des enseignants

Description des évaluations et de leur contenu

Traitement statistique des données

L’équipe de recherche

Collecte du contenu du cours

Analyse et intégration des résultats

Présentation aux enseignants et au département

Plan d’action développé par:- Le département- L’équipe de

recherche- Les enseignants

Vision commune et engagement envers les conclusions de la démarche

Les experts codeurs

Vérification de la validité et de la fiabilité des données

Résultats synthétisant le contenu des évaluations

Discussion sur l’évaluation des objectifs du cours, nourrie par l’interprétation des résultats

Optimisation de l’équité entre les cours

Équivalence des opportunités d’apprentissage

Développement professionnel des enseignants

Le statisticien

Processus d’accord inter-juges

Processus d’une analyse d’alignement curriculaire

4

5

Commentaires

• Une initiation pour ma part!• Une définition de « alignement curriculaire d'un programme

ou d'un département » aiderait à se positionner - si on parle d'une cohérence entre objectifs et évaluations - alors je connais bien mais pas nécessairement toutes les méthodes.

• Je n'y connais rien.• J'ai une connaissance théorique de l'évaluation de

programme de formation pour l'avoir abordée dans un cours à la maitrise. Mais je ne connais pas les spécificités de la démarche d’évaluation lorsqu’elle est menée dans le contexte collégial.

6

Quelles sont vos attentes par rapport à cet atelier?

• Des outils pour évaluer le mieux possible les compétences visées par le programme.

• Je compare mes attentes a une sorte de défrichage du sujet. Obtenir des informations de base et pouvoir expérimenter afin de pouvoir investir les connaissances développées dans mon milieu.

• Connaître l'application du processus dont il est question dans la description de l'atelier m'intéresse vivement.

• En tant que conseillère pédagogique, pouvoir utiliser les outils et trucs qu'on me fournira pour mieux accompagner les enseignants.

• À titre de conseiller pédagogique, en savoir plus pour aider les professeurs. (J'ai aussi le mandat des évaluations de programme).

• Tout simplement développer une meilleure connaissance de ce qu'est l'évaluation de programme au collégial.

• Apprendre !

7

Lexique

Alignement curriculaire:Webb (2007): une méthode permettant de mesurer « le degré de concordance entre les attentes [les standards] et les évaluations et jusqu’à quel point elles se complètent pour faire en sorte que les étudiants apprennent ce que l’on s’attend qu’ils sachent et fassent » (citée par Martone & Sireci, 2009, nous traduisons).

Taxonomie:« La taxonomie en éducation est une classification organisée et hiérarchisée de phénomènes d'apprentissage ou de développement. » Dictionnaire actuel de l'éducation (Legendre, 2005).

8

Plan de l’atelier

• L’annonce faite au département…;• La collecte des données;• L’« itémisation »;• Les outils de traitement des données;• Description des évaluations (codage);• PAUSE;• Accords interjuges et fréquences croisées;• Démarche à Vanier;• Autres taxonomies;• Évaluation.

9

La pertinence de l’alignement curriculaire

• Extraits du rapport de la Commission d’évaluation de l’enseignement collégial (CEEC) à Vanier (2011):

« La Commission a observé que [l’évaluation finale] ne correspond pas toujours au niveau taxonomique des objectifs visés » : Validité« La Commission suggère au Collège de s’assurer de l’équivalence de l’évaluation dans le cas d’un même cours donné par plus d’un professeur » : Cohérence et équité

10

ALIGNÉS OU PAS?La simulation

11

Saisie et base de données

12

VOTRE ÉQUIPE

13

Accords interjuges

• Tendre vers l’objectivité• Démarche itérative– Expertise de base;– Encodage « instinctif »;– Comparaison et création d’une compréhension

commune;– Résultat final visé: ≈ 85% et +;

14

Accords interjuges (suite)

• Comparaison et création d’une compréhension commune

• Résultat final visé: ≈ 85% et +

15

BALISER LA LIBERTÉ La démarche au cégep Vanier

16

Mise en contexte

• Des cours communs à la conception de cours particularisés;

• La volonté de mesurer le degré de cohérence et d’équité;

• L’obtention d’une subvention du Academic Success Projects;

• Hiver 2012: 7 cours 102 (niveau intermédiaire).

17

Méthodologie

• Collecte des données;• Numérotation des items;• Codage des items;• Traitement des données;• Analyse des résultats;• Diffusion aux volontaires, puis au

département.

18

Numérotation des items

19

Résultats

• Nombre d’items;• Objectifs ministériels;• Relation-question-réponse (RQR);• Processus en lecture.

20

Nombre d’items

Professeur Nombre d'évaluations

Nombre minimum d’items

Nombre maximum d’items

Nombre total d’items pour

l’ensemble des évaluations

P1 13 1 65 171

P2 12 1 64 192

P3 8 1 65252

P4 8 1 20 166

P5 8 1 261 319

P6 8 1 248 303

P7 9 1 43 132

21

Objectifs ministériels

P1 P2 P3 P4 P5 P6 P70%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

2028

21 18 21 22 23

21

2027

18

25.5 24 20

49 37 38.554 37.5 42 47

1012 10

1015 11 10

0 3 3 0 1 1 0

S.O.Ob4Ob3Ob2Ob1

Professeur

Pour

cent

age

de p

oint

s ac

cord

és

Pourcentage de points par objectif ministériel selon le professeur

22

Objectifs ministériels (suite)

P1 P2 P3 P4 P5 P6 P70%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

5 3 1 2 3 7 3

1611

43

1 7

93

3

146163 166 158

270

170

125

012

40

036 30

0

S.O.Ob4Ob3Ob2Ob1

Professeurs

Pour

cent

age

d'it

ems

Répartition du pourcentage et du nombre d’items en fonction des objectifs ministériels selon le professeur

23

RQR (Wixson, 1983)• Explicite et textuel : La relation est explicite et textuelle si la question et

la réponse découlent toutes deux du texte et que la relation entre la question et la réponse est clairement indiquée par des indices dans le texte même.

• Implicite et textuel : La relation est implicite et textuelle si la question et la réponse découlent toutes deux du texte, mais qu’il n’y a pas dans le texte d’indice grammatical qui relie la question à la réponse. Cette catégorie demande l’utilisation d’au moins une inférence par le lecteur.

• Relation implicite et faisant référence aux schémas du lecteur : La relation est implicite et fondée sur les schémas du lecteur si la question seule découle du texte et que le lecteur utilise ses propres connaissances pour répondre à la question.

24

RQR

P1 P2 P3 P4 P5 P6 P70.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

0.28%

10.60%

0.00% 0.00% 0.00% 0.18% 0.00%

37.65%

25.46%

26.37%

44.95%

24.12%29.35%

34.51%

3.59%

0.44%

1.46%

10.05%

11.79%4.98%

3.99%

Implicite et faisant appel aux schémas du lecteurImplicite et textuelExplicite et textuel

Pourcentage du cours dédié à chaque catégorie du RQR par professeur

25

Processus en lecture (Giasson, 1990, 2011; Irwin, 1986)

Microprocessus : Les microprocessus permettent de comprendre l’information contenue dans une phrase : reconnaissance de mots; regroupement des mots en unités significatives; sélection des éléments de la phrase importants à retenir.

Processus d’intégration : Les processus d’intégration permettent d’effectuer des liens entre les propositions ou entre les phrases.

Macroprocessus : Les macroprocessus sont orientés vers la compréhension du texte dans son entier.

Processus d’élaboration : Il y en a cinq : faire des prédictions, se former une image mentale, réagir émotivement, raisonner sur le texte, intégrer l’information nouvelle à ses connaissances antérieures.

Processus métacognitifs : Les processus métacognitifs font référence aux connaissances du lecteur sur le processus de lecture en soi ; ils visent aussi sa capacité à se rendre compte d’une perte de compréhension, prise de conscience qui l’amènera à utiliser des stratégies appropriées pour remédier au problème.

26

Processus en lecture

P1 P2 P3 P4 P5 P6 P70.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

0.00% 0.40% 0.00% 0.00% 0.00% 0.18% 0.00%

17.04%20.58% 23.16%

38.41%

20.46% 22.32%

32.65%

20.89%

5.63% 3.15%

7.58%

0.93%

6.87%

2.28%

3.59%

9.89%

1.52%

9.02%

14.43%

5.14%

3.56%

0.00%

0.00%

0.00%

0.00%

0.08%0.00%

0.00%

Processus MétacognitifsProcessus d'élaborationMacroprocessusProcessus d'intégrationMicroprocessus

Valeur du cours en pourcentage accordé aux différents processus en lecture

Activité métacognitive

« Elle englobe toutes les pratiques réflexives qui explicitent, en miroir, le fonctionnement intellectuel de l’individu, en particulier en situation d’apprentissage, et permettent ainsi au sujet de réguler cette activité dans ses différentes composantes. » (Cuq, 2003)

« Processus qui conduit à l’autogestion des activités de cognition. » (Caron, 1991)

Questions ou activités métacognitives

• Nommez cinq concepts qui vous aident à interpréter ce film. Pour chaque concept, expliquez comment votre compréhension façonne votre interprétation du film.

• Faites deux listes. L’une avec les points de vue de trois personnages du roman et l’autre avec trois de vos positions en tant que lecteur. Expliquez comment vos positions vous amènent à interpréter les événements du roman différemment des personnages.

• Ce cours commence à me faire sentir que je devrais remettre en question toute l’information qu’on me présente. Vrai Faux

• Le port-folio: identifier ses propres erreurs typiques au début du cours.

29

Guide de conception d’évaluations en compréhension écrite

• Regroupement de questions typiques pour chaque catégorie RQR/Processus;

• Source d’inspiration lors de la conception d’une évaluation;

• Document évolutif par niveau;• (Annexe D de notre rapport; voir

bibliographie).

30

Extrait du Guide

Explicite et textuel

MicroprocessusInfo textuelle dans une phrase

Demander de repérer une information précise dans une phrase : mots de vocabulaire, date, noms, etc.

Demander de compléter une phrase lacunaire par des informations apparaissant textuellement dans une phrase.

Poser une question reprenant quasi textuellement une phrase du texte à laquelle il suffit de répondre par un ou deux mots apparaissant dans la phrase de départ. Exemple, phrase du texte : L’agriculture est en fait la plus importante source de pollution des milieux aquatiques au Canada; question posée : L’agriculture est la source de pollution la plus importante de quel type de milieu?

Processus d'intégrationInfo = lien explicite entre proposition ou phrases

Poser une question sur l’idée directrice apparaissant clairement dans le titre, dans le sujet posé de l’introduction et dans la fermeture de la conclusion.

Demander un exemple concret sur un point donné : Donnez un exemple concret (des risques des OGM pour l’agriculture).

Poser des questions ouvertes reprenant quasi textuellement une information facilement repérable dans une portion du texte; un exemple, une date, un nom d’organisme, etc.

Lire un passage et poser une question d’inférence. Faire émettre une hypothèse. Identifier des mots clés. Formuler des questions de type oui-non.

31

BLOOM, ANDERSON, MARZANO, WEBB, ALOUETTE!

Autres taxonomies

32

Bloom (1956) est mort… (de même que Anderson, 2001)

Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers.

33

Vive Marzano!

34

Mar

zano

(200

7)

35

Les résultats des élèves (Bateman, 2007)

36

Les résultats des élèves (suite)

37

Les résultats des élèves (fin)

38

Bibliographie sélectiveAnderson, L., & Krathwohl, D. (2001). A Taxonomy for Learning, Teaching, and Assessing. Longman New York. Longman.

Bateman, D., Taylor, S., Janik, E., & Logan, A. (2009). Curriculum coherence and student success. Pédagogie collégiale, 22(5), 8–18. Version française à paraître dans le numéro d’automne 2013.

Beach, R. W. (2011). Issues in Analyzing Alignment of Language Arts Common Core Standards With State Standards. Educational Researcher, 40(4), 179–182. doi:10.3102/0013189X11410055

Biggs, J. (1996). Enhancing Teaching Through Constructive Alignment. Higher Education, 32, 1–18.

Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers. Tiré de http://www.loc.gov/catdir/toc/ecip0614/2006015706.html

Cohen, S. A. (1987). Instructional alignment: Searching for a magic bullet. Educational Researcher, 16(8), 16–20. Tiré de http://edr.sagepub.com/cgi/content/abstract/16/8/16

Cuq, J.-P. (2003). Dictionnaire de didactique du français langue étrangère et seconde. Paris: CLE International.

Gagné, P., Brunet, S., Boucher, G., & Dumont, L. (2012). Alignement curriculaire en français langue seconde au cégep Vanier. Cours de niveau 3. Montréal: Vanier College Press. Tiré de http

://www.cdc.qc.ca/pdf/788353-gagne-et-al-alignement-curriculaire-FLS-vanier-2012.pdf

Gauthier, C., Mellouki, M., Bissonnette, S., & Richard, M. (2005). Écoles efficaces et réussite scolaire des élèves à risque. Un état de la recherche. Québec: Université Laval.

Giasson, J. (2011). La compréhension en lecture (3e édition.). Bruxelles: De Boeck.

Hammerness, K. (2006). From Coherence in Theory to Coherence in Practice. Teachers College Record, 108(7), 1241–1265. doi:10.1111/j.1467-9620.2006.00692.x

Irwin, J. (1986). Teaching Reading Comprehension Processes. Englewood, New Jersey: Prentice-Hall.

Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction. Review of Educational Research, 79(4), 1332–1361. doi:10.3102/0034654309341375

Marzano, R. J., & Kendall, J. S. (2007). The New Taxonomy of Educational Objectives. (J. S. Kendall, Ed.) The new taxonomy of educational objectives 2nd Ed. Corwin Press. Tiré de http

://www.amazon.com/New-Taxonomy-Educational-Objectives/dp/1412936292

Pellegrino, J. (2006). Rethinking and redesigning curriculum, instruction and assessment: What contemporary research and theory suggests. National Center on Education and the Economy. Consulté le 5 février 2013:

http://teacherlearner.com/activelearning_media/Pellegrino-Redesigning.pdf

Porter, a., McMaken, J., Hwang, J., & Yang, R. (2011). Assessing the Common Core Standards: Opportunities for Improving Measures of Instruction. Educational Researcher, 40(4), 186–188.

doi:10.3102/0013189X11410232

Squires, D. A. (2009). Curriculum Alignment. Research-Based Strategies for Increasing Student Achievement. Thousand Oaks: Corwin Press.

Tardif, J. (1997). Pour un enseignement stratégique. L’apport de la psychologie cognitive. Montréal: Les éditions Logiques.

Webb, N. (2007). Aligning Assessments and Standards. Consulté le 5 décembre 2011, http://www.wcer.wisc.edu/news/coverstories/aligning_assessments_and_standards.php

Wixson, K. (1983). Questions About a Text: What You Ask About Is What Children Learn. The Reading Teacher, 37(3), 287–295.