Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de...

35
Processus de validation d’un test diagnostique du français Colloque de l’AQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep de Rivière-du-Loup

Transcript of Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de...

Page 1: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Processus de validation d’un test diagnostique du français

Colloque de l’AQPC 2012Roger de Ladurantaye, Francis Djibo

conseillers pédagogiques au Cégep de Rivière-du-Loup

Page 2: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Collaboration entre deux collèges

Les cégeps de Victoriaville et de Rivière-du-Loup collaborent à la production et à la validation d’un test diagnostique du français écrit.

• Cégep de Victoriaville, en fournissant la première version du test à valider.

• Cégep de Rivière-du-Loup, en validant cette première version et en produisant deux autres versions aussi validées.

• Conjointement, les deux cégeps invitent les cégeps du réseau des collèges à collaborer à ce projet.

Page 3: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation

Page 4: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation

Page 5: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Genèse de la réflexion sur la maîtrise du français écrit

Les tableaux de bord du Cégep RDL indiquent des taux d’échecs élevés dans les premiers cours de français

Ils indiquent aussi un abandon des cours de français par certains étudiants Ce constat nous a conduits à :

• caractériser ces étudiants ;• développer une stratégie intégrée d’actions favorisant la maîtrise du français écrit :

o Le cours propre au programme en français devenant le premier cours de la séquence

o Un cours propre destiné spécifiquement aux étudiants ayant une MGS < 70o Un Centre d’entraînement en français (atelier 416)o Le dépistage des fautes récurrentes par un test diagnostiqueo Des stratégies d’autocorrection et de révision communes au département de

françaiso (…)

Page 6: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Contexte : la situation au cégep de Rivière-du-Loup

Page 7: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Contexte : recherche d’un test diagnostique

Objectifs poursuivis : • cibler les erreurs récurrentes de la langue écrite (catégories de fautes) • intervenir prioritairement sur ces difficultés récurrentes • uniformiser les tests des enseignants du département

Le test du Cégep de Victoriaville : entente entre nos deux collèges Mise en ligne du test du Cégep de Victoriaville au mois d’août 2011

• 100 questions du Cégep de Victoriaville• 11 catégories

Page 8: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation

Page 9: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Les outils de validation du test Le logiciel : R (gratuit, malléable, documenté) La validation du construit

• La théorie classiqueo fiabilité de l’échelle de mesure o La dimensionnalité du test et des catégories (sous-dimensions)

• Trois paramètres de la TRIo La capacité discriminative de l’item (questions)o La difficulté de l’itemo Le facteur «pseudo-chance» de l’item

La validation du contenu• Rédaction de nouvelles questions : enseignants• Affectation des items aux catégories : enseignants• Analyse des choix de réponse par item : linguiste

La validité prédictive• La relation à l’ÉUF

Page 10: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

1. Choisir un ensemble de questions qui mesurent bien une habileté.

2. Choisir les questions selon les paramètres TRI3. Choisir les questions qui échappent à certains facteurs

(variables démographiques, hasard).4. Créer des banques de questions. 5. Créer des versions équivalentes d’un même test.

Modèle simple (Rasch) Effort de limiter la probabilité de trouver la bonne réponse à un item à l’habileté de la personne et au niveau de difficulté de l’item.

Objectifs de la validation

Les outils de validation du test – concept TRI

Page 11: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1e version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation

Page 12: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Première validation : théorie classique (1ère version- Automne 2011)

CATÉGORIESLittéra. Imagin.n = 29

Com. orale et écrite FJA

n= 51

Com. oraleet écrite FJD

n = 90

CEF

n = 11

Coefficient Alpha N items

LES NOMS 5,48 6,24 5,36 5,36 (0,22) 10

LES DÉTERMINANTS 6,21 6,12 5,41 5,55 (0,13) 10

LES ADJECTIFS 5,52 5,24 4,58 4,09 (0,20) 10

LES PRONOMS 7,62 7,78 6,54 7 (0,38) 10

LA CONJUGAISON 6,45 6,65 5,62 6,09 (0,11) 10

L'ACCORD VERBE-SUJET 5,31 5,67 4,54 4,18 (0,29) 10

L'ACCORD DES P.P 7,79 8,37 7,22 8,27 (0,09) 12

LES HOMOPHONES 6,55 7 6,32 6,36 (0,02) 8

LA SYNTAXE 5,41 5,84 5,03 5,18 (0,31) 8

LA PONCTUATION 5,66 5,71 4,8 4,18 (0,39) 8

LES ANGLICISMES 2,97 3,14 2,87 3,27 (0,14) 4

Score total 64,83 67,63 58,23 59,55 (0,75) 100

Groupes forts Groupes faibles

Page 13: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation

Page 14: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Première validation de contenu – Automne 2011

À la suite des analyses statistiques, nous avons : • Analysé les questions les moins liées au construit : celles diminuant le

pourcentage de fiabilité de chaque catégorie• Retranché 33 questions sur les 100• Associé les questions du test d’origine à de nouvelles catégories :

o 9 catégories du « Codes de correction du français écrit et du style »o Un degré d’accord de 61 % pour 4 personnes associant les 67 questions

aux 9 catégories Écriture de 23 nouvelles questions pour un test de 90 questions : 67+23 Mise en ligne de ce nouveau questionnaire sur Moodle

Page 15: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation

Page 16: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Deuxième validation : théorie classique (2e version – Hiver 2012)

CATÉGORIESLittér. Qc103MQn = 45

Com. orale et écrite FJD

n = 42

CEF

n = 28Alpha

Standard. N items

CONJUGAISON 6,27 5,69 4,71 0,31 9GRAMMAIRE 11,8 10,64 10,61 0,32 17HOMOPHONE 6,09 5,6 5,39 0,33 7MAJUS.-MINUS 5,33 3,95 4,18 0,44 9ORTHOGRAPHE 10,07 7,26 7,57 0,64 12PART.-PASSÉ 9,27 6,86 6,18 0,77 13PONCTUATION 5,91 4,98 5,36 0,26 7STRUCT. DE PHRASE 6,02 5,43 4,71 0,34 9VOCABULAIRE 2,98 2,29 2,54 0,12 7

TOTAL 63,73 52,69 51,25 0,83 90

Groupe fort Groupes faibles

Page 17: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

17

Révision des items selon la fiabilité de l’échelle de mesure

Conjugaison Alpha Question 1 0,34Question 2 0,28Question 3 0,21Question 4 0,35Question 5 0,34Question 6 0,29Question 7 0,26Question 8 0,33Question 9 0,29

Alpha total= 0,31

Règle

Révision de la question dont la suppression améliore la fiabilité de l’échelle de mesure

Deuxième validation : théorie classique (2e version – Hiver 2012)

Page 18: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

18

Révision des items par l’analyse factorielle exploratoire

Révision des questions - 1, 4, 5 - 2,6

Contribution commune minimale acceptable :

> 0,30

Deuxième validation : théorie classique (2e version – Hiver 2012)

conjugaison

Page 19: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation

Page 20: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Deuxième validation de contenu – hiver 2012

À la suite des résultats du test fait en février 2012

• Révision des questions : emploi usuel et respect des catégories

• Retrait de 40 questions et suppression de 4 catégories o Majuscule et minusculeo Ponctuationo Structure de phraseo Vocabulaire

Donc, un test de 50 questions

31 questions (62 %) dont le choix de réponse est modifié• Suppression de certains choix : participes passés, vocabulaire.

Page 21: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation

Page 22: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Rappel : la théorie de la réponse aux items Le logiciel : R (gratuit, malléable, documenté) La validation du construit

• La théorie classiqueo fiabilité de l’échelle de mesure o La dimensionnalité du test et des catégories (sous-dimensions)

• Trois paramètres de la TRIo La capacité discriminative de l’item (questions)o La difficulté de l’itemo Le facteur pseudo-chance de l’item

La validation du contenu• Rédaction de nouvelles questions : enseignants• Affectation des items aux catégories : enseignants• Analyse des choix de réponse par item : linguiste

La validité prédictive• La relation à l’ÉUF

Page 23: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Troisième validation Automne 2012

Question 7 : Si tu m’(…), il me fera plaisir de te parlera) appellesb) appelc) appelesd) appelee) appelle

Question 9 : Vous voulez (…) vos vacances en famille.a) passerb) passéesc) passezd) passése) passé

Page 24: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

24

Troisième validation du construit (automne 2012)

La question 9 est peu discriminante

Paramètre 1

Page 25: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

25

Troisième validation du construit (automne 2012)

La question 9 est la plus facile

Paramètre 2

Page 26: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

26

Troisième validation du construit (automne 2012)

La question 9« hasard » la plus

élevé

Paramètre 3

Page 27: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Troisième validation du construit

Test du rapport de vraisemblance d’Andersen

+0,70

-0,20

Les garçons

Les filles

La question 66

Question 66 : Julie a (…) les vidanges.

a. sortieb. sortic. sortiesd. sortis

Fonctionnement différentiel (selon le sexe)

Page 28: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Troisième validation du construit

N° du répondant Chisq df p-value

Outfit MSQ

Infit MSQ

Outfit t

Infit t

29 131.59 89 0.002 1.462 1.099 2.11 1.02

32 174.50 89 0.000 1.939 1.067 4.03 0.73

52 112.22 89 0.049 1.247 1.217 1.62 2.66

53 112.19 89 0.049 1.247 1.004 2.15 0.09

59 118.00 89 0.022 1.311 1.058 2.66 0.90

60 72.76 89 0.894 0.808 0.909 -1.67 -1.35

61 138.84 89 0.001 1.543 1.259 4.65 3.88

66 118.06 89 0.021 1.312 1.248 1.68 2.64

77 127.49 89 0.005 1.417 1.125 2.84 1.63

93 143.16 89 0.000 1.591 1.098 2.72 1.04

105 119.70 89 0.017 1.330 1.048 3.04 0.79

Répondants inappropriés

- leurs scores ne correspondent pas à leur habileté

La qualité de l’échantillon de calibration

Page 29: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. Invitation

Page 30: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Améliorations à venir

Échantillonnage • Augmenter l’échantillon pour le modèle à trois

paramètres• Purifier l’échantillon de calibration

Items• Ajouter continuellement de nouveaux items• Réviser les items qui ne sont pas ajustés au modèle• Réviser les items dysfonctionnels

Test• Établir un score de réussite par catégorie• Proposer plusieurs versions équivalentes du test• Identifier les réponses inappropriées• Établir la valeur prédictive du test par rapport à l’EUF

Plateforme• Afficher les scores par catégories

Page 31: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Cas d’amélioration : affichage des scores par catégorie

Page 32: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Cas d’amélioration : affichage des scores par catégorie

Page 33: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

sommaire

1. Contexte2. Les outils de la validation3. Première validation du construit (1ère version)4. Première validation de contenu5. Deuxième validation du construit (2e version)6. Deuxième validation de contenu7. Troisième validation du construit : TRI (3e version)8. Améliorations à venir9. invitation

Page 34: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Invitation aux collèges

Le modèle de Raschune centaine d’étudiants

Le modèle à deux paramètresun ratio de 1 (item) sur 10 (sujets) : 1000 étudiants et plus

Page 35: Processus de validation dun test diagnostique du français Colloque de lAQPC 2012 Roger de Ladurantaye, Francis Djibo conseillers pédagogiques au Cégep.

Proposition de collaboration

Utiliser le même test diagnostique en ligne sur Moodle L’utiliser en prétest, post-test Indiquer le cours porteur du test Communiquer les résultats des tests :

• MGS des étudiants• Le sexe : M ou F• Résultats aux tests dans un fichier Excel

Produire 25 nouvelles questions par année