INTERNATIONALE PASEC2014 › wp-content › uploads › 2017 › 12 › … · 4.3.1 Codification...

RAPPORT TECHNIQUE

DE L’ÉVALUATION

INTERNATIONALE

PASEC2014

Conférence des ministres de l’Éducation des États et Gouvernements de la Francophonie

Merci de citer cette publication comme suit :

PASEC (2017). Rapport technique de l’évaluation internationale PASEC2014. PASEC, CONFEMEN,

Dakar.

©PASEC, 2017

Tous droits réservés

Publié en 2017 par le

Programme d’Analyse des Systèmes Éducatifs de la CONFEMEN,

BP 3220, Dakar (Sénégal)

ISBN : 92-9133-173-2

Conception et réalisation graphique : Jenny Gatien et Priscilla Gomes

Relecture : Marie-Eve Bisson

Ce rapport est également disponible en version électronique sur www.pasec.confemen.org

RAPPORT TECHNIQUE

DE L’ÉVALUATION

INTERNATIONALE

PASEC2014

iv CONFEMEN - PASEC

Sigles et acronymes

ACP Analyse en composantes principales

CCI Courbe caractéristique de l’item

CONFEMEN Conférence des ministres de l’Éducation des États et gouvernements de la Francophonie

DIF Fonctionnement différentiel des items (Differential Item Functioning)

ECIM-E Épreuve collective d’identification des mots écrits

IRT Théorie de réponse à l’item (Item Response Theory)

MLMCM Modèle logit multinomial à coefficients mixtes

MNSQ Carré moyen (Mean Square)

MOS Mesure de taille (Measure of Size)

NA Nombre aléatoire

OCDE Organisation de Coopération et de Développement Économiques

PASEC Programme d’Analyse des Systèmes Éducatifs de la CONFEMEN

PIB Produit intérieur brut

PISA Programme International pour le Suivi des Acquis des élèves

QCM Question à choix multiples

SES Statut socioéconomique (Socioeconomic Status)

TIMSS Trends in International Mathematics and Science Study

ULMCM Modèle unidimensionnel logit multinomial à coefficients mixtes

VP Valeurs plausibles

WLE Weighted Likelihood Estimation

PASEC2014 – RAPPORT TECHNIQUE v

Remerciements

Ce rapport technique de l’enquête PASEC2014 a été le fruit d’un travail de collaboration entre l’équipe

du Programme d’Analyse des Systèmes Éducatifs de la CONFEMEN et le comité scientifique du

programme. Le PASEC remercie son comité scientifique pour sa précieuse contribution à sa rédaction.

Le PASEC remercie également les membres de son comité de pilotage pour leur soutien et leur

orientation stratégique tout au long du processus de l’évaluation PASEC2014 ainsi que les différents

partenaires techniques et financiers : l’Agence Française de Développement, la Banque mondiale et la

Coopération Suisse. Sans leur appui, ce projet n’aurait pu être réalisé.

Enfin, le personnel du Secrétariat technique permanent de la CONFEMEN est salué pour son appui

technique et administratif.

La CONFEMEN se joint à ces remerciements et adresse sa profonde gratitude et ses vives félicitations à

toutes ces personnes dont la coopération a été primordiale pour la production de ce rapport technique.

vi CONFEMEN - PASEC

Avant-propos

La CONFEMEN, en tant que conférence ministérielle francophone en éducation ayant adhéré à la

déclaration d’Incheon en 2015, a réaffirmé sa volonté d’accompagner les pays en favorisant un espace

d'expertise et de solidarité francophone à travers son Programme d’Analyse des Systèmes Éducatifs

(PASEC). Ce programme a produit des données et des analyses sur les performances des systèmes

éducatifs et les facteurs qui concourent à la qualité de l’éducation, par l’intermédiaire d’enquêtes à

grande échelle sur les acquis des élèves au primaire. En deux décennies, le PASEC a réalisé près de

quarante évaluations nationales dans plus d’une vingtaine de pays en Afrique Subsaharienne, dans la

région de l’océan Indien, au Moyen-Orient et en Asie du Sud-Est.

Depuis 2012, les missions du PASEC ont évolué pour mieux répondre aux nouvelles attentes des pays

et de la communauté internationale, qui demandent davantage de mesure des acquis scolaires. La

valeur ajoutée de la nouvelle approche adoptée est de mettre l’accent sur la comparabilité des résultats

des différentes évaluations nationales. La mesure sur une échelle commune des compétences des élèves

de différents pays, en début (2e année) et en fin de scolarité primaire (6e année), permet désormais de

mieux analyser et comprendre l’efficacité et l’équité des systèmes éducatifs, à l’instar d’autres

programmes internationaux tels que le PISA, le PIRLS, le TIMSS ou le SACMEQ.

Le PASEC a lancé sa première évaluation internationale en 2014 dans dix pays (Bénin, Burkina Faso,

Burundi, Cameroun, Congo, Côte d’Ivoire, Niger, Sénégal, Tchad et Togo). L’échantillon était constitué

de près de 40 000 élèves répartis dans plus de 1 800 écoles à travers les pays. Dénommée PASEC2014,

cette évaluation est la première d’une série d’évaluations internationales régulières.

Dans un souci d’enrichir le débat éducatif en vue de l’amélioration du pilotage des systèmes éducatifs

des pays participants, la CONFEMEN a mis à la disposition des chercheurs et de tout acteur du milieu

de l’éducation, les bases de données issues de cette évaluation Ce rapport technique a été élaboré pour

permettre aux utilisateurs des données de comprendre la méthodologie globale de l’évaluation.

Boureima Jacques KI

Secrétaire général de la CONFEMEN

PASEC2014 – RAPPORT TECHNIQUE vii

Table des matières

Sigles et acronymes iv

Remerciements v

Avant-propos vi

Table des matières vii

Liste des tableaux x

Liste des figures xi

Liste des encadrés xi

Liste des graphiques xi

1 1. TESTS COGNITIFS 1 Fondements des tests PASEC2014 de début et de fin de scolarité primaire 3 Développement des tests PASEC2014 4

Partie I : Tests PASEC2014 de début de scolarité primaire 5 1.1.1 Test de langue de début de scolarité primaire 5 1.1.2 Test de mathématiques de début de scolarité primaire 7 1.1.3 Protocole et spécificités des tests PASEC2014 de début de scolarité primaire 8 Partie II : Tests PASEC2014 de fin de scolarité primaire 9 1.2.1 Test de lecture de fin de scolarité primaire 9 1.2.2 Test de mathématiques de fin de scolarité primaire 16 1.2.3 Protocole et spécificités des tests PASEC2014 de fin de scolarité primaire 19

2 2. QUESTIONNAIRES CONTEXTUELS 23 Approche globale du PASEC pour étudier le contexte éducatif 27 Cadre théorique des questionnaires de contexte 29 Spécifications sur les questionnaires de contexte 33 2.3.1 Questionnaire Élèves de début de scolarité (2e année) 33 2.3.2 Questionnaires Maîtres de 2e et 6e années et questionnaire Directeurs 34 2.3.3 Questionnaire Pays 34

3 3. PLAN D’ÉCHANTILLONNAGE 35 Procédures d’échantillonnage du PASEC2014 37 3.1.1 Couverture de la population cible et taux de participation au niveau des écoles et des élèves 38 Procédures techniques d’échantillonnage des écoles pour les pays 41 3.2.1 Définition de la population cible nationale 41 3.2.2 Élaboration de la base de sondage 41 3.2.3 Définition des variables de stratification 42 3.2.4 Attribution d’une mesure de taille à chaque école 43 3.2.5 Calcul des taux d’exclusion d’écoles 44 3.2.6 Traitement des petites écoles et des très petites écoles 44 3.2.7 Échantillonnage des écoles 44 L’échantillonnage des classes et des élèves dans les pays participants 49 Attribution des cahiers aux élèves de la 6e année 49

4 4. COLLECTE ET SAISIE DES DONNÉES DANS LES PAYS 51 Collecte des données 53 4.1.1 Préparation de la collecte des données 53 4.1.2 Formation des administrateurs de tests 55 4.1.3 Collecte des données 57 Rangement et sécurisation des instruments de collecte revenus du terrain 61 Saisie des données 63

1

2

3

viii CONFEMEN - PASEC

4.3.1 Codification des instruments des tests de 6e année 63 4.3.2 Codification des instruments des tests de 2e année 63 4.3.3 Codifications des instruments des questionnaires contextuels 64 4.3.4 Développement des masques de saisie 65 4.3.5 Recrutement et formation des agents de saisie 65 4.3.6 Saisie des données et contrôle de qualité 66 4.3.7 Sauvegarde des données 67 4.3.8 Communication entre les équipes nationales et le PASEC 67

5 5. NETTOYAGE DES DONNÉES 69 Programmation sous Stata des procédures de nettoyage des données et identification des incohérences

dans les données 72 Recodage des données avec l’appui des équipes nationales 73 5.2.1 Vérification et correction des incohérences au niveau des identifiants dans chaque base de

données 73 5.2.2 Vérification et correction des incohérences entre les différentes bases de données 73 5.2.3 Vérification et correction des incohérences au niveau interne des bases de données 75 Mission de finalisation du nettoyage des données dans les pays 76 Finalisation des bases de données : Recodage des items (non atteints et manquants par design) 76

6 6. PONDÉRATION DES DONNÉES ET CALCUL DES POIDS ISSUS DE LA RÉPLICATION 77 Pondération des données et calcul des taux de participation 79 6.1.1 Pondération des données 79 6.1.2 Calcul des taux de participation des écoles et des élèves 83 Calcul de la variance d’échantillonnage 86 6.2.1 La construction des zones de Jackknife, ou pseudo-strates 87 6.2.2 La génération des poids de réplications 87

7 7. MISE À L’ÉCHELLE DES DONNÉES COGNITIVES 89 Modèles de calibration 91 7.1.1 Le modèle de Rasch 91 7.1.2 Modèle à crédit partiel (cas de la 2e année) 92 7.1.3 Modèles multidimensionnels 93 Analyse et calibration des items 95 7.2.1 Ajustement du modèle de réponse à l’item (moyenne quadratique pondérée – MNSQ) 95 7.2.2 Coefficients de discrimination 96 Analyses nationales 97 7.3.1 Interaction item-pays 101 Calibration internationale 105 7.4.1 Ciblage des tests 106 7.4.2 Modèles de calibration et fiabilité 111 7.4.3 Corrélations entre disciplines et sous-domaines 112 Estimations des scores des élèves 115 7.5.1 Construction des variables de conditionnement 115

8 8. ÉLABORATION DES ÉCHELLES DE COMPÉTENCES DES ÉLÈVES 117 Méthodologie adoptée 119 Niveaux de compétence et points de césure 123 Description des échelles et des niveaux de compétences 125 8.3.1 Compréhension de l’écrit 125 8.3.2 Mathématiques 127

9 9. VARIABLES DÉRIVÉES DES QUESTIONNAIRES CONTEXTUELS 129 Procédure de création des indices contextuels 132 9.1.1 Recodage des données brutes 133 9.1.2 Cohérence interne des indices 133 9.1.3 Analyse psychométrique des paramètres d’item des indices par pays 134 9.1.4 Synthèse des analyses nationales 137 9.1.5 Estimation internationale des paramètres d’item 139 9.1.6 Estimation des scores 140

PASEC2014 – RAPPORT TECHNIQUE ix

10 10. CALCUL DE L’ERREUR TYPE 143 Sources d’erreur : Erreur d’échantillonnage et erreur de mesure 145

10.1.1 Erreur d’échantillonnage 145 10.1.2 Erreur de mesure 145 10.1.3 Erreur totale 147 Nature des échantillons et calcul de l’erreur type d’une différence 147

10.2.1 Échantillons indépendants 147 10.2.2 Échantillons dépendants 147 Quelques exemples de calcul de statistiques 149

Bibliographie 151

1 ANNEXES 153 Liste des annexes 155 Liste des tableaux en annexe 155

Liste des publications PASEC 177

4

5

6

7

8

9

10

x CONFEMEN - PASEC

Liste des tableaux Tableau 1.1 : Caractéristiques des textes narratifs utilisés dans le test de lecture de fin de scolarité 11

Tableau 1.2 : Caractéristiques des textes informatifs et des documents utilisés dans le test de lecture de fin de scolarité 12

Tableau 1.3 : Descriptif des tâches à réaliser pour le processus « décoder et reconnaître une information » du test de lecture

de fin de scolarité 13

Tableau 1.4 : Poids et nombre d’items, selon les supports de lecture, des processus de compréhension de texte évalués par le

test PASEC2014 de lecture de fin de scolarité 14

Tableau 1.5 : Descriptif des tâches à réaliser pour le processus « extraire une information » du test de lecture de fin de

scolarité 14

Tableau 1.6 : Descriptif des tâches à réaliser pour le processus « réaliser des inférences logiques » du test de lecture de fin de

scolarité 15

Tableau 1.7 : Descriptif des tâches à réaliser pour le processus « interpréter et combiner des informations » du test de lecture

de fin de scolarité 15

Tableau 1.8 : Poids et nombres d’items des processus évalués dans le test PASEC2014 de mathématiques de fin de scolarité

primaire 18

Tableau 1.9 : Répartition des blocs d’items dans les livrets 20

Tableau 1.10 : Répartition des items de lecture dans les livrets en fonction du processus évalué 21

Tableau 1.11 : Répartition des items de mathématiques dans les livrets en fonction du processus évalué 21

Tableau 1.12 : Répartition des items de mathématiques dans les livrets en fonction du sous-domaine évalué 21

Tableau 2.1 : Variables ou indices associés aux niveaux d’études et aux thématiques de recherche 31

Tableau 3.1 : Variables de stratification utilisées pour chaque pays 43

Tableau 4.1 : Programme de la collecte des données dans les écoles 57

Tableau 4.2 : Exemple de constitution des 10 lots 62

Tableau 6.1 Taux de participation non pondérés et pondérés des écoles 85

Tableau 6.2 : Taux de participation non pondéré et pondéré des élèves 86

Tableau 7.1 : Intervalles de la corrélation bisériale de point 96

Tableau 7.2 : Items supprimés au niveau international 104

Tableau 7.3 : Design des livrets du test de 6e année, collecte définitive de l’évaluation PASEC2014 105

Tableau 7.4 : Effet livret estimé – Fin de scolarité 106

Tableau 7.5 : Indices de fiabilité des tests de 2e année 112

Tableau 7.6 : Indices de fiabilité des tests de 6e année 112

Tableau 7.7 : Corrélation entre les mathématiques globales et la lecture globale – Début de scolarité 113

Tableau 7.8 : Corrélations entre la lecture globale et les sous-domaines de mathématiques numération et opération

(MATH_NO) et mesure et espace (MATH_VI) – Début de scolarité 113

Tableau 7.9 : Corrélations entre les mathématiques globales et les sous-domaines de lecture compréhension de l’oral

(LECT_OC), décodage (LECT_DE) et compréhension de l’écrit (LECT_RC) – Début de scolarité 113

Tableau 7.10 : Corrélation entre les mathématiques globales et la lecture globale– Fin de scolarité 113

Tableau 7.11 : Corrélations entre la lecture globale et les sous-domaines de mathématiques numération (MATH_NU) et

géométrie/espace et mesure (MATH_SU) – Fin de scolarité 113

Tableau 7.12 : Corrélations entre la lecture globale et les sous-domaines de mathématiques connaître (MATH_KN), appliquer

(MATH_AP) et raisonner (MATH_RE) – Fin de scolarité 114

Tableau 7.13 : Corrélations entre les mathématiques globales et les sous-domaines de lecture décoder (LECT_DE), extraire et

utiliser de l’information (LECT_GI) et accéder à des textes littéraires (LECT_AT) – Fin de scolarité 114

Tableau 7.14 : Corrélations entre les mathématiques globales et les sous-domaines de lecture extraire des informations

explicites (LECT_EI), réaliser des inférences logiques (LECT_PI) et interpréter et combiner des informations (LECT_II) – Fin

de scolarité 114

Tableau 8.1 : Caractéristiques des niveaux de compétence des échelles PASEC 123

Tableau 8.2 : Points de césure des niveaux de compétence en langue – Début de scolarité 123

Tableau 8.3 : Points de césure des niveaux de compétence en mathématiques – Début de scolarité 124

Tableau 8.4 : Points de césure des niveaux de compétence en lecture – Fin de scolarité 124

Tableau 8.5 : Points de césure des niveaux de compétence en mathématiques – Fin de scolarité 124

Tableau 8.6 : Description de l’échelle de compétences PASEC2014 en langue – Début de scolarité 125

Tableau 8.7 : Description de l’échelle de compétences PASEC2014 en lecture – Fin de scolarité 126

Tableau 8.8 : Description de l’échelle de compétences PASEC2014 en mathématiques – Début de scolarité 127

Tableau 8.9 : Description de l’échelle de compétences PASEC2014 en mathématiques – Fin de scolarité 128

Tableau 9.1 : Alphas de Cronbach des indices par pays 134

Tableau 9.2 : Liste des items présentant une faible discrimination pour au moins la moitié des pays 136

Tableau 9.3 : Nombre d’items présentant un fonctionnement différentiel (item by country interaction) pour chaque indice et

par pays 137

PASEC2014 – RAPPORT TECHNIQUE xi

Tableau 9.4 : Indices au niveau élèves 141

Tableau 9.5 : Indices au niveau maîtres/classes 141

Tableau 9.6 : Indices au niveau directeurs/écoles 142

Liste des figures Figure 2.1 : Champs contextuels abordés dans l’évaluation PASEC2014 29

Figure 7.1 : Exemple de statistiques d’item 97

Figure 7.2 : Exemple de statistiques d’item fournies dans une analyse nationale d’items défectueux 103

Figure 7.3 : Résumé des items défectueux 103

Figure 7.4 : Distributions des niveaux de difficulté des items et des scores des élèves en mathématiques – Début de scolarité

107

Figure 7.5 : Distributions des niveaux de difficulté des items et des scores des élèves en langue – Début de scolarité 108

Figure 7.6 : Distributions des niveaux de difficulté des items et des scores des élèves en mathématiques – Fin de scolarité 109

Figure 7.7 : Distributions des niveaux de difficulté des items et des scores des élèves en lecture – Fin de scolarité 110

Figure 8.1 : Probabilité de réussite et longueur d’un niveau de compétence 119

Figure 8.2 : Deux approches pour définir ce que signifie pour un élève d’être situé à un niveau de compétence donné 121

Figure 8.3 : Deux procédures d’ajustement pour modifier la response probability 122

Liste des encadrés Encadré 1.1 : Sous-domaines évalués par le test PASEC2014 de langue – Début de scolarité 6

Encadré 1.2 : Sous-domaines évalués par le test PASEC2014 de mathématiques - – Début de scolarité 7

Encadré 1.3 : Sous-domaines évalués par le test PASEC2014 de lecture – Fin de scolarité 9

Encadré 1.4 : Sous-domaines évalués par le test PASEC2014 de mathématiques – Fin de scolarité 16

Encadré 2.1 : Guide du lecteur pour interpréter les résultats et utiliser les données des questionnaires PASEC 25

Encadré 3.1 : Illustration du tirage proportionnel à la taille de 4 écoles dans une strate de 10 écoles et de 4 000 élèves 46

Encadré 9.1 : Exemple de code Stata pour le recodage et le calcul des alphas de Cronbach 133

Encadré 9.2 : Exemple de code ConQuest pour l’estimation des caractéristiques psychométriques (discrimination et

ajustement) des items 135

Encadré 9.3 : Code ConQuest d’estimation internationale des caractéristiques psychométriques (discrimination et ajustement)

des items 140

Encadré 9.4 : Exemple de code ConQuest pour l’estimation des scores WLE des élèves pour l’indice socioéconomique 141

Liste des graphiques Graphique 7.1 : Courbes caractéristiques d’un item dichotomique 91

Graphique 7.2 : Courbes caractéristiques pour le modèle à crédit partiel 93

Graphique 7.3 : Courbe caractéristique de l’item 99

Graphique 7.4 : Courbe attendue des scores à l’item selon la localisation de l’école 100

Graphique 7.5 : Courbe attendue des scores à l’item selon le genre de l’élève 100

Graphique 7.6 : Courbe attendue des scores à l’item selon le type d’école 101

Graphique 7.7 : Interaction item-pays 102

Graphique 9.1 : Fonctionnement différentiel de l’item QE6_22D à travers les pays 138

Graphique 9.2 : Fonctionnement différentiel de l’item QE6_22C à travers les pays 138

1 1. TESTS COGNITIFS

1

CHAPITRE 1

2 CONFEMEN - PASEC

TESTS COGNITIFS

PASEC2014 – RAPPORT TECHNIQUE 3

Les épreuves du PASEC s’intéressent aux savoirs et savoir-faire indispensables aux élèves pour

poursuivre avec succès leurs apprentissages dans l’enseignement primaire et secondaire ou

professionnel, mais aussi aux capacités des élèves à mobiliser leurs compétences en lecture et en

mathématiques pour comprendre, apprendre et s’intégrer au quotidien.

Pour le premier cycle de son évaluation internationale PASEC2014, le PASEC propose un cadre

méthodologique en phase avec les standards scientifiques internationaux en matière d’évaluation

en langue-lecture et en mathématiques et adapté aux contextes et enjeux spécifiques, en début

et en fin de scolarité primaire, des systèmes éducatifs des pays PASEC de la CONFEMEN.

Les cadres de référence des tests PASEC de début et de fin de scolarité primaire visent à

documenter les orientations méthodologiques des épreuves PASEC de langue-lecture et de

mathématiques. Ce chapitre présente de manière synthétique ces documents.

Le lecteur est invité à consulter ces documents sur le site www.pasec.confemen.org pour plus

d’information sur les fondements, les contenus et les spécificités des différents tests.

Fondements des tests PASEC2014 de début et de fin de

scolarité primaire

Les tests PASEC sont construits sur la base :

i. de recherches scientifiques dégageant les différents stades d’apprentissage de la lecture

et des mathématiques ;

ii. des niveaux de compétence en lecture et en mathématiques des élèves, du contexte des

pays évalués et des principaux domaines d’enseignement en vigueur dans les

programmes scolaires des pays ;

iii. des standards de mesure1 en lecture et en mathématiques couramment utilisés au niveau

international.

Au regard de ces spécificités, les tests PASEC n’évaluent pas spécifiquement le degré de maîtrise

des curricula nationaux par les élèves mais contribuent à évaluer les capacités des élèves à

atteindre des objectifs plus généraux (les « compétences clés ») basés sur un référentiel en

langue-lecture et en mathématiques commun, universel et adapté aux enjeux de l’école et des

sociétés modernes.

Dès lors, l’évaluation PASEC doit être considérée comme une mesure externe et complémentaire

aux évaluations nationales qui fixent leurs propres standards en fonction des objectifs spécifiques

des systèmes éducatifs nationaux.

1 Les standards internationaux de mesure font référence aux procédures de construction, d’administration et d’analyse

des tests.

1

CHAPITRE 1

4 CONFEMEN - PASEC

Développement des tests PASEC2014

Les items des tests ont été conçus en français2 par le centre international du PASEC et ont été

validés par son Comité scientifique. Un comité d’experts du Centre de recherche en éducation de

Nantes (EA 2661) de l’Université de Nantes et du service d’Analyse des Systèmes et des Pratiques

d’enseignement (ASPE) de l’Université de Liège, de concert avec les équipes nationales PASEC des

10 pays participant à la première évaluation internationale PASEC2014, ont contribué à la mise en

place de ces instruments de mesure. Le développement des tests a suivi un processus scientifique

conforme aux standards des évaluations internationales.

La traduction et l’adaptation3 des tests dans d’autres langues que le français4 ont été réalisées par

un groupe de traducteurs experts5 dans l’adaptation linguistique d’items dans des évaluations

internationales. Le processus d’adaptation implique une traduction puis une vérification

indépendante.

Les procédures de passation et le fonctionnement des items ont été expérimentés en avril 2013

dans tous les pays participants auprès d’un échantillon réduit de 20 écoles. Cette phase a permis

d’apprécier le fonctionnement global des tests et le fonctionnement individuel des items aux

niveaux national et international. Les items défaillants ont été ajustés ou supprimés en fonction

de leurs caractéristiques psychométriques (voir le chapitre 7 pour plus d’information sur ces

aspects).

Les tests définitifs ont été validés en décembre 2013 puis administrés dans tous les pays en avril

et mai 2014 dans un échantillon d’écoles. Comme lors de la phase d’expérimentation, les items

ont été analysés pour apprécier le fonctionnement global des tests et le fonctionnement

individuel des items aux niveaux national et international. Les items retenus après les analyses

psychométriques ont été intégrés aux échelles de scores internationales PASEC2014 (voir le

chapitre 7 pour plus d’information sur ces aspects).

Au terme de l’évaluation PASEC2014, un échantillon d’items a été rendu public dans le rapport

international pour illustrer les résultats des élèves. Un échantillon d’items de l’évaluation

PASEC2014 est préservé et permettra d’établir une comparaison dans le temps des performances

des élèves lors des prochains cycles d’évaluation du PASEC. Un nouveau lot d’items sera

développé pour la seconde vague de l’évaluation internationale pour combler les items libérés.

2 Langue source de conception des items. 3 Les tests ne sont pas traduits directement mais adaptés, de telle sorte que la nature de la question s’approche

autant que possible de celle de la version source en français. 4 Pour le PASEC2014, le test a été adapté en anglais pour le sous-système anglophone camerounais. 5 La société CAPSTAN a été mandatée pour réaliser l’adaptation des tests PASEC2014 en anglais.

TESTS COGNITIFS


Partie I : Tests PASEC2014 de début de scolarité

primaire

Les tests PASEC2014 de début de scolarité primaire sont administrés individuellement aux élèves

de 2e année du primaire pour mesurer les compétences acquises au cours des premiers

apprentissages de la langue d’enseignement et des mathématiques et établir au plus tôt un

premier bilan de leurs compétences fondamentales. Le test vise également à identifier les

principales difficultés d’apprentissage avant qu’elles ne se consolident et entraînent des échecs

et des abandons scolaires.

La durée globale des tests est d’environ 30 minutes par discipline.

Le lecteur est invité à consulter le cadre de référence complet du test PASEC2014 de début de

scolarité primaire sur le site www.pasec.confemen.org pour plus d’information sur les contenus

évalués.

1.1.1 Test de langue de début de scolarité primaire

L’objectif prioritaire de lecture fixé par les programmes éducatifs des pays évalués par le

PASEC2014 est l’acquisition des compétences nécessaires pour lire de façon courante et

autonome à la fin du cycle primaire. Cette finalité suppose que les élèves atteignent le plus tôt

possible un premier niveau de déchiffrage de l’écrit (pour automatiser la lecture de mots familiers)

et qu’ils acquièrent des niveaux suffisants de compréhension orale et de vocabulaire dans la

langue d’enseignement (pour développer leurs capacités à comprendre des phrases et des

textes).

En début de scolarité primaire, il est donc attendu que tous les élèves soient capables de lire et

de comprendre un message court, simple et familier.

Le test PASEC2014 évalue trois sous-domaines clés : 1) la compréhension de l’oral ; 2) la

familiarisation avec l’écrit et la lecture-décodage ; 3) la compréhension de l’écrit (voir

l’encadré 1.1). Chacun de ces sous-domaines est évalué successivement, par phases, grâce à une

série d’exercices. Chaque exercice comprend un exemple et une suite de questions.

1

CHAPITRE 1

6 CONFEMEN - PASEC

Encadré 1.1 : Sous-domaines évalués par le test PASEC2014 de langue – Début de scolarité

Sections

du test

Sous-domaines

évalués

Exercices et

compétences évaluées

Partie 1

17 items

32 % du

test

Compréhension de l’oral :

La compréhension de l’oral est évaluée à travers

des messages oraux associant des mots et

phrases isolés et des textes. Le développement

des compétences dans ce domaine permet aux

élèves d’étendre leur vocabulaire pour

automatiser le décodage en lecture à travers les

correspondances établies entre l’oral et l’écrit.

Comprendre du

vocabulaire (5 items)

Reconnaître du vocabulaire

(4 items)

Reconnaître des familles de

mots (5 items)

Comprendre un texte

(3 items)

Partie 2

16 items

30 % du

test

Familiarisation avec l’écrit et lecture-décodage :

La familiarisation avec l’écrit est évaluée à

travers des situations de reconnaissance des

caractéristiques de l’écrit. La lecture-décodage

est évaluée à travers des situations

d’identification graphophonologique (de lettres,

syllabes et mots) et d’activités aisées de lecture

de lettres et de mots. Le développement des

compétences dans ce domaine permet aux

élèves d’automatiser leur lecture pour

déterminer le sens des mots et des phrases, et

ainsi étendre leur vocabulaire.

Reconnaissance de l’écrit

(4 items)

Lire des lettres (1 item)

Reconnaître des syllabes

(6 items)

Lire des mots (1 item)

Reconnaître des mots

inventés (4 items)

Partie 3

20 items

38 % du

test

Compréhension de l’écrit :

La compréhension de l’écrit est évaluée à travers

des situations de lecture de mots et phrases

isolés et de textes desquels les élèves sont

amenés à retrouver, à combiner et à interpréter

des informations. Le développement des

compétences dans ce domaine permet aux

élèves de lire de façon autonome dans des

situations quotidiennes variées pour développer

leurs savoirs et participer à la vie en société.

Décoder le sens des mots

(4 items)

Lire et comprendre des

phrases (8 items)

Comprendre un texte – 1

(4 items)

Comprendre un texte – 2

(4 items)

TESTS COGNITIFS


1.1.2 Test de mathématiques de début de scolarité

primaire

L’objectif prioritaire de mathématiques fixé par les programmes éducatifs des pays évalués par le

PASEC2014 est d’accompagner les élèves dans le développement de leurs connaissances des

nombres, du calcul, de la résolution de problèmes, de la géométrie et de la mesure.

Le test PASEC2014 de mathématiques de début de scolarité mesure les compétences de base des

élèves dans deux sous-domaines clés : 1) l’arithmétique ; 2) la géométrie, l’espace et la mesure

(voir l’encadré 1.2). Comme pour le test de langue, chacun de ces sous-domaines est évalué

successivement, par phases, grâce à une série d’exercices, et chaque exercice comprend un

exemple et une suite de questions.

Encadré 1.2 : Sous-domaines évalués par le test PASEC2014 de mathématiques - – Début de

scolarité

Sections

du test

Sous-domaines

évalués

Exercices et

compétences évaluées

Partie 1

26 items

65 % du

test

Arithmétique :

L’arithmétique est évaluée à travers des

situations de comptage, de dénombrement et

de manipulation de quantités d’objets,

d’opérations, de suites numériques et de

résolution de problèmes. Le développement des

compétences dans ce sous-domaine permet aux

élèves de passer d’une connaissance intuitive à

une connaissance symbolique des nombres.

Compter jusqu’à cent

(1 item)

Reconnaître des chiffres et

des nombres (1 item)

Dénombrer des objets

(1 item)

Discriminer des quantités

d’objets (4 items)

Ordonner des nombres – 1

(3 items)

Ordonner des

nombres – 2 (5 items)

Compléter une suite de

nombres (5 items)

Additionner et soustraire

(6 items)

Résoudre des problèmes

(3 items)

Partie 2

14 items

35 % du

test

Géométrie, espace et mesure :

Ce sous-domaine est évalué à travers des

situations de reconnaissance de formes

géométriques et autour de notions de grandeur

et de repérage dans l’espace. Le développement

des compétences dans ce sous-domaine permet

aux élèves de passer d’une connaissance

intuitive à une connaissance symbolique des

Reconnaître des formes

géométriques (4 items)

Se repérer dans l’espace

(4 items)

Apprécier des

grandeurs – 1 (3 items)

Apprécier des

grandeurs – 2 (3 items)

1

CHAPITRE 1

8 CONFEMEN - PASEC

premières notions de géométrie, d’espace et de

mesure.

1.1.3 Protocole et spécificités des tests PASEC2014 de

début de scolarité primaire

Administration des tests

Les tests sont administrés individuellement aux élèves par un administrateur. La passation des

tests s’effectue sur deux matinées et touche au maximum 10 élèves d’une même classe pour

chacune des écoles sélectionnées dans le plan d’échantillonnage.

Pour chaque école, l’ordre de passation des tests selon les disciplines (langue ou mathématiques)

est défini aléatoirement par le centre international du PASEC en fonction du plan

d’échantillonnage et permet une répartition équilibrée entre les écoles.

Afin d’atténuer l’effet de la fatigue chez les élèves d’une journée de test à l’autre, l’ordre de

passation des élèves est inversé entre la passation du test de langue et celui de mathématiques.

TESTS COGNITIFS


Partie II : Tests PASEC2014 de fin de scolarité

primaire

Les tests PASEC2014 de fin de scolarité sont administrés aux élèves de 6e année du primaire pour

évaluer leurs niveaux de connaissance et de compétence en lecture et en mathématiques. À ce

stade, ces compétences doivent leur permettre de comprendre, d’apprendre et de s’adapter à

des situations quotidiennes courantes. La maîtrise des dimensions considérées sera par ailleurs

déterminante pour poursuivre une scolarité postprimaire dans de bonnes conditions.

Les tests sont composés de questions à choix multiples (QCM) et leur durée globale est de deux

heures maximum par discipline.

1.2.1 Test de lecture de fin de scolarité primaire

En fin de cycle, le test PASEC2014 mesure principalement les compétences de compréhension de

textes informatifs et de documents. La capacité d’extraire des informations de textes littéraires est

aussi évaluée, dans une moindre mesure, et les activités de décodage de mots et de phrases

isolés occupent à ce stade une place mineure (voir l’encadré 1.3). Le test ne mesure pas les

compétences en production écrite et en compréhension ou expression orale ni les outils

(orthographe, grammaire, conjugaison, etc.) propres à chaque langue.

Le test est composé de 92 items.

Encadré 1.3 : Sous-domaines évalués par le test PASEC2014 de lecture – Fin de scolarité

Composition

du test Sous-domaines évalués

Supports de

lecture

23 items

25 % du test

Décodage de mots et de phrases isolés :

Le décodage est évalué à travers des situations de lecture

portant sur la reconnaissance graphophonologique de mots

et le déchiffrage du sens de mots et de phrases isolés. Le

développement des compétences dans ce sous-domaine

permet aux élèves d’automatiser leur lecture pour accéder

au sens des mots et des phrases et pour étendre leur

vocabulaire.

Images, mots et

phrases isolés

69 items

75 % du test

Compréhension de texte :

La compréhension de texte est évaluée à travers des

situations de lecture de textes littéraires et informatifs et de

documents, desquels les élèves sont amenés à extraire, à

combiner et à interpréter une ou plusieurs informations et à

réaliser des inférences simples. Le développement des

compétences dans ce domaine permet aux élèves de lire de

façon autonome dans des situations quotidiennes variées

pour développer leurs savoirs et participer à la vie en société.

Textes

informatifs et

documents

(71 %)

Textes littéraires

(29 %)

1

CHAPITRE 1

10 CONFEMEN - PASEC

1.2.1.1 Présentation des sous-domaines de contenus évalués dans

le test PASEC2014 de lecture de fin de scolarité primaire

Décodage de mots et de phrases isolés

Dans ce sous-domaine, le test PASEC2014 évalue les élèves sur la lecture de mots et de phrases

isolés, familiers et issus du champ lexical de base. Après la lecture des mots et des phrases, les

élèves sont amenés à répondre à une question à choix multiples.

L’automatisation des tâches de décodage permet aux lecteurs de concentrer leurs efforts sur la

compréhension.

Compréhension de textes littéraires et informatifs et de documents

En compréhension de texte, le test PASEC2014 permet d’apprécier le niveau de compétence des

élèves pour comprendre : (i) des textes littéraires ; (ii) des textes informatifs et des documents.

Le test PASEC2014 permet d’apprécier le niveau de compétence des élèves à mobiliser les activités

cognitives suivantes : extraire une information explicite, réaliser des inférences simples et

interpréter et combiner des informations. Les processus cognitifs évalués pour chaque type de

support sont présentés ci-dessous.

La combinaison des différentes caractéristiques des textes avec le format des questions et les

processus cognitifs à mobiliser conditionne le niveau de difficulté de la tâche. Après la lecture

d’un texte, les élèves sont amenés à répondre à une série de questions à choix multiples à quatre

possibilités 6.

- Comprendre des textes littéraires

Dans cette situation, les lecteurs sont confrontés à des événements, à des faits, à des personnages

et à des actions situés dans des univers réels ou imaginaires. Les textes proposés ici (courts,

moyens et longs) sont essentiellement des textes narratifs qui invitent les lecteurs à explorer de

nouveaux univers et à s’appuyer sur des connaissances et expériences antérieures pour apprécier

leur lecture, se divertir et donner du sens à ces textes. Cette dimension de la lecture prend son

sens à l’école ou hors du champ scolaire, dans des contextes où les élèves lisent des histoires. La

mise en parallèle d'univers réels et fictifs amène les jeunes lecteurs à distinguer les frontières et

les nuances entre les deux univers et ainsi à mieux comprendre les réalités du monde concret qui

les entoure.

Les textes sélectionnés mettent en scène un ou plusieurs personnages, qui peuvent dialoguer et

qui sont impliqués dans des actions qui se succèdent chronologiquement ou qui, à un niveau

plus complexe, sont dissociées dans le temps.

Pour ce type de support, les messages écrits sont des textes littéraires de 50 lignes maximum. Les

caractéristiques (longueur, organisation syntaxique, niveau de vocabulaire et temps des verbes)

des textes qui sont proposés se résument de la manière suivante :

6 La production de l’écrit n’a pas été retenue dans le cadre de l’évaluation PASEC2014 pour des raisons de faisabilité

technique ; les items comportent exclusivement des questions à choix multiples.

TESTS COGNITIFS


Tableau 1.1 : Caractéristiques des textes narratifs utilisés dans le test de lecture de fin de scolarité

Type de support Caractéristiques des textes

Textes narratifs

(extraits de roman, contes…)

Longueur : texte court de 50 mots, texte moyen de

100 à 200 mots, texte long de 200 à 300 mots.

Syntaxe : plusieurs informations par phrase,

connecteurs et ponctuations.

Vocabulaire : courant et soutenu, notions nouvelles

pour les élèves.

Temps des verbes : présent, futur, passé composé,

passé simple et imparfait.

- Comprendre des textes informatifs et des documents

Dans cette situation de lecture, les élèves sont confrontés à des informations concrètes tirées de

la vie quotidienne (vie scolaire et vie sociale) et comprises dans des textes de différentes

longueurs qui peuvent être très structurés, tel un article scientifique, ou plus désorganisés, tel un

plan d’orientation, ou encore présentant à la fois les deux styles, telle la notice d’utilisation d’un

objet.

Par exemple, dans la vie courante, un élève en fin de scolarité primaire (âgé d’environ 12 ans) est

susceptible d’être confronté à une annonce publicitaire vantant l’offre d’un opérateur

téléphonique. Dans cette situation, l’enfant mobilisera ses compétences de lecteur pour lire et

comprendre les informations contenues dans le message ainsi que ses connaissances extérieures

pour apprécier le rapport coût-avantage de l’offre proposée, et éventuellement pourra demander

plus de renseignements sur l’offre, en parler à un ami qui souhaite téléphoner ou encore en

bénéficier à titre individuel. Cet exemple est donné pour montrer que chaque individu est

constamment confronté à des messages écrits qu’il doit décrypter pour prendre une décision (lire

pour agir) ou étendre ses connaissances (lire pour apprendre).

De même, à l’école, en situation d’apprentissage, l’élève est constamment amené à lire, quelle

que soit la matière enseignée, pour enrichir son vocabulaire ou bien résoudre un problème

mathématique, par exemple.

Pour ce type de support, les messages écrits sont des textes informatifs ou des documents de

50 lignes maximum. Les caractéristiques des textes (longueur, organisation syntaxique, niveau de

vocabulaire et temps des verbes) varient en fonction de leur nature.

1

CHAPITRE 1

12 CONFEMEN - PASEC

Tableau 1.2 : Caractéristiques des textes informatifs et des documents utilisés dans le test de

lecture de fin de scolarité

Types de support Caractéristiques des textes

Textes informatifs (manuels scolaires,

dictionnaires, encyclopédies, articles

scientifiques, notices d’utilisation…)

Longueur : texte court de 50 mots, texte moyen de

100 à 200 mots, texte long de 200 à 300 mots.



Vocabulaire : courant et scientifique.

Temps des verbes : présent, passé composé et

imparfait.

Documents (schémas explicatifs,

affiches publicitaires, tableaux de

données…)

Longueur : texte discontinu court de moins de

100 mots.



Vocabulaire : courant et scientifique.

Temps des verbes : présent, passé composé et

imparfait.

1.2.1.2 Présentation des processus cognitifs évalués en décodage

dans le test PASEC2014 de lecture de fin de scolarité

primaire

L’évaluation du niveau de décodage permet d’apprécier la part des élèves qui, en fin de scolarité

primaire, éprouvent de la difficulté avec des tâches de lecture de niveau élémentaire. Ces

apprentis lecteurs, parce qu’ils concentrent leur attention sur l’identification de mots isolés,

accèdent difficilement à la compréhension du texte.

La formulation de certaines tâches de décodage est inspirée par le test « ECIM-E » de Khomsi

(1994) et permet d’identifier la nature des difficultés des élèves en décodage des mots :

sémantique, orthographique ou graphémique.

Une autre partie des items vise à mesurer les capacités de décodage et évalue les lecteurs sur

leur compréhension de mots de la vie quotidienne à l’aide d’associations mot/image et de la

catégorisation de vocabulaire familier par champ lexical.

TESTS COGNITIFS


Tableau 1.3 : Descriptif des tâches à réaliser pour le processus « décoder et reconnaître une

information » du test de lecture de fin de scolarité

Processus cognitif Tâches à réaliser

Décoder et reconnaître une

information

Discriminer un pseudo-homophone

Discriminer un logatome

Discriminer un voisin orthographique

Associer un mot ou une phrase avec une image

Trouver le sens d’un mot ou d’une phrase

Catégoriser du vocabulaire familier

L’information à retrouver est explicite et concentrée dans une série de mots isolés ou dans une

phrase courte et simple (1 à 10 mots).

Le test comprend 23 items à choix multiples à quatre possibilités pour ce sous-domaine.

1.2.1.3 Présentation des processus cognitifs évalués en

compréhension de texte dans le test PASEC2014 de lecture

de fin de scolarité primaire

Une fois les compétences de décodage maîtrisées, l’élève peut mobiliser ses capacités pour passer

de la compréhension de groupes de mots isolés à la compréhension de plusieurs informations,

de phrases et de textes pour identifier des informations et construire du sens.

Par exemple, dans la phrase « Le garçon écoute son maître avec ses camarades », le lecteur peut

dégager plusieurs idées : l’individu est un jeune garçon, il est en classe avec ses camarades, ils

écoutent le maître, le maître parle… Ainsi, pour tout lecteur, lire une phrase ou un texte passe par

la décomposition de plusieurs idées explicites et implicites qu’il faut associer, interpréter et

analyser selon ses connaissances générales et en fonction du contexte de la situation de lecture

pour en dégager une ou plusieurs informations.

Le lecteur accède au sens d’un message écrit en mobilisant plusieurs habiletés. Il peut, par ordre

croissant de niveau de compétence, extraire une information explicite, réaliser des inférences

simples, interpréter et combiner des informations et, enfin, analyser et évaluer des informations,

donner son opinion et argumenter sur un texte7.

Le lecteur s’appuie également sur ses propres connaissances et expériences pour appréhender la

situation proposée. Par exemple, un lecteur qui connaît l’histoire des dinosaures sera plus à l’aise

pour lire et comprendre le vocabulaire d’un texte sur les tyrannosaures qu’un lecteur qui n’a

jamais entendu parler de ce sujet.

7 Le processus qui consiste à analyser et à évaluer des informations (donner son opinion, argumenter, proposer une

suite à une histoire…) n’est pas évalué par les tests PASEC2014 car les questions à choix multiples mesurant ces habiletés

ont dysfonctionné lors de la phase d’évaluation des items tenue dans les 10 pays en 2013. En effet, les analyses menées

révèlent que les élèves les plus performants aux tests choisissaient au hasard les réponses et n’étaient pas en mesure

d’apprécier les nuances d’expression entre les différentes modalités de réponse proposées dans les QCM. Ce processus

est donc délicat à mesurer sans avoir recours à la production de l’écrit.

1

CHAPITRE 1

14 CONFEMEN - PASEC

Dans le cadre du test PASEC, le niveau de difficulté d’une tâche dépend à la fois des

caractéristiques du support écrit, du format de la question et des processus à mobiliser pour

répondre à la question.

Le test PASEC permet de mesurer les habiletés des élèves à utiliser les processus suivants lors de

la lecture de documents, de textes informatifs et de textes littéraires variés.

Tableau 1.4 : Poids et nombre d’items, selon les supports de lecture, des processus de

compréhension de texte évalués par le test PASEC2014 de lecture de fin de scolarité

Tous les items sont des questions à choix multiples à quatre possibilités.

Les caractéristiques et spécificités de chaque processus cognitif évalué sont décrites ci-dessous.

Extraire des informations explicites

Les lecteurs extraient des informations pour confirmer ou rejeter des hypothèses qui leur

permettent de comprendre ce qu’ils lisent. Dans le cadre du test de compréhension de l’écrit, les

élèves sont amenés à extraire des informations concrètes d’un message pour répondre à la

question posée. L’information à retrouver est explicite et contenue dans des textes moyens et

longs (texte moyen de 100 à 200 mots, texte long de 200 à 300 mots) ou dans des documents.

Tableau 1.5 : Descriptif des tâches à réaliser pour le processus « extraire une information » du test

de lecture de fin de scolarité


Extraire des informations explicites

Identifier les caractéristiques principales d’une

histoire (thème, personnage, lieu…) à partir

d’une information explicite

Extraire une information

Associer plusieurs idées concrètes

Poids des processus évalués

par le test PASEC2014

Poids des items et

des supports de lecture en

compréhension de texte

Total

Textes littéraires

Textes informatifs

et documents

Extraire des informations

explicites

Réaliser des inférences

simples

Interpréter et combiner des

informations

12 items

5 items

3 items

24 items

10 items

15 items

52 % - 36 items

21 % - 15 items

27 % - 18 items

Total 29 %

20 items

71 %

49 items

100 %

69 items

TESTS COGNITIFS


Réaliser des inférences logiques

Au fur et à mesure qu’un élève construit du sens par rapport à un texte, il est amené à nuancer

davantage son analyse pour réaliser des inférences directes sur des informations explicites. À ce

niveau, le lecteur perçoit des éléments qui lui permettent de construire du sens par déduction et

raisonnement logique. Il met en relation plusieurs phrases et idées pour inférer localement le sens

d’une phrase ou, à un niveau plus poussé, l’idée générale d’un paragraphe dans un texte moyen

et long (texte moyen de 100 à 200 mots, texte long de 200 à 300 mots).

Tableau 1.6 : Descriptif des tâches à réaliser pour le processus « réaliser des inférences logiques »

du test de lecture de fin de scolarité


Réaliser des inférences logiques

Identifier la référence d’un pronom (inférence

anaphorique)

Chercher les causes et les conséquences d’un

événement (inférence causale, déductive)

Repérer l’idée générale d’un passage (inférence

logique)

Interpréter et combiner des informations

Lorsqu’un élève est à l’aise pour associer des informations explicites à l’échelle d’une phrase ou

d’un paragraphe, il peut être en mesure d’interpréter des idées à un niveau plus global en

associant plusieurs informations implicites tout en s’appuyant sur ses connaissances et

expériences antérieures. À ce niveau, l’inférence que doit réaliser le lecteur est plus complexe et

essentiellement fondée sur la mise en relation de plusieurs éléments situés dans plusieurs parties

d’un texte moyen et long (texte moyen de 100 à 200 mots, texte long de 200 à 300 mots).

Tableau 1.7 : Descriptif des tâches à réaliser pour le processus « interpréter et combiner des

informations » du test de lecture de fin de scolarité


Interpréter et combiner

des informations

Interpréter le sens d’une expression impliquant

un vocabulaire soutenu ou d’un passage ou

encore le thème d’un texte (inférence

pragmatique)

Associer et combiner plusieurs informations

situées dans différentes parties d’un texte

Associer et combiner plusieurs informations

tirées d’un texte et ses connaissances générales

sur la situation

1

CHAPITRE 1

16 CONFEMEN - PASEC

1.2.2 Test de mathématiques de fin de scolarité

primaire

Le test PASEC2014 de mathématiques de fin de cycle primaire vise à mesurer les performances

des élèves en arithmétique, en géométrie et en mesure (voir l’encadré 1.4). Le développement

des compétences dans ces sous-domaines permet aux élèves d’intérioriser des concepts

mathématiques pour les mettre en relation et raisonner. L’évaluation des élèves permet de

mesurer le niveau de leur connaissance des principes mathématiques de base et leur capacité à

les appliquer et à raisonner dans des situations diverses et variées ; elle permet aussi d’identifier

les difficultés rencontrées. Les principales activités cognitives mesurées sont de connaître, de

comprendre et d’appliquer des formules ; celle de pouvoir raisonner sur un problème est aussi

évaluée, dans une moindre mesure.

Le test est composé de 81 items qui correspondent tous à des questions à choix multiples à quatre

possibilités.

Encadré 1.4 : Sous-domaines évalués par le test PASEC2014 de mathématiques – Fin de scolarité

1.2.2.1 Présentation des sous-domaines de contenus évalués dans

le test PASEC2014 de mathématiques de fin de scolarité

primaire

Arithmétique

Dans ce domaine, le test mesure la compréhension de la notion de valeur, de la représentation

des nombres et de leur sens et des relations entre les nombres, la connaissance des quatre

Composition

du test Sous-domaines évalués/

38 items

46,9 % du test

Arithmétique :

L’arithmétique est évaluée à travers des situations de reconnaissance,

d’application et de résolution de problèmes autour d’opérations, de nombres

entiers, de nombres décimaux, de fractions, de pourcentages, de suites

numériques et de tableaux de données.

29 items

35,8 % du test

Mesure :

La mesure est évaluée à travers des situations de reconnaissance,

d’application et de résolution de problèmes autour de notions de grandeur :

longueur, masse, capacité, aire et périmètre.

14 items

17,3 % du test

Géométrie et espace :

La géométrie et l’espace sont évalués à travers des situations de

reconnaissance des propriétés des formes géométriques à deux ou trois

dimensions, des relations et des transformations géométriques et des

positions et représentations spatiales.

TESTS COGNITIFS


opérations et la compréhension de certains modèles et énoncés numériques (suites de nombres

et expressions opératoires).

Les items PASEC2014 en arithmétique portent sur :

- les nombres entiers ;

- les fractions ;

- les nombres décimaux ;

- les quatre opérations ;

- les énoncés et modèles numériques.

Mesure

Les items en mesure portent sur :

- les unités de mesure de la longueur, de la masse, de l’aire (de la surface), du volume, des

angles, de la durée et de la température ;

- les formules de calcul des longueurs, des aires, des volumes et des angles pour les figures

suivantes : les triangles, les rectangles, les carrés, les parallélogrammes, les disques et les

solides de forme rectangulaire.

Géométrie et espace

Les items en géométrie et espace du test PASEC2014 de fin de scolarité portent sur :

- les figures géométriques à deux et trois dimensions : carré, rectangle, losange,

parallélogramme, triangle, cercle, parallélépipède rectangle, cylindre, sphère et cube ;

- les relations géométriques et les droites remarquables : parallèles, perpendiculaires,

médiatrice, bissectrice et tangente, les symétries et les théorèmes de géométrie plane ;

- les positions d’objets, les différents systèmes de représentation spatiale et les tableaux de

données et graphiques.

1.2.2.2 Présentation des processus cognitifs évalués dans le test

PASEC2014 de mathématiques de fin de scolarité primaire

Les processus cognitifs auxquels les élèves font le plus appel au cours du cycle primaire en

mathématiques et qui occupent une place majeure dans les curricula sont :

- la connaissance et la compréhension des faits mathématiques ;

- l’application des faits mathématiques ;

- le raisonnement.

L’évaluation PASEC2014 couvre ces dimensions et attribue à chaque processus les poids suivants

dans le test :

1

CHAPITRE 1

18 CONFEMEN - PASEC

Tableau 1.8 : Poids et nombres d’items des processus évalués dans le test PASEC2014 de

mathématiques de fin de scolarité primaire

Processus Pourcentage d’items Nombre d’items

Connaître et comprendre 40,7 % 33

Appliquer 39,5 % 32

Raisonner 19,8 % 16

Connaître et comprendre

Plus un élève a de connaissances en mathématiques et est familier avec les concepts

mathématiques, plus il aura de la facilité à utiliser les mathématiques et à raisonner dans ce

domaine.

La classification des items du test PASEC2014 de fin de scolarité a été faite en considérant

certaines procédures de base, comme le calcul élémentaire, comme des connaissances car elles

font appel à ce stade de scolarisation à un processus routinier et intériorisé qui ne sollicite pas la

mise en relation de plusieurs concepts.

Les processus « connaître » et « comprendre » font appel aux activités cognitives suivantes dans

le test PASEC2014 :

- Se rappeler : se rappeler des définitions, de la terminologie, des propriétés et des règles ;

- Reconnaître : reconnaître les objets mathématiques (formes, nombres, expressions,

quantités, unités de mesure, etc.) et les équivalences mathématiques (opérations

équivalentes, nombres égaux à des fractions, etc.) ;

- Classer/ordonner : classer et ordonner en fonction des grandeurs ou des propriétés

communes ;

- Extraire une information : savoir lire un graphique ou un tableau de données et récupérer

une information explicite ;

- Calculer, convertir, mesurer : effectuer des opérations ou une combinaison d’opérations

posées de façon explicite (« 143 + 178 = … »), convertir des unités à partir d’une demande

explicite, avec ou sans tableau de conversion (« Convertir 35 kilogrammes en grammes »),

mesurer des surfaces, des périmètres, des grandeurs, etc., à l’aide des formules de calcul

et selon des figures bien définies et connues (« Calculer l’aire du disque suivant »).

Appliquer

Le processus « appliquer » fait intervenir les outils mathématiques dans un contexte donné. Dans

le test PASEC2014 de fin de scolarité, ce processus fait appel aux activités cognitives suivantes :

sélectionner, modéliser, calculer, convertir, mesurer : choisir la bonne opération, la formule de

mesure, l’équation ou la figure géométrique pour représenter une situation mathématique

familière, courante et explicite, et calculer, mesurer et convertir tous types de nombres et d’unités

de mesure.

TESTS COGNITIFS


Raisonner

Le processus « raisonner », en mathématiques, implique de mobiliser les cheminements logiques

mis en œuvre dans certaines situations pour systématiser leur usage en fonction des types de

situations rencontrés. Cela inclut un raisonnement intuitif et inductif basé sur des modèles et des

schémas de régularité qui peuvent être utilisés pour aboutir à la résolution de problèmes courants

(familiers ou routiniers) ou peu courants (non familiers). Le raisonnement implique de faire des

déductions logiques fondées sur des hypothèses et des règles spécifiques et de justifier les

résultats obtenus.

Dans le test PASEC2014, le processus « raisonner » fait appel aux activités cognitives suivantes :

- Analyser, inférer, interpréter : retranscrire un problème sous forme mathématique

(opération, formule de mesure, etc.). Par exemple, les élèves devraient être capables de

trouver un modèle ou une règle mathématique pour compléter une suite logique de

nombres ;

- Combiner, synthétiser : combiner et établir des relations entre différentes procédures,

connaissances ou formules mathématiques ;

- Justifier : justifier un résultat obtenu en communiquant les étapes du raisonnement suivi

pour résoudre un problème (par exemple, préciser la formule utilisée et déterminer les

opérations nécessaires pour résoudre un problème) ;

- Résoudre un problème courant : sélectionner la bonne opération et trouver le résultat de

cette opération ou utiliser la bonne formule de mesure dans un problème familier et

courant (savoir calculer, convertir et mesurer dans des problèmes de routine) ;

- Résoudre des problèmes « nouveaux » : trouver le résultat de problèmes peu familiers,

dans des contextes nouveaux ou impliquant plusieurs étapes et capacités, en analysant le

problème et en faisant appel aux bonnes connaissances pour le résoudre, en combinant

plusieurs types de connaissances, en sélectionnant la ou les bonnes opérations et en

calculant dans le bon ordre.

1.2.3 Protocole et spécificités des tests PASEC2014 de fin

de scolarité primaire

Méthode des cahiers tournants

Cette méthode, utilisée par les principaux programmes internationaux d’évaluation des acquis

des élèves, permet de diviser un test en plusieurs blocs d’items afin de faire passer un sous-

ensemble du test, qui compose un livret, à une partie de l’échantillon des élèves. L’utilisation du

modèle de réponse à l’item (IRT, pour Item Response Theory) permet de rapporter, sur une seule

et même échelle et sous certaines contraintes, les performances obtenues avec différents livrets

de contenus comparables. Des items d’ancrage permettent de faire un lien entre tous les livrets,

de placer tous les items du test sur une même échelle et de prédire le score des élèves aux items

qui ne leur ont pas été soumis.

1

CHAPITRE 1

20 CONFEMEN - PASEC

Chaque bloc d’items est conçu pour présenter le même niveau de difficulté et couvrir les mêmes

sous-domaines et processus. Les items y sont répartis de manière à suivre une même progression

du niveau de difficulté. Ainsi, les élèves enquêtés ne sont pas soumis à tous les items mais sont

évalués sur des critères identiques, ce qui neutralise les effets liés à l’apprentissage et à la

fatigabilité.

L’ordre de passation des blocs est organisé de façon à ce que chaque bloc d’items occupe tous

les rangs d’un livret à l’autre, d’où l’appellation « cahiers tournants ».

La flexibilité des modèles IRT permet d’accroître considérablement le nombre d’items, et ainsi de

garantir une meilleure validité de la mesure, sans pour autant allonger la durée de passation des

tests pour un élève donné. En effet, chaque élève ne doit répondre qu’à un sous-ensemble

particulier de questions.

Organisation des items dans les tests PASEC2014

Le test complet de lecture est composé de 92 items répartis en 4 blocs d’items distribués dans

4 livrets de test. Le test de mathématiques suit la même logique d’organisation et comprend

81 items.

Les items sont donc répartis dans des blocs de 20 à 23 items, eux-mêmes répartis dans un des

4 livrets (A, B, C ou D) selon la méthode des cahiers tournants.

Chacun des 8 blocs (4 blocs de lecture et 4 blocs de mathématiques) apparaît deux fois dans les

4 livrets et sont positionnés de manière à figurer une fois en début et une fois en fin de livret.

Tableau 1.9 : Répartition des blocs d’items dans les livrets

Selon cette répartition, chaque élève faisant partie de l’échantillon répond uniquement à 46 items

de lecture et à 40 items de mathématiques.

Les 4 livrets sont distribués aléatoirement dans chaque classe à 5 élèves maximum ; au total, au

maximum 20 élèves d’une même classe seront évalués dans une école.

Les items de lecture sont répartis de manière à former des blocs sollicitant des niveaux de

processus comparables et comportant des supports écrits de même nature.

Livret A Bloc 1 :

Lecture

Bloc 2 :

Lecture

Bloc 1 :

Mathématiques

Bloc 2 :

Mathématiques

Livret B Bloc 2 :

Lecture

Bloc 3 :

Lecture

Bloc 2 :

Mathématiques

Bloc 3 :

Mathématiques

Livret C Bloc 3 :

Lecture

Bloc 4 :

Lecture

Bloc 3 :

Mathématiques

Bloc 4 :

Mathématiques

Livret D Bloc 4 :

Lecture

Bloc 1 :

Lecture

Bloc 4 :

Mathématiques

Bloc 1 :

Mathématiques

TESTS COGNITIFS


Tableau 1.10 : Répartition des items de lecture dans les livrets en fonction du processus évalué

Processus cognitifs en lecture Bloc 1 Bloc 2 Bloc 3 Bloc 4 Total

Décoder et reconnaître une

information 6 5 6 6 23

Extraire des informations explicites 8 10 9 9 36

Réaliser des inférences logiques 4 3 4 4 15

Interpréter et combiner des

informations 5 5 4 4 18

Total 23 23 23 23 92

En mathématiques, la répartition des items dans les blocs est la suivante :

Tableau 1.11 : Répartition des items de mathématiques dans les livrets en fonction du processus

évalué

Processus cognitifs en mathématiques Bloc 1 Bloc 2 Bloc 3 Bloc 4 Total

Connaître 9 9 8 7 33

Appliquer 7 8 8 9 32

Raisonner 4 4 4 4 16

Total 20 21 20 20 81

Tableau 1.12 : Répartition des items de mathématiques dans les livrets en fonction du sous-

domaine évalué

Sous-domaines en mathématiques Bloc 1 Bloc 2 Bloc 3 Bloc 4 Total

Arithmétique (nombres et opérations) 3 5 3 3 14

Mesure 7 7 7 8 29

Géométrie 10 9 10 9 38

Total 20 21 20 20 81

1

2 2. QUESTIONNAIRES

CONTEXTUELS

2

Lors des enquêtes PASEC, de nombreuses informations sur les élèves, les classes, les écoles et les

politiques éducatives sont collectées sur le terrain par l’intermédiaire de questionnaires soumis à

différents acteurs : élèves, enseignants, directeurs et direction centrale des ministères. L'étude

permet d’apprécier les caractéristiques des élèves, le niveau de répartition des ressources dans

les écoles, les types de pratiques enseignantes et les représentations sociales de l’école et des

pratiques scolaires des acteurs. Lorsque cela est possible, les résultats des élèves aux tests PASEC

sont mis en relation avec l’environnement d’apprentissage pour donner des points de repère

quant aux facteurs de réussite et orienter l'action éducative.

Les thématiques d’analyse privilégient une approche centrée sur les problématiques et défis

éducatifs des pays PASEC de la CONFEMEN8 en s’attardant tout particulièrement aux questions

d’équité au sein des systèmes.

Le cadre de référence des questionnaires PASEC vise à documenter les orientations

méthodologiques des questionnaires PASEC. Ce chapitre présente l’intégralité du cadre de

référence disponible sur le site www.pasec.confemen.org.

Encadré 2.1 : Guide du lecteur pour interpréter les résultats et utiliser les données des

questionnaires PASEC

Les niveaux de compétence atteints par les élèves sur les échelles PASEC reflètent l'effet

cumulatif de l'apprentissage formel, prévu dans le cursus scolaire classique, et informel, réalisé

dans le milieu familial et la communauté locale. Dès lors, les résultats obtenus par les élèves ne

reflètent pas exclusivement leurs apprentissages au sein des classes enquêtées ni l'effet d'un

enseignant donné sur le rendement de ses élèves. De telles informations peuvent être recueillies

en mettant en place des évaluations sur la progression des élèves dans un établissement ou

dans une classe donnée en évaluant leurs capacités en début puis en fin de parcours.

Lors de l'interprétation des résultats, il convient de garder à l'esprit que le format proposé par

le PASEC ne permet pas d'identifier « l'impact immédiat » d'une mesure de politique éducative

sur la performance scolaire. L’angle d’interprétation des résultats se limite à l’étude descriptive

du lien entre les caractéristiques contextuelles et les résultats des élèves aux tests PASEC.

Toutefois, en suivant des méthodologies d’évaluation adaptées, des inférences causales peuvent

être faites pour identifier l’action isolée d’une mesure éducative sur la réussite des élèves par le

biais d’un contrôle strict de l’environnement. Des dispositifs tels que des évaluations

longitudinales et des évaluations d’impact pourraient être menées à l’échelle d’un pays pour

comprendre les conséquences d’une action éducative avant de généraliser sa pratique sur tout

le territoire.

De surcroît, il serait erroné de généraliser à l’ensemble du système éducatif d’un pays les

conséquences d'un phénomène observé à l'échelle d’un élève, d’une classe, d’une école ou

d’une région ou vice-versa sans étudier les interactions entre plusieurs facteurs, ou encore

d'inférer le rôle d'un élément de contexte sans tenir compte de la manière dont il opère dans la

situation étudiée. Par exemple, il semble peu probable que la stratégie éducative d’un pays

puisse être transférée de façon directe dans un autre pays présentant d’autres spécificités

8 Les pays PASEC de la CONFEMEN correspondent aux pays de la francophonie membres de la CONFEMEN et éligibles

au PASEC. En 2014, cela représente environ 25 pays essentiellement situés en Afrique subsaharienne, en Afrique du

Nord, dans l’océan Indien, au Moyen-Orient et en Asie du Sud-Est.

2

culturelles, socioéconomiques et politiques. Une pratique enseignante bénéfique auprès

d’élèves en difficulté peut avoir l’effet inverse si elle est exercée avec des élèves en situation de

réussite. De tels raccourcis peuvent mener à une utilisation abusive des résultats. Par ailleurs, les

relations observées entre les facteurs et les performances des élèves ne sont pas linéaires : il

existe des seuils à partir desquels les facteurs peuvent avoir des relations nulles, voire inversées,

ou bien le lien observé entre certaines variables et les scores peut se dissiper en présence

d’autres variables.

Il convient également de garder à l'esprit que les données récoltées par l'intermédiaire des

questionnaires PASEC sont en majorité déclaratives, sauf en ce qui concerne les informations

relatives aux ressources matérielles et physiques de l'école, qui sont récoltées et contrôlées par

l'enquêteur sur le terrain. Dès lors, il n'est pas exclu que les réponses des élèves, enseignants et

directeurs ne reflètent qu'imparfaitement leurs pratiques ou leurs attentes ; par exemple, des

enseignants pourraient ne pas livrer leur sentiment parce qu'ils sont influencés par la désirabilité

sociale de certaines réponses.

Une étude comparative poussée du rôle des caractéristiques des systèmes éducatifs sur les

performances des élèves, par exemple du lien entre la réussite scolaire et des variables nationales

comme le PIB, nécessiterait la participation de nombreux pays. Dans le cadre de ce premier cycle

d’évaluations, ce volet est très limité du fait du nombre réduit de pays considérés. À cet égard,

les données globales sur les pays sont strictement utilisées pour illustrer le contexte de leur

système éducatif et ne permettent pas d’étudier la relation entre les facteurs nationaux et la

réussite scolaire.

Des analyses thématiques ciblées en fonction des intérêts propres à chaque pays pourraient être

menées pour mettre en perspective les résultats des évaluations PASEC ; ces analyses

qualitatives toucheraient à la fois les aspects pédagogique, culturel et sociohistorique.

Approche globale du PASEC pour étudier le

contexte éducatif De 1991 à 2012, le PASEC a décrit le contexte éducatif au primaire et étudié les facteurs contextuels

impliqués dans le processus d’apprentissage des élèves au cours d’une année scolaire. La

méthodologie basée sur une évaluation des élèves de deuxième et d’avant-dernière années du

primaire, en langue et en mathématiques, en début9 puis en fin d’année scolaire10 permettait

d’égaliser le niveau de connaissance initial et les antécédents des élèves pour étudier la relation

entre les caractéristiques des écoles, des classes et des élèves et leurs performances scolaires en

fin d’année. La variabilité des conditions de scolarité au sein de chaque pays a permis de déceler

un ensemble de facteurs contextuels fréquemment corrélés avec la performance scolaire des

élèves quel que soit le système éducatif évalué. D'autre part, ces études (PASEC, 201211) ont conclu

que certains facteurs avaient un effet controversé selon les matières, les niveaux scolaires et les

pays évalués.

La récente réforme de la méthodologie du PASEC se traduit par l’adoption d’une approche

internationale et comparative basée sur une seule période de test, soit en fin d’année scolaire12,

menée en début et en fin de scolarité primaire13 et l’introduction de nouveaux instruments de

mesure pour apprécier le degré d’efficacité et d’équité dans les pays. Cette méthodologie ouvre

de nouvelles perspectives d’étude et de réflexion sur l’environnement scolaire dans un cadre

international tel que celui des pays de la CONFEMEN.

Un système éducatif efficace permet à tous les enfants de disposer des connaissances, compétences et

attitudes attendues (fixées par les programmes scolaires) à la sortie de l’enseignement obligatoire et aux

grands moments de la scolarité primaire. Dans le cadre des évaluations PASEC, un système est estimé

très efficace lorsqu’il permet à tous les enfants, ou au moins à une grande majorité, d’atteindre certaines

compétences de base : en début de scolarité primaire, celles qui doivent être acquises pour poursuivre le

cycle avec profit, et en fin de cycle primaire, celles qui sont nécessaires pour poursuivre leur scolarité dans

de bonnes conditions.

Un système éducatif équitable tend à réduire les inégalités de scolarisation et de réussite scolaire entre

les différents profils d’élèves, entre les différents types d’écoles et entre les régions. Une juste répartition

des moyens éducatifs entre les régions et entre les écoles à l’intérieur des régions est un premier pas vers

cet objectif.

9 Dénommée « pré-test », cette évaluation se tenait le plus tôt possible dans l’année scolaire, à une période

généralement comprise entre octobre et novembre. 10 Dénommée « post-test », cette évaluation se tenait le plus tard possible dans l’année scolaire, à une période

généralement comprise entre mai et juin. 11 PASEC (2012). Synthèse des résultats des évaluations diagnostiques du Programme d’Analyse des Systèmes Éducatifs

de la CONFEMEN. Dakar: CONFEMEN. 12 L’évaluation se tient dans tous les pays à une période comprise entre avril et mai de l’année scolaire ciblée pour

l’enquête. 13 2e année du primaire et dernière année du primaire (6e année).

2

Les questionnaires de l’évaluation internationale PASEC privilégient l’analyse des questions les

plus pertinentes14 pour les pays à partir de données et d’indicateurs fiables et comparables dans

l’espace et dans le temps.

L’enquête décrit le niveau de ressources et les pratiques éducatives à différents échelons du

système. Les performances des élèves sont mises en relation avec les facteurs contextuels en

fonction des recherches antérieures sur les déterminants de l’apprentissage et des processus

d’enseignement et d’apprentissage en vigueur dans les pays.

La collecte de données contextuelles auprès d’échantillons représentatifs permet de généraliser

les résultats à l’échelle d’un pays et des zones éducatives15 à l’intérieur de ce dernier.

Les items des questionnaires ont été conçus en français16 par le PASEC et ont été validés par son

Comité scientifique. Les équipes nationales PASEC des 10 pays participant à la première

évaluation internationale PASEC2014 ont contribué à la mise en place de ces instruments de

mesure. Le développement des questionnaires a suivi un processus scientifique conforme aux

standards des évaluations internationales. La qualité des items a été pré-testée dans chacun des

pays participants.

14 Les questionnaires PASEC privilégient une approche contextuelle adaptée aux pays puisque certains intrants éducatifs

et processus de transformation leur sont spécifiques et conditionnés par le niveau de pauvreté dans les zones

géographiques concernées. À titre d’exemple, le mode de fonctionnement pédagogique des écoles à « double flux »

est spécifique aux pays en développement afin de soutenir la demande éducative dans un contexte de pénurie de

salles de classe et d’enseignants. 15 Les zones éducatives proposées dans l'évaluation PASEC2014 regroupent plusieurs zones administratives. Le

découpage en zones éducatives répond à des exigences méthodologiques liées à l’échantillonnage. La définition de

ces zones a été opérée en collaboration avec les pays. 16 Langue source de conception des items.

Cadre théorique des questionnaires de

contexte L’apprentissage des élèves à l’école est un processus complexe et multidimensionnel dans lequel

interagissent l’environnement socioéconomique, le contexte éducatif, les curricula, les capacités

cognitives, les attitudes, les comportements, les stratégies, les représentations et les expériences

des acteurs dans le champ scolaire et dans la vie quotidienne.

Tous ces facteurs agissent directement ou indirectement sur la réussite des élèves et sur l’équité

scolaire au niveau d’un pays, des zones éducatives, des écoles, des classes et enfin au niveau des

élèves et de leur famille.

Par exemple, nous pouvons formuler l’hypothèse que le parcours d'un l'élève dans le cursus

scolaire et ses expériences personnelles hors du champ de l'école sont fortement dépendants du

niveau socioéconomique et culturel de sa famille. En moyenne, un élève d’une famille favorisée

et alphabétisée résidant en ville et pratiquant quotidiennement la langue d’enseignement à

domicile va entrer dans le système éducatif avec des compétences langagières plus développées

qu’un élève d’une famille défavorisée et non alphabétisée vivant en milieu rural. De plus, un

parent qui lit tous les soirs des histoires à ses enfants va participer pleinement au développement

de leurs capacités de compréhension orale et de lecture ainsi que de leur goût pour la lecture.

Le schéma suivant reflète les grands champs contextuels pris en considération dans l’évaluation

PASEC.

Figure 2.1 : Champs contextuels abordés dans l’évaluation PASEC2014

2

Dans le cadre de l’évaluation PASEC, ces différents niveaux de champs contextuels sont regroupés

pour permettre une analyse statistique adaptée17 et tenir compte de la structure des données.

Trois niveaux d’étude sont retenus18 :

- Niveau 1 : le milieu familial et l’élève ;

- Niveau 2 : l’école, la classe et la communauté locale ;

- Niveau 3 : le pays, son système éducatif et ses zones éducatives.

Pour chacun de ces niveaux, le PASEC cherche à étudier les moyens (ou « intrants », tels que les

manuels scolaires), les processus de transformation (tels que les pratiques pédagogiques), la

perception des acteurs face à leurs pratiques, les résultats et les produits du système (ou

« extrants », tels que le niveau de compétence des élèves en lecture). Le cadre méthodologique

ne permet pas actuellement d’étudier ces différentes dimensions de manière uniforme pour

chacun des niveaux de l’échantillon (niveau « élèves », niveau « écoles » et niveau « pays »).

Dans l’ensemble, les données disponibles et les analyses menées dans le cadre du rapport

international PASEC19 permettent d’étudier le contexte selon les angles d’interprétation suivants :

- La description de la répartition des ressources ou la nature des représentations et des

pratiques des acteurs en fonction des différents niveaux de l’échantillon (par élève, par

type d'école, par zone éducative, pour l’ensemble d’un pays ou pour tous les pays

confondus). Par exemple, les données peuvent indiquer la part des élèves qui n'ont pas

de manuel scolaire dans une zone éducative d'un pays donné, ou bien la part des élèves

pour l’ensemble des pays dont l’enseignant déclare ne pas aider les élèves en difficulté ;

- La description de la répartition des élèves dans les différents niveaux des échelles PASEC,

ou encore les différences de scores au niveau international (tous pays confondus), au

niveau de chaque pays, entre les zones éducatives d'un pays, au niveau des écoles (selon

les caractéristiques de l’école et de la classe) et enfin au niveau des élèves en fonction de

leurs caractéristiques. Par exemple, les données peuvent indiquer les différences de scores

en mathématiques entre les filles et les garçons dans un pays donné, ou bien les

différences de scores entre les élèves les plus performants et les moins performants selon

le statut de l'école ;

- L’analyse du lien entre les facteurs contextuels de niveau « élèves » ou « écoles » et les

performances des élèves. Par exemple, les données peuvent indiquer la force du lien entre

la pratique de la langue d’enseignement à domicile et les résultats des élèves en lecture,

ou bien entre le fait d’être dans une classe où le niveau socioéconomique est très

hétérogène et les résultats des élèves de milieu socioéconomique défavorisé.

Le caractère cyclique des évaluations PASEC permettra également d’assurer un suivi de ces

tendances dans le temps. De nouvelles perspectives d’étude sont possibles d’un cycle à l’autre et

permettront de cibler une thématique particulière en fonction des attentes et besoins des pays.

17 Le modèle multiniveau retenu met en relation uniquement les données de niveau « élèves » et « écoles » avec les

performances scolaires ; les données de niveau « pays » seront présentées seulement à titre descriptif. 18 Les données de niveau 3 ne peuvent être mises en relation avec les scores dans l’évaluation PASEC2014 en raison du

nombre limité de ces ensembles. 19 Les analyses secondaires menées à partir des données PASEC internationales ou nationales peuvent poursuivre un

autre objectif.

Dans certains cas, le PASEC a développé des indices regroupant les réponses à plusieurs questions

pour faciliter l’interprétation des résultats sous la forme d’indicateurs composites.

Le tableau suivant décrit, pour chaque niveau d'études, les thématiques et les variables/indices

qui leur sont associés dans le cadre de l’évaluation PASEC2014. Pour des raisons techniques,

certains indices synthétiques n’ont pas pu être construits. Ces données ne sont pas exploitées

dans le cadre du rapport international PASEC2014 mais restent disponibles dans les bases de

données. Le lecteur est invité à consulter le chapitre 9 de ce rapport technique pour plus

d’information sur le traitement des données contextuelles.

Tableau 2.1 : Variables ou indices associés aux niveaux d’études et aux thématiques de recherche

Niveau

d'études

Type de

questionnaire

Thématiques de

recherche Variables ou indices

Milieu familial

et élève

Questionnaire

Élèves

Capital

socioéconomique et

culturel des familles

Possession de biens matériels,

caractéristiques de l’habitation, alphabétisme

dans la famille, utilisation de la langue

d’enseignement et de(s) langue(s) de

socialisation, indice socioéconomique

Ressources éducatives

et occasions

d’apprentissage à

domicile

Soutien scolaire à la maison, livres et

manuels scolaires à la maison, pratique de

travaux extrascolaires

Caractéristiques

personnelles des

élèves

Genre, âge, composition de la famille

Parcours scolaire des

élèves

Nombre de redoublements et classes

redoublées, fréquentation du préscolaire,

absentéisme

Conditions physiques

pour apprendre

Audition, vue, fatigue, faim, examen médical,

déparasitage, utilisation de moustiquaire

Perception de l’école

et goût d’apprendre

Perception de l’école, perception de soi dans

l’apprentissage de la lecture et des

mathématiques, goût et intérêt pour la

lecture et pour les mathématiques

École,

classe et

communauté

locale

Questionnaires

Maîtres et

Directeurs

Infrastructures,

équipements,

fonctionnement et

ressources de la classe

Niveau socioéconomique moyen des élèves

de la classe, ressources matérielles et

éducatives, mode de fonctionnement de la

classe, taille de la classe

Absentéisme et

occasions

d’apprentissage en

classe

Gestion de l'absentéisme des enseignants,

perception de l’absentéisme par les

enseignants, retard et absentéisme des

enseignants et raisons, absentéisme des

élèves et raisons, durée de l'année scolaire,

abandon des élèves, grèves

Caractéristiques

personnelles et

professionnelles des

maîtres

Genre, âge, durée et nature de la formation

initiale et continue, statut, rémunération et

avantages sociaux, aspirations, ancienneté,

absentéisme

2

Niveau

d'études

Type de

questionnaire

Thématiques de

recherche Variables ou indices

Pratiques

d’enseignement et

représentations des

maîtres

Contenus et méthodes d’enseignement en

langue et en mathématiques, discipline et

sanction des élèves, raisons d’abandon des

élèves, conditions de travail, harcèlement

Infrastructures,

équipements,

fonctionnement,

ressources et contrôle

de l’école

Zone d’implantation, statut de l’école,

fonctionnement de l’école, ressources

matérielles (cantines, sanitaires…), ressources

éducatives (fournitures, programmes…), suivi

et contrôle de l'inspection

Ressources et

implication de la

communauté locale

Infrastructures et équipements de la localité,

relations avec les parents d’élèves, relations

et projets avec la communauté, financement

de l’école, projets-école

Caractéristiques

personnelles et profil

professionnel du

directeur

Genre, âge, durée et nature de la formation

initiale et continue, statut, rémunération et

avantages sociaux, aspirations, ancienneté,

absentéisme

Pratiques

administratives et

pédagogiques et

représentations du

directeur

Management et contrôle administratif ou

pédagogique au niveau des élèves et des

enseignants

Pratiques de soutien

scolaire dans l’école et

représentations des

acteurs

Perception des difficultés des élèves par les

directeurs et les enseignements, dispositifs

d’encouragement et d’accompagnement,

soutien scolaire à l’école

Pays, système

éducatif et

zones

éducatives

Questionnaire

Pays (destiné

aux ministères

de l’Éducation)

Contexte

socioéconomique et

géographique

Données externes au PASEC

Modèle éducatif et

scolarisation Données du questionnaire Pays du PASEC

Gouvernance et

décentralisation Non disponible en 2014

Politique d’évaluation

des apprentissages Non disponible en 2014

Plurilinguisme et

langue

d’enseignement

Données du questionnaire Pays du PASEC

Curricula et temps

scolaire officiel Données du questionnaire Pays du PASEC

Les informations sur le milieu familial sont collectées par l’intermédiaire des questionnaires Élèves.

La collecte d'informations auprès d'élèves en début de scolarité se révèle très limitée dans le

cadre d'une enquête internationale, si bien que les informations contextuelles prélevées auprès

des élèves de 2e année sont réduites par rapport à celles qui sont collectées auprès de leurs

camarades scolarisés en 6e année.

L’agencement actuel de l’enquête PASEC dans les écoles ne permet pas de disposer

d’informations directes sur les parents ni sur les communautés locales. Ces données sont

collectées à travers les questionnaires Élèves, Maîtres et Directeurs.

Les informations sur les écoles et les classes sont basées sur les déclarations des directeurs et des

enseignants en ce qui concerne leurs caractéristiques et leurs pratiques. Les données en lien avec

les ressources matérielles et éducatives sont collectées par l’enquêteur avec l’appui du personnel

de l’école afin de s’assurer de la présence effective de ces moyens dans l’école.

Les données qui concernent les élèves et les écoles sont disponibles dans la base de données

internationale de l’évaluation PASEC2014.

Les questionnaires Élèves, Maîtres et Directeurs sont disponibles sur le site du PASEC :

www.pasec.confemen.org.

Les informations sur le pays et son système éducatif sont collectées à l’aide d’un questionnaire

adressé aux ministères de l’Éducation et par la collecte d’informations externes et comparables

auprès d’organismes internationaux. Le questionnaire et les données relatifs au questionnaire

Pays ne sont pas publiés pour l’évaluation PASEC2014.

Spécifications sur les questionnaires de

contexte Les questionnaires sont disponibles sur le site du PASEC : www.pasec.confemen.org.

2.3.1 Questionnaire Élèves de début de scolarité

(2e année)

Le questionnaire destiné aux élèves de 2e année est très bref du fait du jeune âge des élèves et

de leurs difficultés à comprendre et à répondre à des questions complexes sur leur

environnement. Il comprend des questions sur les caractéristiques familiales et sur le parcours

scolaire des élèves. La passation du questionnaire dure approximativement 15 minutes par élève

et se déroule de façon individuelle, un enquêteur pour un élève. L’enquêteur pose les questions

à l’élève oralement, dans la langue d’enseignement ou sa langue maternelle, pour une meilleure

compréhension des questions. Les réponses sont directement reportées par l’enquêteur.

Questionnaire Élèves de fin de scolarité (6e année)

Le questionnaire destiné aux élèves de 6e année comprend des items sur les caractéristiques

familiales, sur le parcours scolaire des élèves, sur les ressentis des élèves à propos de leur bien-

être à l’école, sur l’appréciation de leur travail et leur goût pour la lecture et les mathématiques,

sur leur santé et sur les ressources éducatives et les occasions d’apprentissage à domicile. La

passation du questionnaire dure approximativement 45 minutes par classe et se déroule de façon

collective, c’est-à-dire que l’enquêteur lit les questions et les modalités de réponse dans langue

d’enseignement ou la langue maternelle des élèves pour une meilleure compréhension. Les

réponses sont directement reportées par les élèves avec l’appui de l’enquêteur, qui les

accompagne dans cet exercice et vérifie que toute la classe progresse en même temps.

2

2.3.2 Questionnaires Maîtres de 2e et 6e années et

questionnaire Directeurs

Les questionnaires destinés aux maîtres de 2e et 6e années sont similaires sauf pour quelques

questions qui portent spécifiquement sur les méthodes et contenus d’enseignement propres à

chaque classe. Chaque questionnaire est composé de deux parties qui concernent, d’une part,

des données déclaratives sur l’enseignant et sa classe et, d’autre part, des données explicites sur

le niveau d’infrastructure ainsi que les ressources éducatives de la classe. La première partie est

remplie de façon autonome par le maître alors que la deuxième partie se fait en collaboration

avec l’enquêteur.

Le questionnaire destiné au directeur suit la même organisation que ceux destinés aux

enseignants, si ce n’est que les thèmes abordés sont spécifiques à l’école et à la fonction de

directeur.

2.3.3 Questionnaire Pays

Le questionnaire destiné aux pays comporte des questions relatives aux stratégies éducatives et

à leur mise en œuvre. Ce questionnaire est rempli de façon autonome par les équipes nationales

PASEC en collaboration avec le ministère de l’Éducation. Ce questionnaire et ces données ne sont

pas publiés pour le cycle PASEC2014. Une présentation des modèles éducatifs des pays est

disponible dans les chapitres introductifs du rapport international et des rapports nationaux

PASEC2014.

3 3. PLAN

D’ÉCHANTILLONNAGE

3

CHAPITRE 3

36 CONFEMEN - PASEC

PLAN D’ÉCHANTILLONNAGE


Ce chapitre présente la méthode suivie par le PASEC pour sélectionner les écoles, les classes et

les élèves dans les pays participant à l’évaluation PASEC2014. Les standards d’échantillonnage

retenus par le PASEC et leur mise en œuvre tout au long du processus de l’enquête garantissent

la validité et la comparabilité des résultats au niveau international. Le chapitre comporte trois

grandes parties : (i) la méthodologie d’échantillonnage globale du PASEC ; (ii) l’échantillonnage

des écoles dans les pays ; (iii) l’échantillonnage des classes et des élèves au sein des pays.

Procédures d’échantillonnage du

PASEC2014 L’enquête internationale PASEC2014 cible l’ensemble des élèves inscrits en 2e et 6e années du

primaire, quel que soit le type d’école (école publique, privée…). Les données sont collectées à

partir d’un échantillon représentatif des écoles primaires d’un pays et non auprès de la population

complète. Les raisons qui motivent les programmes internationaux à faire une enquête par

échantillonnage plutôt qu’un recensement sont largement reconnues (économie en moyens

humains et financiers, facilité de traitement des données, etc.).

L’échantillon PASEC permet d’estimer avec une certaine précision les résultats scolaires des pays

évalués sans avoir à enquêter tous les élèves scolarisés Des normes et des mécanismes de

contrôle de la qualité sont mises en place par le programme tout au long du processus de

l’évaluation pour garantir la fiabilité des échantillons et la comparabilité des données entre les

pays.

Les activités d’échantillonnage pour la sélection des écoles sont conduites par le PASEC en

collaboration avec les pays. Les écoles sont échantillonnées dans chaque pays à partir d’une base

de sondage des écoles. Pour l’évaluation PASEC2014, les écoles ont été sélectionnées dans

chaque pays selon une procédure standardisée : un échantillonnage systématique proportionnel

à la taille cumulée des effectifs des élèves de 2e et 6e années. Cette procédure attribue aux écoles

de grande taille une probabilité de sélection plus grande que celle des petites écoles. À l’inverse,

la probabilité d’être sélectionné à l’intérieur de l’école (intra-école) est plus faible pour les élèves

des grandes écoles que pour ceux des petites écoles.

La taille standard de l’échantillon d’écoles de l’enquête PASEC2014 pour l’évaluation des élèves

de 6e année est de 180 écoles. Cette taille d’échantillon est choisie pour obtenir une précision

équivalente à celle qu’on obtiendrait avec un échantillon aléatoire et simple de 400 élèves20. Dans

certains cas, un échantillon d’écoles plus important est sélectionné lorsqu’un pays souhaite

enquêter sur des problématiques éducatives spécifiques. Dans ce cas, le PASEC peut

suréchantillonner les écoles de certaines des zones de ce pays afin de disposer d’un échantillon

conséquent permettant de désagréger les résultats jusqu’au niveau du sous-groupe concerné.

Cela a été le cas pour le Burkina Faso (200 écoles échantillonnées), le Cameroun (280 écoles) et

le Togo (190 écoles). Ces différences de taille d’échantillon n'invalident pas la méthodologie de

l'évaluation et permettent au contraire d’améliorer la précision des estimations par rapport à un

échantillon de 180 écoles.

20 Résultat obtenu sous l’hypothèse que le coefficient de corrélation intra-classe a une valeur maximale de 0,40.

3

CHAPITRE 3

38 CONFEMEN - PASEC

L’échantillon des écoles pour l’évaluation des élèves de 6e année est le premier qui est tiré. Sur la

base de cet échantillon, un sous-échantillon (dont la taille correspond à la moitié de celui tiré en

6e année) est sélectionné pour l’évaluation de la 2e année selon un tirage aléatoire simple, si bien

que chaque école sélectionnée pour les tests de fin de scolarité a une chance sur deux d’être

également enquêtée en début de scolarité. Pour les pays dont l’échantillon principal est de

180 écoles, l’échantillon de la 2e année est donc constitué de 90 écoles, alors qu’il est de

100 écoles pour le Burkina, de 95 écoles pour le Togo et de 140 écoles pour le Cameroun.

L’enquête PASEC2014 a procédé à un échantillonnage en trois étapes :

- La première étape a consisté en la sélection de 180 écoles selon une procédure

systématique et une probabilité proportionnelle au nombre d’élèves inscrits en 2e et

6e années. Ces 180 écoles sont extraites d’une liste (base de sondage officielle pour

l’année scolaire 2012-2013) qui reprend l’ensemble des écoles du pays. Le PASEC a

procédé à l’échantillonnage parmi les écoles ayant au moins une classe de 6e année.

- La difficulté liée à la passation individuelle des tests en 2e année et la nécessité

d’harmoniser les pratiques entre les administrateurs de tests ont conduit le PASEC à

réduire la taille de l’échantillon des écoles. Au sein de chacune des strates, seule la moitié

des écoles sélectionnées aléatoirement pour l’évaluation en fin de scolarité a été invitée

à participer à l’évaluation en début de scolarité. L’échantillon de 2e année se limite donc

à 90 écoles.

- Au sein de chacune de ces écoles sélectionnées, une classe de 6e année est sélectionnée

parmi l’ensemble des classes de ce niveau selon une procédure aléatoire simple. Cette

procédure est réitérée au niveau de la 2e année si l’école figure dans le sous-échantillon

d’écoles qui participent à l’évaluation en début de scolarité.

3.1.1 Couverture de la population cible et taux de

participation au niveau des écoles et des élèves

3.1.1.1 Couverture de la population cible internationale

La population cible à enquêter comprend tous les élèves inscrits dans le niveau enquêté dans une

école dont la langue d’enseignement officielle est la langue du test. Certaines contraintes

nationales peuvent conduire à réduire la couverture de la population cible en excluant tous les

élèves d’une école ou certains élèves dans une école pour les raisons suivantes : difficultés d’accès

à l’école, conflit armé, langue d’enseignement différente de la langue officielle21, très petite

école22, élèves avec des dysfonctionnements intellectuels ou physiques permanents.

Le PASEC veille à ce que les exclusions d’élèves ne conduisent pas à exclure de la base de données

plus de 5 % des élèves inscrits dans le niveau concerné. Les différentes exclusions au sein de la

21 Par exemple les écoles arabophones au Tchad. 22 Les très petites écoles peuvent être exclues pourvu que leurs effectifs combinés ne représentent pas plus de 1 % de

la population d’élèves.



population cible peuvent s’opérer au moment de la définition de la population cible (réduction

du recouvrement de la population cible) et lors de la collecte des données.

Au moment de la collecte des données dans les écoles, les élèves qui présentent des

dysfonctionnements intellectuels ou physiques permanents les empêchant de répondre aux tests

ou au questionnaire sont exclus de l’enquête. Plus précisément, les pays du PASEC2014 ont suivi

les règles d’exclusion suivantes :

un élève faible mais qui ne présente aucun dysfonctionnement intellectuel ne peut être

exclu sur cette base ;

un élève avec un handicap temporaire l’empêchant de répondre à un test ou à un

questionnaire ne doit pas être exclu. Par exemple, un élève avec un bras cassé ne sera pas

exclu, mais il sera considéré comme absent s’il n’est pas disponible le jour de l’enquête. Il

ne sera donc pas remplacé ;

un élève avec un dysfonctionnement moteur permanent est exclu.

3.1.1.2 Taux de participation au niveau des écoles et des élèves

La participation des écoles et des élèves permet de contrôler la validité de la représentativité de

l’échantillon par rapport à la population cible.

Taux de participation au niveau des écoles

À la suite de la mise à disposition de l’échantillon des écoles sélectionnées pour l’évaluation des

systèmes éducatifs des pays, les contraintes opérationnelles peuvent conduire à ne pas enquêter

une école et les élèves qui y sont scolarisés. Dans ce cas, le pays peut remplacer l’école initiale

par une autre école de caractéristiques similaires préalablement ciblées par le centre international

du PASEC. Ce dernier met à la disposition des pays une liste d’écoles de remplacement choisies

selon les mêmes procédures que les écoles sélectionnées. Chaque école sélectionnée dispose

d’au moins une école de remplacement et au maximum de deux écoles de remplacement.

Le motif pour ne pas enquêter une école doit être spécifiée par l’administrateur.

Lors de la collecte des données du PASEC2014, les pays ont été autorisés à procéder à des

remplacements d’écoles lorsque celles-ci sont momentanément fermées (épidémie, élection,

examen, formation des enseignants, événement particulier) ou situées dans un lieu inaccessible

(inondations, problèmes de sécurité, route impraticable).

En revanche, une école n’est pas remplacée lorsqu’elle ne compte pas d’élèves dans l’année à

enquêter ou qu’elle est définitivement fermée. Dans ce cas, l’école est définitivement perdue. Le

PASEC travaille en étroite collaboration avec les pays afin de disposer de bases de sondage fiables

et à jour pour éviter les cas d’écoles définitivement fermées ou ne disposant pas de classe de 2e

ou de 6e année.

Le PASEC fixe le seuil minimum de participation des écoles à 85 % du total des écoles

sélectionnées dans l’échantillon pour assurer la représentativité de l’échantillon par rapport à la

population cible. Ce taux est calculé avant et après la prise en compte des écoles de

remplacement. Le taux de participation des écoles avant la prise en compte des écoles de

remplacement se calcule selon la formule suivante :

3

CHAPITRE 3

40 CONFEMEN - PASEC

(nombre d’écoles participantes dans le pays / nombres d’écoles prévues par l’enquête) X 100

Lorsque le taux de participation des écoles est inférieur à 85 % avant la prise en compte des

écoles de remplacement, le taux de participation exigé après remplacement des écoles doit

atteindre au minimum 85 % pour autant que le taux initial soit supérieur à 65 %.

Le taux de participation des écoles après la prise en compte des écoles de remplacement se

calcule selon la formule suivante :

85 + (85 - taux initial avant remplacement) / 2

Par exemple, si le taux de participation des écoles échantillonnées s’élève à 82,8 % avant la prise

en compte des écoles de remplacement, alors le pays devra atteindre un taux de participation

après remplacement des écoles de 85 + (85 - 82,8) / 2= 86,1 %.

Pour que les données d’un pays soient validées et acceptées pour publication, le taux de

participation des écoles doit donc être au moins égal à 85 % du nombre total d’écoles prévu dans

l’échantillon prévisionnel. Une école est considérée comme non participante lorsque moins de

25 % des élèves échantillonnés pour le niveau considéré ont participé aux tests.

Les taux de participation des écoles sont calculés sans pondération et avec pondération. Les

procédures pour le calcul des taux de participation pondérés et non pondérés sont présentées

au chapitre 6 de ce rapport.

Taux de participation au niveau des élèves

Au niveau des élèves, le taux de participation doit atteindre au moins 80 % du nombre total

d’élèves échantillonnés pour un pays donné. Un élève est considéré comme participant au sein

des écoles s’il a participé à l’une des quatre sessions de test : le test de lecture et le test de

mathématiques sont composés chacun de deux sessions.

Les données d’un pays sont validées sans aucune réserve lorsque le pays satisfait aux normes

recommandées de taux de participation.



Procédures techniques d’échantillonnage

des écoles pour les pays La validité des résultats de l’évaluation internationale PASEC2014 implique d’harmoniser

l’ensemble des procédures d’échantillonnage dans tous les pays participants. En ce qui concerne

la phase d’échantillonnage, tous les pays ont suivi la même procédure pour la définition de la

population cible nationale, la construction de la base de sondage, la définition des variables de

stratification, l’échantillonnage des écoles et la sélection des classes et des élèves dans les écoles.

Chacune de ces étapes est détaillée dans les sections suivantes.

3.2.1 Définition de la population cible nationale

La définition de la population cible a été réalisée pour chaque pays par le PASEC en collaboration

avec les équipes nationales PASEC des pays participants. Ces opérations sont réalisées à partir de

la base de sondage nationale et peuvent mener à exclure des écoles de zones spécifiques (conflit

armé, inaccessibilité) avant le tirage des écoles. Lorsque des difficultés risquent de subvenir dans

des zones spécifiques, le PASEC a échangé avec les pays afin de tenir compte de cette réduction

de couverture dans le processus et de ne pas dépasser le seuil maximal d’exclusion fixé par le

PASEC.

Dans les cas de réduction de couverture, les pays du PASEC2014 ont été invités à spécifier les

raisons d’exclusion des écoles de la base de sondage envoyée au PASEC.

Les pays ont été sensibilisés aux cas d’exclusion d’élèves et de remplacement ou non des écoles.

Un formulaire de suivi des écoles et des élèves a été élaboré et mis à la disposition des pays pour

que les administrateurs puissent en disposer lors de l’enquête.

3.2.2 Élaboration de la base de sondage

Lors de la préparation de la base de sondage, il a été demandé aux pays de :

- dater les données : il s’agit de mentionner l’année académique couverte par la base de

sondage. Chaque pays doit fournir les données les plus récentes dont il dispose et tout

en privilégiant la qualité de ces données. Par exemple, il est préférable de disposer de

données vérifiées de l’année 2013 que de données de 2014 en cours de nettoyage ;

- documenter les exclusions : une réduction de la couverture de la population cible doit

être documentée. Les taux de population concernés sont calculés et comparés aux

normes recommandées par le PASEC ;

- définir les variables de stratification : le PASEC a défini avec les pays les variables

pertinentes pour la stratification. Lors de la constitution de la base de sondage, les pays

s’assurent que les variables de stratification sont disponibles pour chaque école contenue

dans la base. Il est par exemple inutile d’envisager de stratifier un échantillon sur la base

du type d’école si on ne dispose pas de cette information pour chaque école ;

3

CHAPITRE 3

42 CONFEMEN - PASEC

- attribuer un identifiant unique à chaque école : les pays utilisent généralement une

identification nationale pour reconnaître une école. Dans le cas où un identifiant national

n’existe pas, un numéro d’identification unique est attribué à chaque école, deux écoles

différentes ne pouvant avoir le même identifiant. En plus de l’identifiant, le nom de l’école,

l’adresse, un numéro de téléphone s’il existe et le nom d’une personne de contact sont

mentionnés.

Une base de sondage qui répond aux normes PASEC respecte les critères suivants :

- unicité des identifiants des écoles ;

- unicité de l’adresse des écoles ;

- inexistence de données manquantes pour les variables de taille des classes de 2e et de

6e années, les variables de stratification, l’identifiant et l’adresse de l’école ;

- concordance entre le nombre d’écoles indiqué dans la base de sondage et le nombre

d’écoles attendu ;

- cohérence entre la taille des deux populations d’élèves (somme des élèves de 6e année

du primaire et somme des élèves de 2e année) avec les statistiques générales du pays.

Précisions sur la mesure de la taille des écoles : L’enquête PASEC2014 cible deux populations

distinctes. Deux variables de taille sont donc attendues : le nombre d’élèves inscrits en 6e année du

primaire et le nombre d’élèves inscrits en 2e année du primaire. Dans le cas où ces informations ne

sont pas disponibles avec ce niveau de précision, le pays est invité à fournir, pour chaque école, le

nombre total d’élèves et le nombre de niveaux scolaires organisés. La taille est alors estimée en

divisant le nombre total d’élèves par le nombre de niveaux scolaires organisés. Une école pour

laquelle aucune information de taille n’est communiquée n’est pas prise en compte pour tirer un

échantillon proportionnel à la taille. Il est donc indispensable de mettre tout en œuvre pour fournir

une mesure de taille pour chacune des écoles. Le même type de mesure de taille est utilisé pour

toutes les écoles d’un pays donné. La mesure de taille ne peut être le nombre d’élèves par niveau

pour certaines écoles et pour d’autres une approximation au départ de la population totale. Tous

les pays participant à l’évaluation PASEC2014 ont fourni la même mesure de taille selon le nombre

d’élèves inscrits en 6e année du primaire et le nombre d’élèves inscrits en 2e année du primaire.

3.2.3 Définition des variables de stratification

Dans le but d’augmenter la précision de l’échantillon, toutes les écoles de la base de sondage

sont scindées ou ordonnées en groupes homogènes selon une ou plusieurs variables

déterminantes, dites « variables de stratification ». La stratification est appliquée au premier

niveau d’échantillonnage, c’est-à-dire au niveau des écoles. Deux types de stratification sont

utilisés dans cette phase : la stratification explicite et la stratification implicite.

La stratification explicite consiste en la création de groupes d’écoles ou de strates homogènes et

distinctes selon la variable de stratification explicite définie. L’échantillonnage des écoles est

effectué de manière indépendante dans chacune des strates ainsi formées, et le nombre d’écoles

sélectionnées par strate est généralement proportionnel à la taille de la strate. Plus la variable de

stratification corrèle avec la variable d’intérêt de l’étude, plus les échantillons de chacune des

strates seront homogènes vis-à-vis de la performance et plus la variance d’échantillonnage sera

réduite.



Les variables de stratification explicite utilisées dans le cadre du PASEC2014 portent en général

sur les regroupements de régions, de départements ou de provinces en fonction de la structure

administrative du pays. Le Togo a utilisé le type d’école parmi ses variables de stratification

explicite.

La stratification implicite consiste à trier les écoles de la base de sondage selon la ou les variables

définies. Ce tri est opéré à l’intérieur de chaque strate explicite. Les variables de stratification

implicite utilisées sont le type d’école (public, privé ou communautaire) et le milieu d’implantation

(urbain ou rural). Cette stratification implicite est utile pour améliorer la représentativité de

l’échantillon.

Le tableau ci-dessous présente pour chaque pays les variables de stratification (explicite et

implicite) utilisées ainsi que le nombre de strates définies. À titre d’exemple, le Burkina Faso

compte 12 régions qui ont été regroupées pour former 8 strates. Le type d’école (public ou privé)

a été utilisé comme variable de stratification implicite.

Tableau 3.1 : Variables de stratification utilisées pour chaque pays

3.2.4 Attribution d’une mesure de taille à chaque école

Pour rappel, la méthode de tirage des écoles (systématique proportionnelle à la taille combinée

des effectifs de 2e et 6e années du primaire) implique qu’une mesure de taille (MOS, pour Measure

of size) soit calculée pour chaque école de la base de sondage. La taille combinée d’une école est

obtenue en additionnant le nombre d’élèves de 2e année et le nombre d’élèves de 6e année de

l’école. La taille par niveau scolaire (SIZEGRAD) est ensuite calculée en divisant la taille combinée

par deux.

Afin de réduire les variations de poids finaux des élèves, la mesure de taille des petites écoles est

artificiellement ramenée à la taille théorique de l’échantillon par classe. Le plan d’échantillonnage

Pays Variables de

stratification explicite

Nombre de

strates

explicites

Variables de

stratification implicite

Bénin Département (12) 6 Type d'école (2)

Burkina Faso Région (12) 8 Type d'école (2)

Burundi Province (18) 4 Type d'école (2)

Cameroun Région (10) et

Langue d'enseignement (2) 11 Type d'école (2)

Congo Département (12) 6 Type d'école (2)

Côte d'Ivoire Région (31) 6 Type d'école (2)

Niger Région (8) 6 Milieu d’implantation (2)

Sénégal Région (14) 5 Type d'école (2) et

Milieu d’implantation (2)

Tchad Région (22) 7 Type d'école (3)

Togo Région (5) et

Type d'école (2) 6 Milieu d’implantation (2)

3

CHAPITRE 3

44 CONFEMEN - PASEC

prévoit qu’un seul échantillon de 180 écoles soit tiré avec une probabilité proportionnelle à la

taille de chaque école. Ensuite, parmi ces 180 écoles sélectionnées pour la 6e année, 90 écoles

sont à nouveau sélectionnées pour l’évaluation des élèves de la 2e année.

La MOS est égale à la taille estimée par niveau scolaire (SIZEGRAD) pour autant que celle-ci soit

supérieure ou égale à la taille théorique de l’échantillon par classe23. Dans le cas contraire, la MOS

est égale à 20. Formellement, MOS = max(SIZEGRAD,20). Lorsque la taille estimée par niveau

scolaire (SIZEGRAD) est plus grande que 20, alors la MOS sera égale à la taille estimée par niveau

scolaire (SIZEGRAD).

3.2.5 Calcul des taux d’exclusion d’écoles

À partir de la base de sondage nettoyée de toute incohérence, les informations sur les exclusions

éventuelles sont données en termes de pourcentage d’élèves concernés. Pour garantir la

représentativité de l’échantillon, le taux d’exclusion ne doit pas dépasser le seuil de 5 % par niveau

scolaire quel que soit le type d’exclusion. Lorsque le taux d’exclusion respecte le seuil établi, les

écoles sont définitivement exclues de la population effective. La base de sondage est alors

nettoyée de ces exclusions.

3.2.6 Traitement des petites écoles et des très petites

écoles

Le PASEC définit une très petite école comme une école qui compte moins de 8 élèves pour un

niveau cible. Les très petites écoles sont exclues lorsque, au total, le nombre total d’élèves inscrits

pour l’ensemble des très petites écoles ne dépasse pas 1 % de la population cible. Lorsque les

très petites écoles ne peuvent être exclues parce que le pourcentage d’élèves qu’elles comptent

est supérieur à 1 %, une strate est créée pour ces très petites écoles.

Une petite école est une école qui compte moins d’élèves au niveau cible que le nombre d’élèves

à échantillonner dans l’école, c’est-à-dire que l’école compte moins de 20 élèves en dernière

année du primaire. Une grande école est une école fréquentée par au moins 20 élèves en

6e année.

Si le pourcentage correspondant à l’ensemble des élèves inscrits dans des petites écoles est égal

ou supérieur à 4 % de la population cible, une strate explicite de petites écoles est créée pour

garantir une plus grande stabilité des poids. Au sein de cette strate, les écoles sont sélectionnées

suivant une procédure strictement aléatoire et non proportionnelle à la taille.

3.2.7 Échantillonnage des écoles

La définition des variables de stratification permet de répartir les écoles dans les différentes strates

prévues. Le nombre total d'écoles à échantillonner dans chaque pays est réparti entre les

différentes strates selon le poids de la strate. Les étapes suivantes sont réalisées :

23 En 6e année, 20 élèves doivent passer les tests prévus pour l’évaluation.



3.2.7.1 Tri des écoles dans la base de sondage

Les écoles sont triées selon la variable MOS au sein de chaque strate explicite et implicite en

alternant suivant un tri ascendant et un tri descendant des observations. De façon pratique, les

tris sont effectués d’abord selon la première variable de stratification, puis selon la deuxième

variable de stratification et enfin selon la MOS.

3.2.7.2 Processus de sélection des écoles

Suite au tri des écoles, un pas d’échantillonnage (INT) est défini pour chaque strate explicite en

divisant le nombre total d’élèves du niveau enquêté dans la strate (Nh) par le nombre d’écoles à

échantillonner dans la strate (ne_s). Formellement, on a :

_

h

e s

NINT

n

Où : _

1

e sN

h i

i

N MOS

Le calcul du pas d’échantillonnage permet de détecter dans la base de sondage les très grandes

écoles appelées « écoles certaines ». Une très grande école est une école dont la mesure de taille

est supérieure à INT (le pas d’échantillonnage calculé). Théoriquement, la probabilité de sélection

de telles écoles est supérieure à 1. La détection des écoles certaines se fait à l’intérieur de chaque

strate explicite initiale puisque les pas d’échantillonnage varient d’une strate à l’autre.

Un nombre aléatoire (NA) issu d’une distribution uniforme [0;1] est tiré avant de procéder à la

sélection des écoles. Cette étape confère le caractère aléatoire de la sélection de l’échantillon

d’écoles. Ce nombre aléatoire est multiplié par le pas d’échantillonnage arrondi à l’unité

supérieure. Le produit obtenu (EST1) permet d’identifier la première école à sélectionner

(1EST NA INT ). L’école qui contient l’élève Ei = EST1 est alors sélectionnée, les i élèves de la

liste d’écoles triées étant préalablement numérotés de 1 à Nh.

La deuxième école à sélectionner est obtenue en ajoutant le pas d’échantillonnage au nombre

EST1 de telle sorte que2 1EST EST INT . Cette procédure systématique est répétée jusqu’à ce

que le nombre d’écoles à échantillonner soit atteint. Par exemple, la troisième école sélectionnée

est obtenue en calculant d’abord3 1EST EST INT INT . L’école qui contient l’élève Ei = EST3

est alors sélectionnée.

Pour illustrer les différentes étapes de la méthode de tirage proportionnelle à la taille, nous

supposons qu’à partir de la base de sondage d’un pays disposant d’une seule strate, le nombre

total d’élèves est de 4 000 et le nombre total d’écoles est de 10. Nous souhaitons sélectionner

quatre écoles dans cette strate.

3

CHAPITRE 3

46 CONFEMEN - PASEC

Encadré 3.1 : Illustration du tirage proportionnel à la taille de 4 écoles dans une strate de 10 écoles

et de 4 000 élèves

Identifiant de

l’école

Mesure de

taille de l’école

au niveau cible

(MOS)

MOS

cumulée

Numéro Ei des élèves École

échantillonnée de à

A001 20 20 1 20

A002 20 40 21 40 Sélectionnée

A003 20 60 41 60

A004 25 85 61 85

A005 30 115 86 115


A007 40 190 151 190


A009 80 315 236 315

A010 100 415 315 415 Sélectionnée

3.2.7.3 Désignation des écoles de remplacement

Pour éviter une réduction de taille de l’échantillon due aux circonstances de la collecte des

données sur le terrain, un maximum de deux écoles de remplacement est prévu pour chaque

école échantillonnée. Dans la base de sondage ordonnée selon la taille de l’école et au sein de

chaque strate, l’école qui suit directement l’école échantillonnée est désignée comme sa première

école de remplacement (R1) et l’école qui la précède est sa seconde école de remplacement (R2).

Il peut y avoir des cas où l’école échantillonnée ne dispose que d’une seule école de

Calcul du pas d’échantillonnage : 4000 /10 100INT

Tirage d’un nombre aléatoire : NA=0,232

Le premier nombre sélectionné sera 0,232 * 100 = 23,2 dont l’arrondi supérieur est

24. Ce premier nombre sélectionné permet de déterminer la première école

échantillonnée. Ainsi, l’école A002 est sélectionnée puisqu’elle contient l’élève 24.

Le deuxième nombre sélectionné est 24 + 100 = 124. Ce second nombre permet de

déterminer la deuxième école échantillonnée, soit l’école A006 puisqu’elle contient

l’élève 124.

Le troisième nombre sélectionné est 100 + 124 = 224. Ce troisième nombre permet

de déterminer la troisième école échantillonnée soit l’école A008 puisqu’elle contient

l’élève 224.

Le dernier nombre sélectionné est 100 + 224 = 324. Ce dernier nombre permet de

déterminer la quatrième école échantillonnée, soit l’école A010 puisqu’elle contient

l’élève 324.

Ces quatre écoles constituent alors l’échantillon d’écoles.



remplacement. En cas de non-participation de l’école initialement sélectionnée (S), c’est l’école

R1 qui sera évaluée. L’école R2 est, au besoin, l’école de remplacement de R1 dans le cas d’un

autre refus ou de toute autre circonstance empêchant la collecte des données auprès de la

première école de remplacement.

3.2.7.4 Sélection des écoles de l’échantillon de 2e année du

primaire

La difficulté liée à la passation individuelle des tests en 2e année et la nécessité d’harmoniser les

pratiques entre les administrateurs de tests ont conduit le PASEC à réduire la taille de l’échantillon

des écoles. Au sein de chacune des strates constituées préalablement, seule la moitié des écoles

sélectionnées aléatoirement pour l’évaluation en fin de scolarité a été invitée à participer à

l’évaluation en début de scolarité.

3.2.7.5 Attribution d’un identifiant PASEC à chaque école

Un identifiant PASEC (ID_PASEC) est attribué à chaque école de l’échantillon ainsi qu’à chacune

des écoles de remplacement. Cet identifiant est construit de manière à reconnaître facilement les

écoles échantillonnées dans chaque strate explicite et pour chaque niveau scolaire. Cet identifiant

unique est formé de six chiffres :

- deux chiffres permettant d’identifier la strate : les strates explicites sont numérotées

séquentiellement (01, 02, 03, etc.) ;

- un chiffre permettant d’identifier le ou les niveaux évalués : « 1 » si l’école est sélectionnée

pour la 6e année uniquement, « 2 » si elle fait partie des deux échantillons (6e et

2e années) ;

- trois chiffres permettant d’identifier l’école :

Au sein de chaque strate, les écoles sélectionnées (S) pour l’échantillon principal

(6e année du primaire) sont numérotées séquentiellement à partir de 001. Par

exemple, si 80 écoles sont sélectionnées dans une strate, les écoles sélectionnées

sont numérotées de 001 à 080.

Les trois chiffres d’identification des premières écoles de remplacement (R1) sont

liés à l’identifiant de l’école sélectionnée (S) correspondante. Il s’agit de l’identifiant

de l’école sélectionnée auquel on ajoute 300. Par exemple, la première école de

remplacement de l’école échantillonnée 056 aura l’identifiant 356.

Pour la seconde école de remplacement (R2), l’identifiant de l’école échantillonnée

est augmenté de 600. Dans l’exemple précédent, la seconde école de

remplacement de l’école 056 recevra l’identifiant 656.

Par exemple, l’école dont l’identifiant PASEC est 012003 est la troisième école échantillonnée (003)

dans la première strate (01) de l’échantillon principal et a été tirée pour les deux niveaux

scolaires (2). La première école de remplacement aura pour identifiant 012303 et la seconde école,

l’identifiant 012603. L’école dont l’identifiant est 031015 est la quinzième école

échantillonnée (015) dans la troisième strate (03) et a été tirée uniquement pour la classe de

6e année.

3

CHAPITRE 3

48 CONFEMEN - PASEC

3.2.7.6 Finalisation de la liste des écoles échantillonnées

Une fois les procédures d’échantillonnage terminées, la liste complète des écoles qui doivent

participer à l’évaluation et de leurs écoles de remplacement respectives est transmise à l’équipe

nationale PASEC de chaque pays pour organiser la collecte des données ; les autres écoles sont

éliminées.



L’échantillonnage des classes et des élèves

dans les pays participants L’échantillonnage des classes et des élèves est réalisé le premier jour de l’enquête par les

administrateurs de tests envoyés dans les écoles échantillonnées. La procédure d’échantillonnage

des classes et des élèves consiste en un tirage aléatoire simple.

Dans chaque école échantillonnée, une seule classe est sélectionnée pour le test de 6e année. Il

en est de même pour la 2e année. Pour le tirage, l’administrateur doit noter le nombre de classes

du niveau cible organisées dans cette école et procéder au tirage aléatoire d’une seule classe. Par

exemple, s’il y a, dans une école échantillonnée, 3 classes de 6e année identifiées 6A, 6B et 6C,

l’administrateur doit tirer au sort une classe parmi celles-ci.

Si l’école compte une seule classe de 6e année ou de 2e année, celle-ci est automatiquement

sélectionnée et c’est dans cette classe que les élèves seront sélectionnés aléatoirement pour

passer les tests.

Après la sélection de la classe, l’échantillon d’élèves est tiré parmi les élèves du niveau à enquêter

inscrits dans la classe. Si la classe comprend 20 élèves ou moins, tous les élèves de la classe sont

automatiquement sélectionnés. Parmi ceux-ci, seuls les élèves présents passent les tests. Les cas

d’élèves échantillonnés mais absents sont assimilés à des non-réponses et leur nombre est

répertorié dans la fiche de suivi des élèves.

Si la classe sélectionnée comprend plus de 20 élèves, un échantillon de 20 élèves est constitué

par tirage aléatoire simple parmi l’ensemble des élèves du niveau à enquêter inscrits dans cette

classe.

Attribution des cahiers aux élèves de la

6e année Quatre livrets (A, B, C et D) sont prévus pour les élèves de la 6e année. Après l’échantillonnage

des élèves, ces livrets sont distribués de façon aléatoire à tous les élèves sélectionnés pour le test.

3

4 4. COLLECTE ET

SAISIE DES DONNÉES

DANS LES PAYS

4

CHAPITRE 4

52 CONFEMEN - PASEC

COLLECTE ET SAISIE DES DONNÉES DANS LES PAYS


Les équipes nationales PASEC ont été sensibilisées aux procédures standardisées lors des

regroupements internationaux organisés avant chaque grande étape de l’évaluation. À chaque

phase de l’enquête, les pays, par l’intermédiaire des équipes nationales PASEC, ont été amenés à

suivre les procédures indiquées par le PASEC pour assurer la comparabilité des résultats. Des

points de contrôle ont été effectués au fur et à mesure de l’enquête pour s’assurer de la

conformité du processus. La mise en œuvre de la collecte et de l’encodage des données a été

réalisée au cours de l’année 2014 dans les pays participant à l’évaluation internationale

PASEC2014, conformément aux procédures du programme. Toutes les opérations ont été

réalisées sous la supervision des équipes nationales PASEC. Dans chaque pays, les administrateurs

de tests et les agents de saisie ont été recrutés par l’équipe nationale et formés à cet effet. Les

formations ont été conduites par l’équipe nationale appuyée par le centre international du PASEC.

Avant la mise en œuvre de la collecte des données, les équipes nationales PASEC ont été formées

aux procédures PASEC de collecte des données, d’archivage et de sécurisation des documents et

données ainsi qu’aux procédures de saisie des données.

Collecte des données Cette partie vise à présenter les principales étapes de la collecte des données de l’évaluation

PASEC2014, de la préparation de l’enquête jusqu’à la collecte des données dans les écoles par les

administrateurs de tests.

La phase de collecte de données dans les écoles a été réalisée par des administrateurs de tests

recrutés et formés par les équipes nationales PASEC sur des contenus communs à tous les pays.

Durant les opérations sur le terrain, les équipes nationales PASEC se sont assurées que les

administrateurs suivaient les différentes étapes de l’administration des tests dans les écoles et

appliquaient les standards méthodologiques fixés dans les procédures PASEC.

Le PASEC a appuyé les équipes nationales dans les pays lors de ces différentes phases.

4.1.1 Préparation de la collecte des données

4.1.1.1 Préparation logistique

La phase de collecte des données dans les écoles s’est effectuée entre avril et mai de l’année

scolaire 2013-2014 sur une période maximale d’un mois.

Les pays ont planifié la période de l’enquête dans les écoles en fonction du calendrier scolaire de

leur système éducatif, de l’organisation des examens de fin d’année et des contraintes

climatiques.

Les écoles sélectionnées pour l’enquête par le PASEC ont été réparties par l’équipe nationale

entre les administrateurs de tests de manière à regrouper les écoles d’une même zone

géographique.

Chaque école a été impartie à deux administrateurs de tests responsables de collecter

respectivement les données de la 2e ou de la 6e année. En général, chaque administrateur a

4

CHAPITRE 4

54 CONFEMEN - PASEC

enquêté 3 écoles sur une période de 3 semaines, soit une école par semaine. Par ailleurs, à chaque

école à enquêter sont assignées une fiche de suivi pour l’école et une pour les élèves ; celles-ci

permettent d’en identifier les caractéristiques et de collecter des informations sur ces entités.

4.1.1.2 Fiches de suivi des écoles et des élèves

Ces formulaires sont préparés par l’équipe nationale PASEC avant les opérations dans les écoles

et remplis par les administrateurs de tests au fur et à mesure que l’enquête est menée dans les

écoles pour enregistrer des informations sur les élèves. Cette phase est contrôlée à distance par

le PASEC.

4.1.1.3 Instruments et matériel

Les instruments PASEC sont la propriété unique du PASEC et de la CONFEMEN et ne peuvent

être reproduits ou copiés hors du cadre de l’évaluation internationale PASEC. Toute personne en

contact avec des épreuves et procédures PASEC s’engage à respecter la confidentialité en signant

un engagement écrit.

L’impression des instruments d’enquête est réalisée dans chaque pays. Le PASEC a transmis aux

équipes nationales une version électronique et des prototypes des instruments de mesure en

version papier. Les versions papier des outils permettent de présenter les normes d’impression

aux sociétés d’imprimerie chargées de la reproduction des outils conformément aux normes

PASEC. L’imprimeur a été sélectionné à l’issue d’un appel d’offres dont les critères de coût, de

rapidité et de qualité prévalent.

Chaque lot de documents imprimés a été vérifié lors de la livraison, en particulier en ce qui

concerne la quantité et la qualité de l’impression des cahiers Élèves. Une mauvaise qualité

d’impression (illisibilité, pages inversées, etc.) peut affecter le fonctionnement des items et la

qualité des résultats. Des copies supplémentaires ont par conséquent été imprimées afin de

remplacer tout document défaillant.

Les documents sont stockés dans un local sécurisé permettant d’accueillir tous les documents, de

les classer et de préparer les colis. Il est attendu que la salle de saisie des données soit adjacente

à la salle de stockage des données pour faciliter cette opération. Les instruments sont détruits par

l’équipe nationale PASEC un an après la publication des résultats.

Le PASEC a mis à disposition des pays des minuteurs standards pour la passation du test de

2e année et des autocollants standards pour sceller les tests. Du matériel de papeterie a été

nécessaire pour la préparation des colis (sacs de transport, gommes et crayons, ardoises et craies,

etc.).

4.1.1.4 Préparation des colis

Les équipes nationales PASEC ont procédé au scellage des tests et des questionnaires avec des

autocollants lors de la préparation des colis. Ce procédé a permis d’assurer la sécurité des items

avant l’administration des tests dans les écoles jusqu’au retour des colis au centre national ; il



assure aussi que les élèves qui répondent aux questions dans une partie du cahier Élèves ne

peuvent répondre à celles d’une autre partie.

Les documents et matériels nécessaires à la collecte des données dans les écoles ont été

consignés (cahier Élèves, questionnaires Maîtres et Directeurs, cahier d’administrateur de tests,

crayons, gommes, minuteur pour la 2e année) dans des sacs auxquels sont agrafés une fiche avec

le nom de l’école et le numéro de l’administrateur.

Cette phase a été contrôlée par le PASEC lors d’un appui dans les pays.

4.1.2 Formation des administrateurs de tests

4.1.2.1 Recrutement des administrateurs de tests

Les administrateurs de tests sont recrutés dans les pays par l’équipe nationale PASEC et formés

dans la capitale avant leur départ dans les écoles.

Les équipes nationales PASEC ont suivi les normes de recrutement fixées par le PASEC pour

recruter les administrateurs de tests : titulaires d’un diplôme dans le domaine de l’enseignement,

enseignants et/ou directeurs déchargés de leur poste ou à la retraite. Le PASEC a recommandé

de recruter des administrateurs expérimentés, dynamiques et motivés et de ne pas recruter du

personnel éducatif en fonction dans les écoles.

Le processus de recrutement et de formation a été déterminant pour l’évaluation en début de

scolarité primaire dans la mesure où la fidélité et la fiabilité des réponses des élèves reposent

essentiellement sur la qualité des administrateurs de tests responsables de donner les consignes

de passation puis de retranscrire les réponses des élèves. Les administrateurs de tests devaient

être disponibles pendant toute la durée de l’enquête et de la formation des administrateurs, soit

près d’un mois.

Chaque administrateur participant à la formation s’est par ailleurs engagé à respecter les clauses

de confidentialité des tests et des procédures PASEC.

4.1.2.2 Formation théorique et pratique des administrateurs de

tests

Les équipes nationales PASEC ont été sensibilisées aux procédures de passation lors des

regroupements internationaux et des appuis dans les pays offerts par le PASEC.

Tous les administrateurs de tests recrutés pour l’enquête ont suivi une formation théorique et

pratique sur les procédures de passation des tests dans les écoles. Ces procédures ont été

rassemblées dans un cahier d’administrateur qui retrace toutes les étapes à respecter pour

collecter les données conformément aux standards du PASEC. Les tests étant standardisés, tous

les élèves doivent être soumis aux mêmes conditions de passation et l’administrateur ne doit

donc pas s’écarter des consignes du PASEC.

Les formations ont été dispensées sur 3 jours pour les administrateurs de tests de 6e année et sur

6 jours pour les administrateurs de 2e année puisque ce dernier est en passation individuelle avec

4

CHAPITRE 4

56 CONFEMEN - PASEC

les élèves. Cette activité a été assurée par l’équipe nationale PASEC avec l’appui du PASEC, le cas

échéant.

Formation théorique

La formation théorique des administrateurs de tests a été cruciale pour le bon déroulement de la

collecte des données. Tous les documents, hormis les tests de 6e année (passation en autonomie

complète par les élèves), ont été présentés en profondeur aux administrateurs pour partager les

bonnes pratiques et les expériences antérieures. Des simulations ont permis d’illustrer les

procédures.

En 2e année, administrer un test revient à soumettre une suite d’items à un élève en passant d’un

exercice à un autre dans l’ordre du cahier Élèves. Il est important de bien former l’administrateur

à l’utilisation combinée du cahier Élèves et du support Élèves.

En 6e année, l’administration des tests consiste essentiellement à créer les conditions optimales

pour que les élèves remplissent les cahiers de tests dans de bonnes conditions, en ayant compris

et assimilé toutes les consignes.

Durant cette formation, les questionnaires Élèves, Maîtres et Directeurs sont également présentés.

À l’issue de cette formation théorique, les administrateurs de tests de 2e année ont disposé de

deux journées à domicile pour s’entraîner à l’administration des tests avant de compléter leur

formation par une phase pratique.

Les administrateurs de tests de 6e année, quant à eux, ont été évalués à l’aide d’un questionnaire

directement après la formation afin de valider leur compréhension des procédures.

Formation pratique et simulation dans une école

La phase pratique a permis aux administrateurs de compléter leur formation théorique en

procédant à la simulation d’une enquête dans une école témoin. Lors de cette activité, plusieurs

administrateurs de tests ont été sélectionnés pour prendre part à une partie de l’enquête :

présentation de l’enquête, tirage de la classe, tirage des élèves, passation d’un test, etc.

Durant cette journée, tous les administrateurs ont observé la simulation et relevé les difficultés et

bonnes pratiques à chacune des étapes de l’enquête dans l’école.

Une réunion-bilan a été organisée avec tous les administrateurs de tests pour échanger sur les

pratiques et corriger les difficultés observées.

4.1.2.3 Sélection des administrateurs de tests

Tout au long de la formation, les administrateurs ont été observés par l’équipe nationale PASEC.

En fin de formation, les administrateurs ont été évalués sur leur connaissance des procédures de

passation. Les administrateurs ont été notés durant la phase de simulation en milieu scolaire et

ceux ayant les notes les plus basses n’ont pas été sélectionnés.

À cette étape, les administrateurs retenus ont reçu un identifiant d’administrateur, un colis et les

fiches de suivi des écoles pour cibler les écoles à enquêter.



Chaque membre de l’équipe nationale PASEC a eu la responsabilité d’assurer la supervision d’une

partie des administrateurs lors des opérations terrain selon une couverture géographique

préétablie.

4.1.3 Collecte des données

4.1.3.1 Collecte des données dans les écoles

Les procédures de collecte des données dans les écoles sont consignées dans le cahier

d’administrateur de tests commun à tous les pays. Ce document indique les standards à respecter

et détaille les tâches et points de contrôle à effectuer par les administrateurs de tests au cours de

la collecte des données.

La collecte des données dans chaque école suit le programme suivant :

Tableau 4.1 : Programme de la collecte des données dans les écoles

Jour 1 Jour 2 Jour 3

Matinée

Présentation de

l’enquête et tirage de la

classe et des élèves


aux élèves selon le

programme de passation

retenu dans l’école


aux élèves selon le

programme de

passation retenu dans

l’école

Administration du

questionnaire Élèves

Après-midi Administration du

questionnaire Maîtres

Administration du

questionnaire

Directeurs

Vérification des données

récoltées et des

instruments

4.1.3.2 Préparation de l’enquête et tirage des classes et élèves

Les jours de collecte dans les écoles, les administrateurs de tests ont vérifié tout leur matériel

d’évaluation et rapporté à leur superviseur tout problème d’accessibilité aux écoles. Les

administrateurs ont été informés par le PASEC et l’équipe nationale que l’école à enquêter ne

peut être remplacée qu’en cas de force majeure ou de refus définitif et non pas par convenance.

L’administrateur n’a procédé au remplacement d’une école qu’avec l’accord du superviseur.

Chaque administrateur a également suivi l’ordre des écoles indiqué dans les fiches de suivi de

son cahier d’administrateur et est arrivé tôt le matin afin de disposer de suffisamment de temps

pour présenter sa mission et les objectifs de l’enquête au directeur.

Les administrateurs ont ensuite procédé au tirage aléatoire de la classe, le cas échéant, parmi

l’ensemble des classes du niveau enquêté présentes dans l’école, puis au tirage des élèves inscrits

dans la classe.

4

CHAPITRE 4

58 CONFEMEN - PASEC

4.1.3.3 Passation des tests de 2e année dans les écoles

Les écoles étaient responsables d’offrir à leurs élèves des conditions satisfaisantes de passation

des tests. Les tests ont été administrés individuellement à chacun des 10 élèves de 2e année

sélectionnés ; pour ce faire, les administrateurs avaient pour consigne de livrer les instructions et

les questions au mot près afin de garantir la standardisation des tests dans tous les pays. Les tests

se sont déroulés sur deux matinées, soit une par discipline, et l’ordre de passation des tests a été

préalablement déterminé de façon aléatoire pour chaque école. Le troisième jour a été réservé

aux questionnaires. Le temps de passation des tests et questionnaires a été approximativement

de 30 minutes par test et par élève chaque jour.

Les administrateurs avaient pour consigne de commencer par mettre les élèves en confiance. En

effet, le mode de passation des tests ne correspond pas, ou très peu, aux pratiques de classe et

d’évaluation habituelles à l’école primaire. Les administrateurs ont ensuite complété la fiche de

suivi des élèves et administré le test. Les procédures de passation ont été suivies scrupuleusement

et aucune appréciation orale des réponses des élèves n’a été donnée. Seuls les encouragements

ont été autorisés.

Les administrateurs de tests disposent pour chaque élève d’un cahier Élèves nominatif qui

contient les consignes de passation et les tableaux de correction dans lesquels ils corrigent

directement les réponses des élèves. Ils mettent à la disposition des élèves, pour la majorité des

exercices, un support Élèves contenant des images, des grilles de lettres et de mots et des textes

que les élèves doivent parcourir et lire pour répondre aux différents exercices. En mathématiques,

les élèves disposent également d’une ardoise et de craies les aidant à effectuer les opérations et

à résoudre les problèmes.

La police cursive utilisée dans le support Élèves vise, autant que possible, à reproduire l’écriture

des maîtres dans les salles de classe.

Lors de la seconde matinée de passation de test, l’ordre de passation des élèves a été inversé.

4.1.3.4 Passation des tests de 6e année dans les écoles

Les administrateurs disposaient d’une salle de classe équipée de bancs et de bureaux pour y faire

passer le test. Le temps de passation des tests et questionnaires de 6e année (passation collective)

était de 2 heures maximum par matinée, chaque test étant organisé en 2 séquences d’une heure

séparées par une pause de 10 minutes. L’évaluation s'étendait sur deux jours et l’ordre de

passation des tests en fonction de la discipline (lecture ou mathématiques) était indiqué au

préalable dans la fiche de suivi de l’école. L'administrateur ne pouvait changer cet ordre.

En préparation de la passation des tests, l'administrateur a réparti les livrets de la façon suivante :

- Élèves 1 à 5 sélectionnés : livret A

- Élèves 6 à 10 sélectionnés : livret B

- Élèves 11 à 15 sélectionnés : livret C

- Élèves 16 à 20 sélectionnés : livret D

La première partie du test de langue ou de mathématiques a été descellée. Avant de la soumettre

aux élèves, les administrateurs se sont assurés que ces derniers ont bien compris les consignes et

les modalités de réponse aux questions. Pour cela, les administrateurs ont procédé à quelques



exemples standards à voix haute et répondu aux questions des élèves. En aucun cas les

administrateurs ne devaient apporter de l’aide aux élèves pour trouver les réponses aux questions,

mais jouaient plutôt un rôle de relance auprès des élèves qui étaient bloqués sur une question.

Durant le test, les administrateurs se sont aussi assurés que les élèves ne trichaient pas.

Une fois la première heure écoulée, les élèves bénéficiaient d'une pause de 10 minutes permettant

aux administrateurs de sceller le test effectué et de desceller la seconde partie. Le même

processus de passation a été respecté pour l'administration de la seconde partie. Les

administrateurs ont répété la même démarche le lendemain avec la matière non évaluée, puis le

surlendemain avec le questionnaire Élèves.

4.1.3.5 Passation des questionnaires contextuels dans les écoles

La passation des questionnaires a eu lieu le dernier jour de l'évaluation PASEC. Ces questionnaires

ont pour but de donner des indications contextuelles.

En 2e année, l’administration du questionnaire Élèves s’est faite en passation individuelle avec

l’administrateur, qui a rempli le questionnaire en fonction des réponses de chaque élève. Cette

passation pouvait s’effectuer dans la langue de socialisation de l’élève pour faciliter sa

compréhension, si l’administrateur la parle aussi.

En 6e année, la passation des questionnaires a été collective : les administrateurs lisaient les

questions et les modalités de réponse et s’assuraient que tous les élèves remplissaient le

questionnaire.

L'administration des questionnaires Maîtres et Directeurs a suivi un seul et même processus. Les

maîtres des classes évaluées ont rempli le questionnaire. Chaque administrateur était responsable

d'un questionnaire Maîtres selon la classe qu’il enquêtait tandis que le remplissage du

questionnaire Directeurs relevait de l'administrateur de 6e année. Les maîtres et le directeur

répondaient directement aux questions de la première partie du questionnaire. Les

administrateurs pouvaient, le cas échéant, répondre à leurs interrogations et vérifiaient que toutes

les questions comportaient une réponse. La seconde partie des questionnaires était remplie avec

l'administrateur responsable, qui vérifiait les réponses des maîtres et des directeurs selon les

documents et équipements disponibles dans la classe et l'école.

Une fois les tests et les questionnaires répondus, les administrateurs devaient vérifier que les

questionnaires étaient bien remplis et que les cahiers Élèves étaient scellés. Ils s'assuraient

également de ne pas laisser de documents dans l'école enquêtée. Le processus d'évaluation s’est

ensuite répété dans les autres écoles en fonction du programme fixé à l’attention des

administrateurs.

4.1.3.6 Retour des instruments du terrain

Tous les outils d’enquête ont été vérifiés par l’équipe nationale PASEC avec les administrateurs

lors du retour des outils. Des sanctions ont été appliquées si des non-réponses sur plus de 5 %

des questions ont été constatées.

4

CHAPITRE 4

60 CONFEMEN - PASEC

4.1.3.7 Collecte des données au niveau des pays

Le PASEC administre un questionnaire sur les stratégies éducatives dans les pays. Ce

questionnaire est distribué aux équipes nationales PASEC qui ont la responsabilité de compléter

les informations en collaboration avec le ministère de l’Éducation.



Rangement et sécurisation des instruments

de collecte revenus du terrain Dans chaque pays participant à l’évaluation internationale PASEC2014, les instruments revenus du

terrain ont été rangés par ordre croissant d’identifiant PASEC (écoles) et d’identifiant élèves de

façon à former 10 lots par type d’instrument. Ce rangement a grandement contribué à la

résolution de la plupart des problèmes rencontrés lors de la saisie et du nettoyage des données.

Pour un pays ayant échantillonné 180 écoles de 6e année et 90 écoles de 2e année, l’ensemble

des instruments revenus du terrain est composé24 de :

un minimum de 180 fiches de suivi des écoles pour la 6e année. Les fiches de suivi des

écoles échantillonnées non enquêtées de même que celles des écoles remplaçantes

doivent figurer dans le lot ;

un minimum de 90 fiches de suivi des écoles pour la 2e année. Les fiches de suivi des

écoles échantillonnées non enquêtées de même que celles des écoles remplaçantes

doivent figurer dans le lot ;

un maximum de 180 fiches de suivi des élèves pour la 6e année. Pour les écoles non

enquêtées, les fiches de suivi des élèves ne sont pas prises en compte ;

un maximum de 90 fiches de suivi des élèves pour la 2e année. Pour les écoles non

enquêtées, les fiches de suivi des élèves ne sont pas prises en compte ;

un maximum de 900 livrets A et questionnaires Élèves pour la 6e année ;

un maximum de 900 livrets B et questionnaires Élèves pour la 6e année ;

un maximum de 900 livrets C et questionnaires Élèves pour la 6e année ;

un maximum de 900 livrets D et questionnaires Élèves pour la 6e année ;

un maximum de 900 livrets et questionnaires Élèves pour la 2e année ;

un maximum de 180 questionnaires Maîtres pour la 6e année ;

un maximum de 90 questionnaires Maîtres pour la 2e année ;

un maximum de 180 questionnaires Directeurs.

Ainsi, dans chaque pays, il y a eu 10 lots de chaque type d’instrument.

Le tableau suivant illustre la constitution préalable des lots d’écoles et le réajustement après la

collecte pour chaque type d’instrument.

24 Les quantités mentionnées sont établies sur la base d’un échantillon standard de 180 écoles de 6e année et de

90 écoles de 2e année du primaire. Ils ne tiennent pas compte des possibles augmentations ou diminutions (pertes)

de la taille des échantillons.

4

CHAPITRE 4

62 CONFEMEN - PASEC

Tableau 4.2 : Exemple de constitution des 10 lots

École ID_PASEC Lot

1 012001 1

2 011002 1

3 012003 1

… … …

19 012019 2

… … …

37 022001 3

… … …

57 021021 4

58 022022 4

… … …

Dans ce tableau, l’école no 1 de la liste est celle dont l’identifiant est 012001. Cette école a été

classée avant l’école no 2, dont l’identifiant est 011002.

Si, lors de la collecte, l’école no 1 est remplacée par sa première école de remplacement, dont

l’identifiant PASEC est 012301, cette école de remplacement sera aussi classée avant l’école no 2

dont l’identifiant est 011002.

Ce travail de classement doit donc être fait à l’intérieur des lots. Du lot 1 au lot 10, le classement

des écoles suit l’ordre de numérotation des strates indiqué par les deux premiers chiffres de

l’identifiant PASEC alors que la numérotation des écoles à l’intérieur de la strate est représentée

par les trois derniers chiffres.

Par exemple, la première école de la deuxième strate dont l’identifiant PASEC est 021001 viendra

bien après la première école de la première strate dont l’identifiant PASEC est 012001.

Les instruments de collecte ainsi que les ordinateurs utilisés pour la saisie des données ont été

placés dans un local sécurisé avec accès réglementé pour assurer la sécurité et la confidentialité

des données collectées. Toutes les personnes ayant eu un contact quelconque avec le matériel

sécurisé ont signé une clause de confidentialité.



Saisie des données Il n’y a pas eu de phase de codage des données à proprement parler. Cette tâche a été confiée

aux agents de saisie qui, tout au long de la saisie de données, se sont basés sur les grands

principes de l’encodage des données en parcourant les informations collectées dans un

instrument à saisir :

- D’abord de gauche à droite puis de haut en bas ;

- Les chiffres suivent la même logique de 1 à n en incrémentant chaque fois de 1 (de

gauche à droite et de haut en bas) ;

- Il existe différents types de données manquantes :

Le répondant (élève, maître ou directeur) devait répondre mais n’a pas

répondu. Si le masque de saisie autorise la saisie d’un seul chiffre, alors le

code 9 est utilisé pour ce type de donnée manquante. Si le masque de

saisie autorise deux chiffres, alors le code 99 sera utilisé, etc. ;

Le répondant ne devait pas répondre à la question, comme dans le cas

des questions emboîtées (« si oui, répondre à la question suivante, si non,

passer à la question x ») ou en raison du plan d’évaluation incomplet pour

les tests de mathématiques ou de compréhension de l’écrit. Le code 7, 97

ou 997 et ainsi de suite est attribué en fonction du nombre de chiffres

utilisés dans le masque de saisie ;

Le répondant a fourni une réponse invalide, soit en cochant plus d’une

case alors qu’il devait en sélectionner une seule, soit en répondant

n’importe quoi à une question ouverte. Le code 6, 96 ou 996 et ainsi de

suite est attribué en fonction du nombre de chiffres utilisés dans le masque

de saisie.

L’application de ces grands principes a conduit aux codifications suivantes :

4.3.1 Codification des instruments des tests de 6e année

Les réponses25 aux items de 6e année identifiées par les cases cochées prennent les valeurs 1, 2,

3, 4, 6 ou 9 (6=réponse invalide et 9=non-réponse).

4.3.2 Codification des instruments des tests de 2e année

Les réponses aux items de 2e année (outre les grilles de lettres, de mots ou de nombres) sont

entourées par les administrateurs et prennent les valeurs 1 (correct), 2 (incorrect), 6 (réponse

invalide) et 9 (non réponse) : le code 6 en 2e année indique que l’administrateur a entouré

plusieurs réponses et le 9, que l’administrateur n’a rien inscrit.

25 La recodification des items non atteints et des données manquantes par design a été effectuée lors du nettoyage

des données.

4

CHAPITRE 4

64 CONFEMEN - PASEC

En lecture, les réponses aux grilles de lettres ou de mots en 2e année (exercices 6 et 8 de lecture)

sont codées en fonction des réponses sur la grille.

En mathématiques, les réponses aux grilles de nombres en 2e année sont codées en fonction des

réponses sur la grille. La première tâche des agents de saisie consiste à identifier l’un des deux

cas de figure possibles avant de commencer la saisie :

1er cas : le code correspond uniquement au nombre entouré. Le code doit être compris

entre 1 et 100 ; on inscrit 996 si la réponse est invalide (des nombres sont barrés ou il y a

des traits alors qu’on n’en demande pas, ou bien plusieurs nombres sont entourés) ou

999 en cas de non-réponse (non-correction de l’administrateur) ;

2e cas : le code correspond à la logique suivante :

- 1=nombre non barré (nombre atteint et bien lu) ;

- 2=nombre barré (nombre atteint et mal lu) ;

- 6=réponse incohérente : quand un ou des nombres sont barrés et que la case

« l’élève a lu correctement tous les nombres » est cochée.

- 9=non-réponse : par exemple, la correction de l’administrateur n’est pas faite, c’est-

à-dire qu’aucun nombre n’est barré et que la case « l’élève a lu correctement tous les

nombres » n’est pas cochée. Attention : la case « l’élève a lu correctement tous les

nombres » à cocher n’est pas codée dans le masque de saisie, elle est là uniquement

pour savoir si l’exercice a été fait ou non par l’élève.

4.3.3 Codifications des instruments des questionnaires

contextuels

Les modalités sont les suivantes :

- Question à choix multiple à laquelle une seule réponse est attendue : 1=1re réponse,

2=2e réponse, …, n=ne réponse, 6, 96 ou 996 si réponse invalide ou 9, 99 ou 999 si non-

réponse, selon le nombre de chiffres autorisé ;

- Question à choix multiple où plusieurs réponses sont possibles : 1=case cochée et 2=case

non cochée ;

- Réponse si condition : 1=oui, 2=non, 6=réponse invalide (incohérence : plusieurs

réponses entourées ou la personne a coché « non » mais répondu à la question d’après)

ou 9=non-réponse ;

- Ne pas oublier les codes où on doit reporter le nombre donné par le répondant, tel que

l’âge, l’expérience, le revenu, etc.

Cette codification a été la même pour les dix pays à l’exception des questions dans les

questionnaires Maîtres et Directeurs relatives à la classe la plus élevée atteinte par le maître ou le

directeur, au diplôme le plus élevé possédé et à leur statut, où le nombre de modalités de réponse

pouvait varier d’un pays à un autre.

Pour chaque pays participant, la procédure de saisie des données a consisté en la réalisation de

plusieurs activités, à savoir :

- le développement des masques de saisie ;

- le recrutement et la formation des agents de saisie ;



- l’organisation générale de la saisie ;

- le contrôle de qualité ;

- la sauvegarde des données ;

- la communication entre l’équipe nationale et le PASEC.

4.3.4 Développement des masques de saisie

Le PASEC a développé les masques de saisie par type d’instrument à travers un logiciel de saisie.

Ces masques comportent des contrôles n’autorisant, pour chacune des cellules de saisie, que des

données respectant certaines conditions (de format, de valeur…).

Par exemple, il n’est pas possible d’écrire du texte dans une cellule qui attend une donnée

numérique ou de saisir la valeur « 21 » dans une cellule pour laquelle la valeur maximale est fixée

à 20. Ces masques ont été mis à la disposition des équipes nationales PASEC. De nombreux outils

ont également été développés et partagés avec les équipes nationales PASEC pour faciliter le

recrutement des agents de saisie, le contrôle de la qualité de la saisie et l’organisation des fichiers

de saisie.

Afin de veiller au respect strict des procédures de saisie et des délais pour la mise à disposition

des données, cette phase a été contrôlée par le PASEC lors d’un appui dans chacun des dix pays

participants. Ceci a permis de contribuer à la formation des agents de saisie et de renforcer les

capacités des équipes nationales dans la supervision et le contrôle des activités de saisie.

Les vérifications menées par le PASEC dans chacun des pays peuvent se résumer de la manière

suivante :

Le contrôle du respect des procédures de stockage des instruments après la collecte

de données, conformément aux procédures de gestion de données du PASEC, et

l’aide à la résolution des problèmes rencontrés lors de cette première étape ;

L’identification des entraves à la mise en place des conditions idéales de saisie

(disponibilité de la salle et du minimum de dix ordinateurs) et, au cas où ces conditions

ne sont pas remplies, la proposition d’une réorganisation qui permettrait d’obtenir

des données fiables et dans des délais raisonnables ;

Le renforcement des capacités de l’équipe nationale dans l’élaboration et la

manipulation des masques de saisie sur EpiData, en complément des présentations et

applications réalisées lors du deuxième regroupement des équipes nationales ;

L’opérationnalisation de la mise en œuvre des procédures de saisie (supervision et

contrôle de qualité) pour les masques de saisie élaborés par le PASEC (contrôle au

niveau de la double saisie, correction des erreurs, fusion des données à partir de

plusieurs masques, etc.) ;

Le lancement avec l’équipe nationale PASEC des opérations de saisie.

4.3.5 Recrutement et formation des agents de saisie

Conformément aux procédures de saisie des données, des agents de saisie ont été recrutés dans

chaque pays. Ces agents ont dû se soumettre à un test d’utilisation d’un masque de saisie réalisé

4

CHAPITRE 4

66 CONFEMEN - PASEC

avec le logiciel EpiData fourni par le PASEC. Ce test d’une dizaine de minutes consistait à saisir

les données d’un questionnaire « test » contenant un identifiant, quelques données textuelles et

quelques données numériques.

Le postulant est considéré comme compétent s’il parvient à saisir l’ensemble des données (en

faisant correctement les codifications nécessaires au préalable) sans commettre d’erreur et dans

le temps accordé.

Une fois recrutés, les opérateurs de saisie ont été formés à l’utilisation des masques de saisie à

partir d’un manuel de formation élaboré par le PASEC (voir l’annexe 1).

4.3.6 Saisie des données et contrôle de qualité

La saisie des données s’est organisée en trois phases distinctes dans chaque pays et a duré entre

30 et 45 jours.

La supervision et le contrôle de la saisie dans chaque pays ont été assurés par deux membres de

l’équipe nationale (le statisticien et l’informaticien). Une phase quotidienne de double saisie

partielle a permis un suivi rapproché de la qualité du travail de saisie.

Chaque journée de travail est clôturée par une phase d’une heure de contrôle de qualité qui

consiste à ressaisir une partie des données enregistrées au cours de la journée. Ainsi, 10 % des

fiches de suivi (des écoles et des élèves) et 15 % des livrets et questionnaires ont été choisis

aléatoirement (par un code informatique mis à la disposition des équipes nationales par le PASEC)

et soumis à une double saisie.

Concrètement, le contrôle de qualité a été organisé de la manière suivante en fonction des

différentes phases : chaque opérateur a effectué la double saisie d’instruments initialement saisis

par un autre opérateur. Le jour suivant, le superviseur, tout en continuant son rôle de supervision,

a analysé la conciliation automatique des données saisies le jour précédent. Lorsqu’une

incohérence entre la saisie initiale et la double saisie était identifiée par le logiciel, le superviseur

vérifiait la donnée exacte dans l’instrument. Après vérification et correction des incohérences, tous

les instruments qui ont été soumis à la double saisie ont été directement reclassés dans les lots

correspondants.

La saisie initiale est l’enregistrement qui doit être validé et corrigé au besoin, la double saisie ne

servant qu’à sa vérification. Au terme de la vérification de la double saisie d’un opérateur, le

superviseur a calculé le taux d’erreurs par rapport à l’ensemble des documents sélectionnés

(nombre d’erreurs détectées au fur à mesure par rapport au nombre de variables contenues dans

un instrument multiplié par le nombre d’instruments sélectionnés aléatoirement)26.

Si le taux d’erreurs dépassait 5 %, le superviseur supprimait toutes les données de la saisie initiale

et de la double saisie (pour ne pas conserver deux enregistrements pour une même école) et

l’opérateur reprenait toute la saisie le lendemain.

Afin d’éviter des doublons dans un fichier, la double saisie a été réalisée dans un fichier différent

de celui de la saisie initiale. Cette opération nécessitait que le superviseur tienne un registre précis

des différents lots traités par chacun des opérateurs afin de déterminer, avec précision et sans

26 Voir le manuel des procédures du PASEC à la partie relative à la saisie des données.



commettre d’erreur, les lots qui devaient être saisis de nouveau. Les instruments ressaisis à la

suite d’un taux d’erreurs d’au moins 5 % étaient à nouveau contrôlés. Si ce taux ne dépassait pas

les 5 %, le superviseur corrigeait les erreurs détectées dans les données de la saisie initiale et

supprimait les données de la double saisie.

Les erreurs commises par chaque opérateur dans la saisie initiale ont été comptabilisées afin de

calculer leur taux d’erreurs quotidien.

À la fin de la journée, à partir de la deuxième journée de saisie, le superviseur a donné à chacun

des opérateurs une rétroaction sur la qualité de son travail de la veille et sur la nature des erreurs

commises par chacun. Les sanctions éventuelles ont été appliquées comme décrit plus haut.

Dans tous les pays, aucun opérateur n’a excédé la barre des 10 % d’erreurs. Bien souvent, les taux

d’erreurs enregistrés ont été inférieurs à 5 %. Étant donné le faible taux d’erreurs constaté dans

les pays, le travail des opérateurs n’a été vérifié qu’un jour sur deux. Les taux d’erreurs enregistrés

sont restés faibles.

4.3.7 Sauvegarde des données

Les superviseurs de la saisie des données ont procédé quotidiennement à la récupération des

données saisies, par type d’instrument, sur un support externe. Cette opération permettait, en cas

de manipulations inappropriées sur une machine, de perte d’ordinateurs ou de tout autre

incident, de conserver un maximum de données déjà saisies.

4.3.8 Communication entre les équipes nationales et le

PASEC

Pendant toute la période de saisie, le responsable national de chaque équipe PASEC a fourni au

PASEC un bilan hebdomadaire de la progression des travaux de saisie des données en se basant

sur les comptes rendus des superviseurs. Il a aussi envoyé, à la fin de chaque semaine et pour

chaque type d’instrument, la base de données fusionnée et corrigée qui intégrait en un seul fichier

le travail de tous les agents de saisie. Cette stratégie a permis au PASEC de suivre efficacement la

progression des activités sur le terrain.

4

5 5. NETTOYAGE

DES DONNÉES

5

CHAPITRE 5

70 CONFEMEN - PASEC

NETTOYAGE DES DONNÉES


Après la collecte et la saisie des données issues de l’évaluation internationale PASEC2014, les

équipes nationales des dix pays participants ont chacune transmis au PASEC 12 bases de données,

à savoir :

- une base de données des fiches de suivi des écoles pour la 6e année ;

- une base de données des fiches de suivi des écoles pour la 2e année ;

- une base de données des fiches de suivi des élèves pour la 6e année ;

- une base de données des fiches de suivi des élèves pour la 2e année ;

- une base de données des livrets A et des questionnaires Élèves pour la 6e année ;

- une base de données des livrets B et des questionnaires Élèves pour la 6e année ;

- une base de données des livrets C et des questionnaires Élèves pour la 6e année ;

- une base de données des livrets D et des questionnaires Élèves pour la 6e année ;

- une base de données des livrets et des questionnaires Élèves pour la 2e année ;

- une base de données issue de la saisie des questionnaires Directeurs ;

- une base de données issue de la saisie des questionnaires Maîtres pour la 6e année ;

- une base de données issue de la saisie des questionnaires Maîtres pour la 2e année.

Les données de chacune de ces bases ont été collectées et saisies suivant les procédures

recommandées par le manuel de procédures du PASEC. Le nettoyage des données des dix pays

a été réalisé par le PASEC en collaboration avec les équipes nationales PASEC des pays

participants selon les phases suivantes :

- programmation sous Stata des procédures de nettoyage des données et d’identification

des incohérences dans les données ;

- correction des données avec l’appui des équipes nationales ;

- mission d’accélération ou de finalisation du nettoyage des données dans certains pays ;

- finalisation des bases de données : recodage de certains items (non atteints ou

manquants par design).

5

CHAPITRE 5

72 CONFEMEN - PASEC

Programmation sous Stata des procédures

de nettoyage des données et identification

des incohérences dans les données Le nettoyage des données de tous les pays participants à l’évaluation groupée du PASEC s’est

réalisé conformément aux procédures du PASEC. Le respect scrupuleux de ces procédures a

permis de fiabiliser la comparabilité des données internationales. En particulier, toutes les

données de tous les pays ont été vérifiées et nettoyées suivant des procédures identiques.

Lorsqu’une modification est apportée à un programme pour tenir compte du contexte d’un pays,

la même vérification est effectuée pour tous les autres pays.

Comme indiqué précédemment, le PASEC a démarré l’activité de nettoyage des données par une

programmation (sous Stata) de ces différentes procédures : un total de 17 programmes

informatiques ont été élaborés et ont servi de base pour le nettoyage des données de tous les

pays du PASEC2014. La liste de ces différents programmes ainsi que leurs descriptions se trouve

à l’annexe 2. À ceux-ci se sont ajoutés les programmes spécifiques pour chacun des dix pays, et

qui ont permis de modifier les bases de données suite aux erreurs de saisie et autres problèmes

constatés dans les données.



Recodage des données avec l’appui des

équipes nationales Pour éviter autant que possible la suppression d’une donnée pour une variable, voire la

suppression de l’ensemble des données d’un élève, d’un maître ou d’une école qui conduirait à

une diminution de la taille de l’échantillon pouvant biaiser les analyses, le nettoyage des données

a été un processus collaboratif entre les équipes nationales et le PASEC. Il a connu plusieurs

étapes :

1) Vérification et correction des incohérences sur les identifiants au niveau de chaque base

de données ;

2) Vérification et correction des incohérences entre les différentes bases de données ;

3) Vérification et correction des incohérences au niveau interne des bases de données.

5.2.1 Vérification et correction des incohérences au

niveau des identifiants dans chaque base de

données

Pour chaque pays et chaque base de données, le PASEC a vérifié et corrigé les incohérences au

niveau des identifiants des écoles à 6 chiffres et des identifiants des élèves à 2 chiffres (de 01 à 20

pour la 6e année et de 01 à 10 pour la 2e année). Les doublons ont également été vérifiés et

corrigés avec la collaboration des équipes nationales.

Les incohérences relevées découlaient d’une mauvaise saisie des identifiants. Dans bien des cas,

ces identifiants contenaient des lettres qui n’avaient rien à voir avec le format demandé par le

PASEC27.

5.2.2 Vérification et correction des incohérences entre

les différentes bases de données

Après la correction des incohérences portant sur les identifiants et les doublons, le PASEC a vérifié,

d’une part, la cohérence entre les identifiants des écoles et ceux des élèves dans les différentes

bases de données et, d’autre part, entre les déclarations des maîtres et celles des directeurs

d’écoles. Cela consistait en :

- la vérification de la concordance des noms et des identifiants des écoles entre les

différents instruments et les informations relatives à l’échantillon initial ;

27 Les identifiants des écoles ou des élèves pouvant commencer par le chiffre 0, bien que n’admettant que les

chiffres ont un format alphanumérique.

5

CHAPITRE 5

74 CONFEMEN - PASEC

- la vérification de la concordance entre les fiches de suivi des élèves et les livrets

(comparaison des identifiants et des noms/prénoms des élèves dans les deux bases,

comparaison des nombres d’enregistrements, comparaison des identifiants des livrets…) ;

- la vérification de la cohérence des déclarations (sur les effectifs) des enseignants et des

directeurs dans les questionnaires en lien avec les informations contenues dans les fiches

de suivi ;

- la mise en lien de la taille de l’école avec la somme des tailles des classes de 2e année et

de 6e année, la première devant être supérieure à la seconde ;

- l’identification des saisies incomplètes : élèves identifiés dans les livrets mais pas dans les

fiches de suivi des élèves ou élèves déclarés participants dans les fiches de suivi des élèves

mais pas dans les livrets ;

- la vérification de la structure de réponses des élèves (lignes entièrement manquantes alors

que les élèves sont déclarés participants).

À l’issue de ces différentes vérifications, les incohérences suivantes ont été identifiées et des

mesures de correction ont été entreprises :

- Un nombre non négligeable d’écoles dans certains pays ont été remplacées pour des

motifs d’inaccessibilité au moment de la collecte des données. La liste des écoles

participantes aux évaluations a été mise à jour et les écoles de remplacement ont été

maintenues dans les données en conformité avec les procédures du PASEC en la matière ;

- Certains instruments se sont avérés non saisis par confrontation des données des livrets

et des fiches de suivi. Pour tous les pays, les données des instruments existants mais non

saisis ont été ajoutées dans les bases de données après vérifications par le PASEC ;

- Dans tous les pays, un nombre important d’élèves ayant réalisé les tests étaient déclarés

absents ou exclus dans les fiches de suivi. La vérification de ces déclarations et les

corrections ont été faites ;

- Dans tous les pays, des incohérences ont été détectées entre les déclarations des

directeurs et celles des enseignants, et ceci aux deux niveaux scolaires évalués (taille des

classes enquêtées, effectifs enquêtés, nombre d’élèves pour un niveau donné, etc.). La

correction de ces incohérences a été indispensable pour un calcul correct des poids des

élèves dans les bases de données finales.

Certaines des incohérences identifiées ont été corrigées par le PASEC et transmises aux équipes

nationales pour confirmation. D’autres, par contre, ont été soumises aux équipes nationales pour

correction. La validation des corrections proposées par le PASEC ainsi que la correction des autres

incohérences ont été réalisées par les équipes nationales après consultation des instruments de

collecte et parfois des directeurs des écoles concernées.



5.2.3 Vérification et correction des incohérences au

niveau interne des bases de données

Après la vérification et la correction des incohérences entre les bases des données par le PASEC

en collaboration avec les équipes nationales, les vérifications ci-dessous ont été réalisées par le

PASEC au niveau interne des bases de données :

- identification et correction des données aberrantes/atypiques sur les variables ;

- identification et correction des cas de non-respect des filtres ;

- vérification de la cohérence interne des bases des données ;

- vérification de la concordance dans le codage des items relatifs aux grilles de lettres et de

mots dans le livret de 2e année ;

- etc.

Dans tous les pays, des données atypiques sur certaines variables des questionnaires contextuels

ont été identifiées et corrigées en recourant systématiquement aux instruments de collecte ou en

appelant les directeurs des écoles concernées (âge de l’élève, nombre de personnes avec qui

l’élève vit, âge et ancienneté du maître, nombre de classes tenues par le maître, nombre moyen

de leçons de français ou de mathématiques par semaine, nombre moyen d’élèves absents par

mois, nombre effectif d’heures de cours par semaine, nombre de places assises ou de supports

pour écrire pour les élèves dans la classe, âge et ancienneté du directeur, nombre d’inspections,

nombre de maîtres, nombre de toilettes, etc.). Il en est de même pour les incohérences liées au

non-respect des filtres, qui ont été identifiées et corrigées pour tous les pays.

L’identification des valeurs atypiques/aberrantes a été contextualisée selon le pays. Ceci a parfois

mené à reconsidérer la procédure statistique (méthode de la moyenne plus ou moins trois écarts-

types) et à la fixer selon les réalités du pays.

Les rapports faisant état des incohérences identifiées ont été communiqués aux équipes

nationales qui ont apporté les corrections nécessaires après consultation des instruments de

collecte et parfois des directeurs des écoles concernées.

5

Mission de finalisation du nettoyage des

données dans les pays Bien que les rapports faisant état des incohérences identifiées dans les données aient été

communiqués par le PASEC aux équipes nationales en vue de leur correction, une mission d’appui

et de contrôle technique de cette opération a été effectuée par le PASEC dans la plupart des pays

(8 sur 10). Ces missions ont été déterminantes pour l’accélération du processus de nettoyage dans

certains cas ou de sa finalisation dans d’autres.

Finalisation des bases de données :

Recodage des items (non atteints et

manquants par design) À la fin du nettoyage des données, les bases de données des livrets A, B, C et D de la 6e année

de chaque pays ont été fusionnées en une seule base. Une recodification a été faite pour les items

non atteints (code 8) des cahiers Élèves de 6e année et les données manquantes par design

(code 7=non applicable). De même, les items non atteints des grilles de lecture des cahiers Élèves

de 2e année ont été recodés comme non applicables (code 7).

6 6. PONDÉRATION DES

DONNÉES ET CALCUL

DES POIDS ISSUS DE LA

RÉPLICATION

6

CHAPITRE 6

78 CONFEMEN - PASEC

PONDÉRATION DES DONNÉES ET CALCUL DES POIDS ISSUS DE LA RÉPLICATION


Les données issues de l’évaluation ont été collectées à partir d’un échantillon et non auprès de la

population complète d’écoles et d’élèves. L’activité de pondération permet l'estimation des

paramètres de population et de la variance d’échantillonnage afin d’étendre l’analyse de ces

données à l’échelle nationale.

Pondération des données et calcul des taux

de participation

6.1.1 Pondération des données

La pondération des données consiste à attribuer un « poids » à chaque école et à chaque élève

de l’échantillon en fonction de sa probabilité de sélection dans l’échantillon et des éventuels

ajustements. Ce « poids » permet de s’assurer que chaque école et que chaque élève de

l’échantillon représente un nombre approprié d’écoles et d’élèves dans la population totale

d’écoles et d’élèves. Ainsi, la pondération vise à calculer des paramètres de population au départ

d’un échantillon représentatif de cette même population.

Comme il a été indiqué au chapitre 3, l’échantillon de l’évaluation PASEC2014 est issu d’un tirage

systématique proportionnel à la taille des écoles et d’un tirage aléatoire simple de classes et

d’élèves. La probabilité finale de sélection d’un élève n’est pas égale d’une école à l’autre et entre

l’échantillon initial et final pour les raisons suivantes :

- le manque de précision ou d’actualisation des informations relatives à la taille des écoles

dans la base de sondage : L’échantillonnage des écoles est pratiqué sur la base de la liste

complète des écoles de la population, ou « base de sondage ». Pour être en mesure

d’effectuer une sélection avec une probabilité proportionnelle à la taille de l’école, une

mesure de taille doit être incluse dans la base de sondage. Il peut arriver dans certains

pays que le nombre d’élèves par niveau scolaire dans l’école ne soit pas complètement

répertorié dans les statistiques nationales. Dans ce cas, la mesure de taille est estimée en

divisant le nombre total d’élèves dans l’école par le nombre de niveaux scolaires organisés

au sein de cette école. En outre, même si les statistiques nationales contiennent ces

informations, des données sur les effectifs dans les écoles sont collectées par les

administrateurs de tests et permettent de mettre à jour ces informations. Dès lors, les

incohérences entre la mesure de taille indiquée dans la base de sondage et le nombre

d’élèves réel au moment de l’évaluation génèrent une certaine variabilité des poids finaux

des élèves ;

- la non-réponse des écoles et des élèves : Certaines écoles peuvent refuser de participer à

l’évaluation. De même, certains élèves au sein des écoles participantes peuvent refuser de

participer ou être absents le jour de l’évaluation ;

6

CHAPITRE 6

80 CONFEMEN - PASEC

- la variation de la taille des classes au sein des écoles : Les classes de même niveau au sein

d’une école ne sont pas nécessairement de tailles strictement égales. Cette variabilité

introduit aussi une variabilité des probabilités de sélection des élèves, et donc une

variabilité supplémentaire des poids finaux des élèves.

La pondération des données est faite dans les bases de données des élèves pour tous les pays.

Le poids final d’un élève comprend six composantes :

- le poids initial de l’école ;

- éventuellement, l’ajustement pondéral pour la non-réponse des écoles dans leurs strates

respectives ;

- le poids de la classe au sein de l’école ;

- le poids initial de l’élève au sein de sa classe ;

- l’ajustement pour la non-réponse des élèves dans leurs classes respectives.

Le poids final d’un élève de 6e année s’écrit donc de la manière suivante :

_ _ _ _ * _ * _ * _ _ * _ij j j j ij jW ELS FIN W SCH INIT ADJ SCH W CLA W ELS INIT ADJ ELS

Où :

_ _ ijW ELS FIN correspond au poids final de l’élève i dans l’école j en 6e année ;

_ _ jW SCH INIT correspond au poids initial de l’école j ;

_ jADJ SCH correspond au facteur d’ajustement pour la non-réponse de l’école j ;

_ jW CLA correspond au poids de la classe au sein de l’école j. Si l’école ne dispose que

d’une seule classe, le poids de la classe au sein de l’école sera donc égal à 1 ;

_ _ ijW ELS INIT correspond au poids initial de l’élève au sein de la classe ;

_ jADJ ELS correspond au facteur d’ajustement pour la non-réponse des élèves.

Au sein d’une même classe, les élèves ont donc exactement le même poids.

La pondération des données de 2e année suit globalement la même procédure que la celle pour

la 6e année. Le poids initial de l’école est repris de la pondération des données de 6e année mais

en tenant compte du sous-échantillonnage des écoles. En effet, l’échantillon de la 2e année est

issu de l’échantillon de la 6e année par un tirage aléatoire simple en en sélectionnant la moitié

des écoles.

L’ajustement pour le sous-échantillonnage est appliqué au niveau des strates explicites. Le poids

final d’un élève de 2e année comprend donc six composantes :

- le poids initial de l’école pour les données de 6e année ;

- l’ajustement pour le sous-échantillonnage ;

- l’ajustement pondéral pour la non-réponse des écoles ;

- le poids de la classe au sein de l’école ;

- le poids initial de l’élève au sein de sa classe ;



- l’ajustement pour la non-réponse des élèves.

6.1.1.1 Le poids initial de l’école

Le poids initial de l’école ( _ _ jW SCH INIT ) est l’inverse de la probabilité de sélection de l’école

dans l’échantillon. Dans le cadre du tirage systématique avec probabilité proportionnelle à la taille

utilisé lors de l’évaluation PASEC2014, ce poids est calculé par strate et obtenu en appliquant la

formule suivante :

_ _

1*_ _

1

h hj

e s j e sj

N Nsi MOS

n MOS nW SCH INIT

par ailleurs

Où :

jMOS correspond à la mesure de la taille de l’école j comme mentionné au chapitre 3 ;

hN correspond au nombre total d’élèves dans la strate h. Il est calculé en faisant la somme

des mesures de taille jMOS des écoles dans la strate h ;

_e sn correspond au nombre d’écoles à sélectionner dans la strate h.

Par exemple, pour un pays x avec une seule strate dont le nombre total d’élèves est de 350 000

et dont 180 écoles sont à échantillonner, le poids d’une école dont la mesure de la taille est de

50 élèves est donc (350 000 / 180) * (1 / 50) = 38,89. Un poids de 38,89 signifie qu’une école

représente une quarantaine d’écoles au niveau national.

6.1.1.2 L’ajustement pondéral pour la non-réponse des écoles

Au cours de la collecte des données, des écoles peuvent refuser de participer à l’enquête. Afin de

tenir compte des écoles non participantes et non remplacées, des ajustements pour la non-

réponse des écoles sont faits. Plus précisément, il s’agit de répartir ce qu’aurait dû être la

contribution des écoles non participantes sur les écoles participantes. Autrement dit, le facteur

d’ajustement est égal au rapport entre la contribution combinée des écoles participantes et des

écoles qui auraient dû participer et la contribution des écoles participantes. Le calcul de

l’ajustement pondéral pour la non-réponse des écoles est fait à l’intérieur des strates explicites

définies lors de la conception du plan d’échantillonnage.

6.1.1.3 Le poids de la classe au sein de l’école

Lors de la collecte des données dans les écoles, une seule classe de 6e année ou de 2e année est

tirée aléatoirement par les administrateurs de tests. Le nombre de classes ( _ jNB CLASSES ) de

6e année ou de 2e année de l’école j échantillonnée est indiqué dans la fiche de de suivi de l’école.

6

CHAPITRE 6

82 CONFEMEN - PASEC

C’est ce nombre qui permet de calculer le poids de la classe au sein de l’école. Comme une seule

classe est choisie, le poids de la classe au sein de l’école j se calcule comme suit :

1_ _

1

_

j j

j

W CLA NB CLASSES

NB CLASSES

Si l’école ne dispose que d’une classe, le poids de la classe au sein de l’école sera alors égal à 1.

6.1.1.4 Le poids initial de l’élève au sein de sa classe

Dans une école échantillonnée et au sein de la classe sélectionnée par l’administrateur de tests,

théoriquement 20 élèves en 6e année et 10 élèves en 2e année sont tirés parmi l’ensemble des

élèves inscrits, qu’ils soient présents ou non le premier jour de l’administration des tests. Le

nombre d’élèves échantillonnés ( _ jNB SAMP ) dans l’école j doit au plus être égal à 20 ou à 10

respectivement pour la 6e année et la 2e année.

L’ensemble des élèves de la classe ( _ jNB ELS ) au sein de l’école j sont également répertoriés

dans la fiche de suivi de l’école, ce qui permet de calculer le poids initial de l’élève dans sa classe :

_1_ _

_ _

_

j

jj j

j

NB ELSW ELS INIT

NB SAMP NB SAMP

NB ELS

Par exemple, dans une école qui compte 65 élèves en 2e année et 70 élèves en 6e année et dans

laquelle 10 élèves ont été échantillonnés en 2e année et 20 en 6e année, le poids d’un élève de

2e année et de 6e année est respectivement de 65 / 10 = 6,5 et 70 / 20 = 3,5. Ce poids initial de

l’élève dans sa classe permet de dire qu’un élève de 2e année de cette école représente environ

7 de ses camarades et qu’un élève de 6e année en représente environ 4.

6.1.1.5 L’ajustement pour la non-réponse des élèves

Le facteur d’ajustement pour la non-réponse des élèves permet de tenir compte des cas

d’absence des élèves aux tests. Un élève absent est un élève échantillonné mais qui n’a participé

à aucune session d’évaluation. Le nombre d’élèves absents dans une classe sélectionnée

( _ jNB AB ) au sein de l’école j est calculé à partir des informations consignées sur chaque élève

dans la fiche de suivi des élèves.

Un élève est considéré comme présent lorsqu’il a passé au moins une section du test de

compréhension de l’écrit ou une section du test de mathématiques. Le nombre d’élèves de l’école

j présents ( _ jNB PRE ) est calculé en faisant la somme de tous les élèves présents aux tests.



Le facteur d’ajustement pour la non-réponse des élèves est calculé comme suit :

_ __

_

j j

j

j

NB PRE NB ABADJ ELS

NB PRE

6.1.2 Calcul des taux de participation des écoles et des

élèves

Les taux de participation sont calculés sans pondération puis avec pondération.

6.1.2.1 Taux de participation des écoles avant remplacement

Le taux de participation non pondéré des écoles avant remplacement est égal au nombre d’écoles

de l’échantillon initial qui ont participé divisé par le nombre d’écoles de l’échantillon initial qui ont

ou auraient dû participer.

_ __ _ _

_I

NB S PT R NP EC

NB S

Où :

_ _NB S P correspond au nombre d’écoles sélectionnées de l’échantillon initial qui ont

participé sans prise en compte des écoles de remplacement ;

_NB S correspond au nombre total d’écoles sélectionnées qui ont ou auraient dû participer

(180 en 6e année et 90 en 2e année dans le cas où il n’y a pas d’exclusion après

échantillonnage).

Le taux de participation pondéré des écoles avant remplacement implique les mêmes

enregistrements que précédemment mais prend en considération le poids initial de l’école et les

effectifs (SIZE) de la classe tels qu’inscrits dans la base de sondage. Autrement dit, le taux de

participation pondéré des écoles avant remplacement est égal à la somme des produits

(W_SCH_INIT * SIZE) des écoles de l’échantillon initial qui n’ont pas été exclues et qui ont participé

divisée par la somme de ces mêmes produits pour l’ensemble des écoles de l’échantillon initial

qui n’ont pas fait l’objet d’une exclusion.

_ _

_ _ __ _

k k

k SI

k k

k S NP

W SCH INIT SIZE

T R P ECW SCH INIT SIZE

Où :

S, correspond à l’ensemble des écoles de l’échantillon initial qui n’ont pas été exclues et qui

ont participé ;

6

CHAPITRE 6

84 CONFEMEN - PASEC

NP correspond à l’ensemble des écoles de l’échantillon initial qui n’ont pas été exclues et qui

n’ont pas participé ;

_ _ kW SCH INIT correspond au poids initial de l’école k, qui est l’inverse de la probabilité

de sélection de l’école ;

kSIZE correspond au nombre d’élèves de 6e ou de 2e année de l’école k.

6.1.2.2 Taux de participation des écoles après remplacement

Le calcul des taux de participation (non pondérés et pondérés) en tenant compte des écoles de

remplacement suppose que ces dernières soient comptabilisées au niveau du numérateur au

même titre que les écoles de l’échantillon initial non exclues et qui ont participé et qu’elles soient

comptabilisées au niveau du dénominateur en lieu et place des écoles qu’elles remplacent. En

d’autres termes, les écoles de l’échantillon initial qui ont été remplacées par leur école de

remplacement n’interviennent plus au dénominateur.

Le calcul du taux de participation non pondéré avec les écoles de remplacement est le suivant :

1_ 2

_ _ __ _ _

_ _R R

NB S R PT R NP EC

NB S R

Où :

_ _ _NB S R P correspond au nombre d’écoles sélectionnées de l’échantillon initial plus les

écoles de remplacement qui ont participé ;

_ _NB S R correspond au nombre total d’écoles sélectionnées qui ont ou auraient dû

participer en comptabilisant les écoles de remplacement et en supprimant les écoles

remplacées.

Le calcul du taux de participation pondéré avec les écoles de remplacement s’effectue comme

suit :

1_ 2

_ _

_ _ __ _

k k

k SRR R

k k

k SR NP

W SCH INIT SIZE

T R P ECW SCH INIT SIZE

Où :

SR correspond à l’ensemble des écoles de l’échantillon initial et des écoles de remplacement

qui n’ont pas été exclues et qui ont participé ;

NP correspond à l’ensemble des écoles de l’échantillon initial qui n’ont pas été exclues et qui

n’ont pas participé ;

_ _ kW SCH INIT correspond au poids initial de l’école k ;

kSIZE correspond au nombre d’élèves de 6e ou 2e année de l’école k.



Tableau 6.1 Taux de participation non pondérés et pondérés des écoles

PAYS

Échantillon

prévu

Échantillon

réalisé

Taux de

participation

non pondéré

sans écoles de

remplacement

(%)

Taux de

participation

pondéré sans

écoles de

remplacement

(%)

Taux de

participation

non pondéré

avec écoles de

remplacement

(%)

Taux de

participation

pondéré avec

écoles de

remplacement

(%)

6e 2e 6e 2e 6e 2e 6e 2e 6e 2e 6e 2e

Bénin 180 90 165 80 91,67 88,89 94,29 90,34 91,67 88,89 94,29 90,34

Burkina Faso 200 100 182 100 91,00 100,00 97,39 100,00 91,00 100,00 97,39 100,00

Burundi 180 90 180 90 99,44 98,89 100,00 100,00 100,00 100,00 100,00 100,00

Cameroun 280 140 266 134 94,75 95,82 99,33 98,52 95,10 95,82 99,35 98,52

Congo 180 90 164 90 86,67 91,11 88,48 92,00 91,11 100,00 92,83 100,00

Côte d'Ivoire 180 90 169 88 93,89 97,78 97,35 99,39 93,89 97,78 97,35 99,39

Niger 180 90 176 86 96,11 93,33 97,94 95,21 97,78 95,56 99,05 95,56

Sénégal 180 90 160 83 88,89 92,22 96,02 95,62 88,89 92,22 96,02 95,62

Tchad 180 90 157 88 82,78 96,67 92,14 98,22 87,22 97,78 96,66 99,03

Togo 190 95 189 95 99,47 100,00 99,76 100,00 99,47 100,00 99,76 100,00

6.1.2.3 Taux de participation des élèves

Le taux non pondéré de participation des élèves se calcule comme suit :

_

_ _ _

( _ _ )

k

k

k k

k

NB PRE

T R NP ELS

NB PRE NB AB

Où :

_ kNB PRE correspond au nombre d’élèves présents (participants à une des quatre sessions

des tests) dans l’école k ;

_ kNB AB correspond au nombre d’élèves absents des tests dans l’école k.

Le taux de participation pondéré des élèves est calculé avec le poids initial de l’élève, qui tient

compte du poids ajusté de l’école, du poids de la classe et du poids de l’élève dans la classe.

6

CHAPITRE 6

86 CONFEMEN - PASEC

Tableau 6.2 : Taux de participation non pondéré et pondéré des élèves

PAYS

Nombre d'élèves

échantillonnés

Nombre d'élèves

participants

Nombre d'élèves exclus

Nombre d'élèves absents

Taux de participation non pondéré

(%)

Taux de participation

pondéré (%)

6e 2e 6e 2e 6e 2e 6e 2e 6e 2e 6e 2e

Bénin 3 178 799 3 033 732 13 1 118 61 96,27 92,36 96,82 93,57

Burkina Faso 3 462 979 3 416 969 1 8 43 2 98,76 99,79 98,73 99,72

Burundi 3 568 900 3 461 855 2 3 91 37 97,45 95,88 97,27 96,40

Cameroun 4 292 1 304 3 817 1 071 14 10 428 204 90,16 84,88 90,56 85,47

Congo 2 785 894 2 673 871 5 0 101 20 96,37 97,76 95,39 97,99

Côte d'Ivoire 3 020 873 2 972 840 3 4 45 25 98,51 97,12 98,51 92,73

Niger 3 297 860 3 196 813 1 1 90 38 97,27 95,58 97,49 96,04

Sénégal 2 909 808 2 905 807 0 0 1 1 99,97 99,88 99,96 99,70

Tchad 2 761 870 2 484 813 10 1 233 45 91,53 94,82 92,32 94,62

Togo 3 302 948 3 256 911 2 3 38 29 98,85 96,93 99,05 96,64

Calcul de la variance d’échantillonnage L’estimation de statistiques de population à partir d’un échantillon d’individus comporte une

certaine incertitude, ou risque d’erreur, liée à la variabilité qui existe entre les différents

échantillons possibles. La variance d’échantillonnage est une quantification de l’incertitude due à

l’échantillonnage.

Le plan d’échantillonnage doit être pris en considération pour l’estimation de la variance

d’échantillonnage. En effet, estimer la variance d’échantillonnage d’un échantillon à deux niveaux

comme s’il s’agissait d’un échantillon aléatoire et simple revient à sous-estimer la variance

d’échantillonnage, ce qui affecte les intervalles de confiance des paramètres de population

estimés.

Les méthodes de réplication ou de ré-échantillonnage sont utilisées pour estimer les variances

d’échantillonnage. Ces méthodes impliquent de nombreuses étapes de calculs en série. Ces

méthodes de réplication reposent sur un même processus en trois étapes :

- la reproduction d’un nombre important de sous-échantillons fictifs au départ de

l’échantillon réel ;

- le calcul de la statistique pour l’échantillon entier et pour chacun des sous-échantillons

répliqués ;

- l’analyse de la variation du paramètre estimé pour l’échantillon entier par rapport au

même paramètre pour chaque sous-échantillon.



L’évaluation internationale PASEC2014 utilise la méthode de réplication de type Jackknife pour le

calcul de la variance d’échantillonnage. Plus précisément, il s’agit de la variante de la méthode du

Jackknife pour les échantillons stratifiés appelée Jackknife 2 (JK2).

Comme indiqué au chapitre 3, le tirage des échantillons par une procédure systématique avec

une probabilité proportionnelle à la taille et l’utilisation de variables de stratification permettent

de minimiser la variance d’échantillonnage.

La méthode Jackknife 2 pour un échantillon stratifié à plusieurs niveaux consiste à grouper par

paires, au sein de chaque strate, les unités premièrement échantillonnées (les écoles) selon l’ordre

dans lequel elles ont été sélectionnées. La méthode génère autant de réplications dans la strate

qu’il y a de paires d’écoles, ou « pseudo-strates ».

De façon technique, la méthode JK2 comprend les étapes suivantes :

- la construction des zones de Jackknife, ou pseudo-strates ;

- la génération des poids de réplications ;

- le calcul de la variance d’échantillonnage.

6.2.1 La construction des zones de Jackknife, ou pseudo-

strates

Pour construire les zones de Jackknife, les écoles participantes sont triées selon l’ordre dans lequel

elles ont été sélectionnées dans l’échantillon. Dans cette liste ordonnée, une école de

remplacement participante prend la place de l’école de la liste initiale qu’elle remplace.

Au sein de chaque strate explicite, des couples d’écoles sont constitués : dans la liste ordonnée,

l’école 1 et l’école 2 sont assignées à la première pseudo-strate, l’école 3 et l’école 4 sont

assignées à la deuxième pseudo-strate, etc. Si la strate explicite contient un nombre impair

d’écoles, les élèves de la dernière école de la strate sont aléatoirement répartis en deux groupes

pour constituer deux pseudo-écoles.

L’échantillon principal de la 6e année étant constitué de 180 écoles, 90 pseudo-strates sont

construites, alors qu’il y en a 45 pour la 2e année. Pour les pays où l’échantillon dépasse 180 écoles

en 6e année et 90 écoles en 2e année, les pseudo-strates qui sont au-delà de la pseudo-strate 90

(ou 45 pour la 2e année) sont fusionnées. Ainsi, la pseudo-strate 91 est fusionnée avec la pseudo-

strate 1, la 92 avec la 2 et ainsi de suite.

6.2.2 La génération des poids de réplications

Après la construction des pseudo-strates, il s’agit de générer les poids de réplications. Les poids

de réplications sont simplement des poids calculés lors du processus de pondération des

6

données. Ainsi, dans chaque pseudo-strate formée précédemment, un indicateur ui

aléatoirement codé 0 ou 1 est attribué à chacune des deux écoles de telle sorte que l’une des

écoles est codée 0 et l’autre, 1. Cet indicateur détermine si le poids des élèves échantillonnés dans

cette école sera doublé (lorsque ui=1) ou mis à zéro (lorsque ui=0) pour créer la réplication de

l’échantillon correspondant à la pseudo-strate.

Pour chaque pays, 90 réplications sont produites en 6e année et 45 en 2e année. Dans le cas où,

après la collecte et le nettoyage des données, un pays se retrouve avec moins de 180 écoles en

6e année et moins de 90 écoles en 2e année, 90 réplications sont néanmoins construites pour la

6e année et 45 pour la 2e année.

Prenons par exemple un pays qui se retrouve avec 170 écoles après la collecte et le nettoyage

des données : pour les 85 premières réplications28, le poids des élèves d’une des deux écoles de

chaque pseudo-strate est mis à zéro et celui des élèves de l’autre école est doublé ; pour les

5 dernières réplications, le poids des élèves de toutes les écoles participantes est inchangé.

Toutes ces étapes du JK2 sont appliquées directement sur la base de données des élèves, qui

inclut les performances des élèves, les variables contextuelles et les pondérations des élèves. Ainsi,

à chaque élève j de la base de données de 6e année est attribué un vecteur de 90 poids de

réplications alors qu’en 2e année c’est un vecteur de 45 poids de réplication qui est attribué.

Par exemple, pour l’élève j de la base de données de 6e année, les poids de réplications sont

désignés par rwgt1j, rwgt2j, rwgt3j, …, wgt90j et pour un élève k de la base de données de 2e année,

les poids de réplications sont désignés par rwgt1k, rwgt2k, rwgt3k, …, wgt45k.

Ces poids de réplications sont les transformations du poids final de l’élève j (0 jrwgt ). Le poids de

la he réplication est calculé comme suit :

0 *hj j hjrwgt rwgt k

Où :

2* ' '

1

i

hj

u si l élève j est dans l école i de la pseudo strate hk

dans les autres cas

Ainsi, khj vaut 2 (ui=1) pour une des deux écoles de la pseudo-strate h et khj vaut 0 (ui=0) pour la

seconde école, c’est-à-dire que la pondération des élèves d’une des deux écoles est doublée,

tandis qu’elle est ramenée à zéro pour l’autre école. Pour toutes les autres écoles n’appartenant

pas à la pseudo-strate h, la pondération du poids des élèves est inchangée. La he réplication de

l’échantillon contient donc autant d’élèves que l’échantillon principal.

28 Pour les 170 écoles, on forme 170/2=85 paires d’écoles ou pseudo-strates. Mais 90 réplications doivent être

formées. Ainsi, 5 réplications seront ajoutées.

7 7. MISE À L’ÉCHELLE

DES DONNÉES

COGNITIVES

7

CHAPITRE 7

90 CONFEMEN - PASEC

MISE À L’ÉCHELLE DES DONNÉES COGNITIVES


Ce chapitre décrit les résultats de la calibration des données cognitives de l’évaluation PASEC2014

selon la Théorie de Réponse à l’Item (TRI) et de l’application de la méthodologie des valeurs

plausibles.

Modèles de calibration

7.1.1 Le modèle de Rasch

Le modèle de Rasch, tout comme les autres modèles de réponse aux items, crée un continuum

sur lequel sont localisés à la fois la performance des élèves et le niveau de difficulté de l’item, liés

entre eux par une fonction probabiliste. Les élèves moins performants et les items faciles seront

situés sur la partie gauche du continuum ou de l’échelle, tandis que les élèves plus performants

et les items difficiles seront à droite. Le graphique 7.1 présente la probabilité de réussite (courbe

grise) et la probabilité d’échec (courbe noire) pour un item de difficulté 0.

Graphique 7.1 : Courbes caractéristiques d’un item dichotomique

Comme le montre ce graphique, pour un item de difficulté 0 :

- un élève avec une aptitude de zéro a une probabilité de réussite de 0,50 et une probabilité

d’échec de 0,50 ;

- un élève avec une aptitude de -2 a une probabilité de réussite d’un peu plus de 0,10 et

une probabilité d’échec de 0,90. Mais cet élève aura une probabilité de réussite de 0,5

pour un item de difficulté -2.

D’un point de vue mathématique, la probabilité qu’un élève i avec une aptitude i fournisse une

réponse exacte à un item j de difficulté j est égale à :

)exp(1

)exp(),|1( i

ji

ji

jijXP

0

0,2

0,4

0,6

0,8

1

-4 -3 -2 -1 0 1 2 3 4

P

r

o

b

a

b

i

l

i

t

é

Continuum Rasch 7

CHAPITRE 7

92 CONFEMEN - PASEC

7.1.2 Modèle à crédit partiel (cas de la 2e année)

Le modèle à crédit partiel est une extension du modèle de Rasch pour les items polytomiques. Il

admet la possibilité qu’une réponse soit incorrecte, partiellement correcte ou correcte, ce qui ne

peut être envisagé dans le cadre du modèle de Rasch. Considérons le cas simple d’un item dont

les modalités de réponses sont codées 0, 1 et 2, par exemple « incorrecte », « partiellement

correcte » et « correcte » (comme c’était le cas des items à crédit partiel du test de 2e année de

l’évaluation PASEC2014).

Dans ce modèle, les 𝑚𝑗 + 1 modalités de réponse sont séparées à l’aide de 𝑚𝑗 seuils (parfois

appelés « paramètres d’étape », ou step parameters en anglais). Ces seuils sont notés 𝛿𝑗𝑥 pour

l’item j. Chaque paramètre d’étape peut être vu comme le niveau d’aptitude à atteindre pour

passer d’une catégorie de réponse à la suivante.

Contrairement au modèle précédent, le modèle à crédit partiel détermine directement la

probabilité de fournir la modalité 𝑥 (valant 0, 1 ou 2 dans notre exemple) au moyen d’une fraction

entre une exponentielle et une somme d’exponentielles. La formule générale est disponible dans

l’ouvrage de Embretson et Reise (2000) ; nous la détaillons ci-dessous dans le cas de l’item à trois

modalités décrit ci-dessus. Rappelons que 𝛽𝑖 désigne le niveau d’aptitude de l’élève.

𝑃𝑗0(𝛽𝑖) =1

1 + exp(𝛽𝑖−𝛿𝑗1) + exp(2 𝛽𝑖−𝛿𝑗1−𝛿𝑗2),

𝑃𝑗1(𝛽𝑖) =exp(𝛽𝑖 − 𝛿𝑗1)

1 + exp(𝛽𝑖 − 𝛿𝑗1) + exp(2 𝛽𝑖 − 𝛿𝑗1 − 𝛿𝑗2)

et

𝑃𝑗2(𝛽𝑖) =exp (2 𝛽𝑖 − 𝛿𝑗1 − 𝛿𝑗2)

1 + exp(𝛽𝑖 − 𝛿𝑗1) + exp(2 𝛽𝑖 − 𝛿𝑗1 − 𝛿𝑗2)

Il importe de constater que le dénominateur (commun aux trois probabilités) est la somme des

trois numérateurs, ce qui permet donc de parler de probabilités vu que leur somme équivaut à

un. Cette formule s’applique naturellement peu importe le nombre de modalités de réponse.

Le graphique 7.2 présente les courbes de probabilité sur le continuum des niveaux d’aptitude

pour un item dont les paramètres de seuil sont 𝛿𝑗1 = −1 et 𝛿𝑗2 = 0,5. Remarquons que

l’interprétation des seuils est immédiate dans le cadre de ce modèle : ils correspondent aux

niveaux d’aptitude où les courbes des deux modalités de réponse se croisent. Par exemple, les

courbes de probabilité des modalités 0 (en bleu) et 1 (en rouge) se croisent en la valeur

𝛽𝑖 = −1 = 𝛿𝑗1. Il en est de même pour les courbes des modalités 1 (en rouge) et 2 (en vert) qui

se croisent en la valeur 𝛽𝑖 = 0,5 = 𝛿𝑗2.



Graphique 7.2 : Courbes caractéristiques pour le modèle à crédit partiel

7.1.3 Modèles multidimensionnels

Les modèles précédents partagent tous la caractéristique de l’unidimensionnalité : un seul trait

latent (le niveau d’aptitude) est modélisé et effectivement mesuré par le test. Cependant, du fait

que chaque discipline est composée de plusieurs sous-domaines (connaître, appliquer et

raisonner en termes de processus cognitifs ; numération, géométrie/espace et mesure en termes

de sous-domaines de mathématiques, etc.), il serait intéressant d’intégrer dans les modèles la

notion de dimensionnalité, c’est-à-dire qu’un ou plusieurs items mesurent plus d’un trait latent.

En plus de générer un score par sous-domaine, de tels modèles permettraient aussi d’apprécier

l’ampleur des corrélations qui existent entre ces sous-domaines.

Il existe plusieurs procédures pour tester la présence de plusieurs traits latents dans les données

collectées lors de l’administration du test. Nous ne les détaillerons pas ici ; le lecteur intéressé

peut se référer aux travaux de Hattie (1984, 1985), qui a effectué une révision des méthodes

classiques de dimensionnalité.

Les modèles multidimensionnels peuvent être vus comme des extensions des modèles de

réponses aux items unidimensionnels présentés dans la section précédente. Nous présentons ici

les cas du modèle de Rasch multidimensionnel.

Pour un ensemble de 𝑚 traits latents 𝜃𝑖1, … , 𝜃𝑖𝑚 pour un élève i, notons 𝜽𝑖 = (𝜃𝑖1, … , 𝜃𝑖𝑚)

l’ensemble des traits latents pour ce sujet. Le modèle de Rasch multidimensionnel (Reckase, 1997)

s’écrit sous la forme suivante :

𝑃(𝑋𝑖𝑗 = 1 |𝜽𝑖 , 𝛿𝑗 ) =exp ( 𝜃𝑖1 + ⋯ + 𝜃𝑖𝑚 + 𝛿𝑗)

1 + exp (𝜃𝑖1 + ⋯ + 𝜃𝑖𝑚 + 𝛿𝑗)

Le lien avec le modèle de Rasch unidimensionnel est immédiat car lorsque 𝑚 = 1, on retrouve la

formulation de ce modèle avec 𝜃𝑖1 = 𝛽𝑖 (et en changeant le signe du niveau de difficulté 𝛿𝑗 de

l’item).

Le modèle logit multinomial à coefficients mixtes (MLMCM), tel que décrit par Adams, Wilson et

Wang (1997), a été exploité pour la calibration des données PASEC et mis en œuvre par le logiciel

7

CHAPITRE 7

94 CONFEMEN - PASEC

ACER ConQuest® (Wu, Adams et Wilson, 1997). Une brève présentation de ce modèle est

disponible à l’annexe 3.1.

L’utilisation du modèle MLMCM avec forme généralisée du modèle de Rasch (Rasch, 1960) a été

proposée car :

- de tous les modèles de réponse à l’item disponibles, il fournit l’estimation la plus stricte

de la validité psychométrique ;

- il permet la construction et la validation des échelles de compétences descriptives

pertinentes ;

- le modèle de Rasch tel que mis en œuvre dans ACER ConQuest® peut être, et est utilisé,

pour explorer et contrôler les effets de positionnement des items. De plus, le modèle peut

être appliqué dans des contextes qui requièrent la calibration multidimensionnelle des

données ;

- il permet d’établir l’ancrage (équivalence) des tests afin de maintenir la validité des

tendances et d’en faire le suivi.



Analyse et calibration des items La calibration des données PASEC avec le modèle MLMCM a été utilisée pour les items aux

niveaux national et international tout comme pour l’estimation des scores des élèves.

La calibration des items nationaux a été réalisée séparément pour chaque échantillon national29

en utilisant les données pondérées. La calibration internationale des items a porté sur la série

complète des données PASEC constituée des échantillons nationaux à pondérations égales (la

somme des coefficients a été fixée à 1 000 pour chaque pays). Les moyennes des items ont été

centrées à 0 pendant le processus d’estimation. Les résultats des calibrations nationales et

internationales des items ont déterminé le traitement à accorder à chaque item dans chaque pays,

c’est-à-dire qu’un item peut avoir été supprimé pour tous les pays si ses caractéristiques

psychométriques se sont avérées faibles dans plus de cinq pays (item « défectueux »), ou bien

être écarté pour certains pays du fait d’erreurs d’impression ou d’autres problèmes (page

manquante, texte illisible…).

En analysant les résultats de la calibration des items, une attention particulière a été portée à leur

ajustement au modèle de calibration, à leur pouvoir de discrimination et aux « interactions item-

pays »30.

7.2.1 Ajustement du modèle de réponse à l’item

(moyenne quadratique pondérée – MNSQ)

Pour chaque paramètre d’item, l’indice du carré moyen d’ajustement (Wu, Adams, Wilson et

Haldan, 2007) obtenu à partir du logiciel ACER ConQuest® a été utilisé pour fournir une

indication de la compatibilité entre le modèle et les données. Pour chaque élève, le modèle décrit

la probabilité d’obtenir chacun des scores possibles à l’item. Il est donc possible de comparer la

prévision du modèle avec les observations pour un item donné sur l’échantillon global d’élèves.

Le cumul des comparaisons pour différents élèves fournit une statistique de l’ajustement de l’item.

Comme les statistiques d’ajustement comparent une valeur observée à une valeur attendue,

l’ajustement est une analyse des résidus. Dans le cas des statistiques d’ajustement d’item par

moyenne quadratique pondérée, des valeurs proches de 1 sont souhaitables. Une valeur

supérieure à 1 est associée à un faible indice de discrimination, ce qui signifie que les données

démontrent davantage de variabilité que ce qui est attendu par le modèle, et une valeur inférieure

à 1 est au contraire associée à un indice de discrimination élevé, c’est-à-dire que les données

montrant moins de variabilité.

29 Dans le cas du Cameroun, des échelles distinctes ont été créées pour les données provenant des écoles

anglophones et francophones. Pour la calibration internationale des items, les données du Cameroun ont été traitées

comme un ensemble unique. 30 Traduction du terme anglais « item by country interaction » qui désigne le fonctionnement différentiel des items à

travers les pays.

7

CHAPITRE 7

96 CONFEMEN - PASEC

7.2.2 Coefficients de discrimination

Pour chaque item, la corrélation entre le score des élèves et le score agrégé pour la même

discipline et le même livret que pour l’item concerné a été utilisée comme indice de

discrimination. Si pij (calculé comme xij/mi) est la proportion des niveaux de score que l’élève i a

atteint pour l’item j, et que pi (où la somme correspond aux items du même livret et de

la même discipline que l’item j) est la somme des proportions du score maximum obtenues par

l’élève i, alors la discrimination est calculée comme la corrélation « produit-moment » entre pij et

pi pour l’ensemble des élèves. Pour les items à choix multiples et à réponses courtes, cet indice

sera le coefficient bisérial de point habituel.

Le coefficient bisérial de point pour une des modalités de réponse d’un item est une comparaison

du score agrégé des élèves ayant choisi cette modalité de réponse et du score de tous les autres

élèves. Si la réponse choisie constitue la réponse correcte à l’item, la corrélation bisériale de point

devrait être supérieure à 0,20 (Ebel et Frisbie, 1986). Les recommandations suivantes sont

énoncées relativement à l’indice de discrimination :

Tableau 7.1 : Intervalles de la corrélation bisériale de point

Ampleur Commentaire Action recommandée pour l’item

> 0,39 Excellent Maintenir

0,30 – 0,39 Bon Possibilité d’amélioration

0,20 – 0,29 Médiocre Besoin de vérifier/revoir

0,00 – 0,20 Faible Écarter ou revoir en profondeur

< -0,01 Pire Écarter définitivement

Les distracteurs (ou réponses fausses) devraient avoir une corrélation bisériale de point négative.

La corrélation bisériale de point d’un item à crédit partiel (partial credit item) devra être

hiérarchisée, c'est-à-dire que les catégories ayant un score de 0 devront avoir une corrélation

bisériale de point inférieure aux catégories ayant un score de 1, et ainsi de suite.

ij

j

p



Analyses nationales Les calibrations d’items ont été réalisées séparément pour les données de la 2e et de la 6e année.

De plus, les données de la 6e année ont fait l’objet de calibrations séparées pour chaque livret

afin de comparer le niveau de difficulté relatif des items. Après avoir effectué la calibration des

données nationales, toutes les statistiques nationales disponibles sur les items ont été importées

dans la base de données d’items du PASEC. Les statistiques des items du niveau international ont

également été incluses dans cette base de données. Ceci a permis de résumer les statistiques au

niveau national et de réaliser des comparaisons entre les statistiques internationales et nationales

des items.

Pour chaque pays, des résumés graphiques des statistiques descriptives de chaque item ont été

générés puis passés en revue. Pour chaque item, les statistiques descriptives ont été incluses dans

les résultats nationaux sous forme de tableau et de graphiques CCI (courbe caractéristique de

l’item). Par ailleurs, les résultats de l’analyse du fonctionnement différentiel des items (DIF analysis)

et des courbes des scores attendus aux items (Item Expected Score) correspondantes (CCI pour

les items à score dichotomique) ont été générés par sous-groupe pour chaque item.

Figure 7.1 : Exemple de statistiques d’item

La figure 7.1 présente un exemple de statistiques pour l’item F25 du test de lecture (6e année) qui

étaient incluses dans les résultats de l’analyse d’item. Le tableau de statistiques d’item inclut les

informations suivantes :

- le niveau de difficulté de l’item (delta) ;

- le pourcentage de réponses correctes (facilité) ;

- l’ajustement de l’item (MNSQ pondéré) ;

- l’amplitude du DIF pour la localisation de l’école, le genre de l’élève et le type d’école ;

7

CHAPITRE 7

98 CONFEMEN - PASEC

- les pourcentages pour chaque modalité de réponse aux items et ses corrélations avec le

score global (« Pt-Bis ») ;

- la compétence moyenne au sein de chaque catégorie (« Ability Avg ») et son écart-type

(« Ability SD »).

1432 élèves ont répondu à l’item F25 dans ce pays. Le « delta » national (niveau de difficulté) est

de -0,88 et 73 % (facilité) des élèves ont répondu correctement à cet item. La statistique

d’ajustement de l’item est de 1,01, ce qui indique un bon ajustement au modèle.

Dans le cadre des modélisations Rasch, un item démontre un fonctionnement différentiel (DIF) si

les probabilités de réponse pour cet item ne peuvent pas être entièrement expliquées par la

compétence de l’élève et les paramètres de difficulté déterminés pour l’item en question.

Le but de l’analyse DIF n’est pas d’identifier les items pour lesquels la marge d’erreur (p-value)

varie selon les groupes puisque ceci peut être le résultat de véritables différences dans les niveaux

de compétence des différents groupes. Le but de l’analyse DIF est plutôt d’identifier les items qui

semblent trop difficiles ou trop faciles après avoir contrôlé la différence du niveau moyen de

compétence des groupes. Dans les données de la collecte définitive du PASEC2014, les variables

concernant le genre de l’élève, le type d’école fréquenté (public ou privé) et la localisation de

l’école (rurale ou urbaine) ont été explorées. L’analyse DIF a été réalisée grâce au modèle

multivarié (multi-facet model) d’ACER ConQuest® (Wu et al., 2007). L’ampleur des DIF respectifs

pour l’item F25 est la suivante : le DIF pour la fréquentation d’une école rurale plutôt qu’urbaine

est de 0,11, pour les élèves filles, de 0,10 et pour la fréquentation d’une école privée plutôt que

publique, de -0,11.

Des valeurs se situant au-delà de 0,30 ou en deçà de -0,30 indiquent un DIF plus important. En

ce qui concerne le DIF de la localisation de l’école, la valeur positive indique que l’item était plus

difficile pour les élèves des écoles urbaines que pour ceux des écoles rurales ayant la même

compétence, alors qu’une valeur négative aurait indiqué qu’il était plus facile pour les élèves

fréquentant une école située en milieu urbain. Il en va ainsi pour le genre : la valeur positive

indique que l’item est plus difficile pour les garçons que pour les filles ayant la même compétence,

alors qu’une valeur négative aurait indiqué qu’il est plus facile pour les garçons. Pour ce qui est

du type d’école, la valeur négative indique que l’item est plus facile pour les élèves des écoles

publiques que pour ceux de compétence équivalente des écoles privées, alors qu’une valeur

positive aurait indiqué qu’il est plus difficile pour les élèves des écoles publiques.

La première colonne, libellée « Réponses » (response) indique les modalités initiales de réponse.

Comme il s’agit d’une question à choix-multiples, les réponses sont codifiées ainsi : A=1, B=2,

C=3, D=4, réponse invalide (réponses multiples)=6 et non-réponse=9. La deuxième colonne

montre le score attribué à chaque catégorie de réponse. La réponse correcte à cet item est C,

codifiée 3.

Les troisième et quatrième colonnes du tableau indiquent le nombre et le pourcentage d’élèves

correspondant à chaque modalité de réponse. Dans ce pays, 1 040 élèves (73 %) ont donc fourni

la bonne réponse.

Les corrélations bisériales de point sont présentées dans la cinquième colonne (« Pt Bis »). Il s’agit

de la corrélation entre une modalité de réponse codifiée comme une variable muette (un score

de 1 pour les élèves ayant fourni la réponse correcte et un score de 0 pour les élèves des autres



catégories de réponse) et le score global de la discipline. Les réponses correctes doivent présenter

une corrélation positive avec le score global et les mauvaises réponses, une corrélation négative.

Dans l’exemple, toutes les mauvaises réponses ont des corrélations bisériales de point négatives

et la catégorie « clé » (réponse correcte) a une corrélation bisériale de point positive de 0,41.

Les deux dernières colonnes présentent la compétence moyenne des élèves (« Ability Avg ») pour

chaque modalité de réponse et l’écart-type associé (« Ability SD »). La compétence moyenne est

calculée par discipline. Si un item fonctionne bien, le groupe d’élèves ayant fourni la réponse

correcte devrait avoir une compétence moyenne plus élevée que les groupes d’élèves ayant

fourni chacun des mauvaises réponses. Ceci est vrai pour cet item.

Pour l’analyse du fonctionnement de l’item, une courbe caractéristique de l’item (CCI) a été

construite et incluse dans les résultats de l’analyse de chaque item.

Graphique 7.3 : Courbe caractéristique de l’item

Le graphique 7.3 présente un exemple de CCI pour l’item F25 du test de lecture. Plus la

compétence de l’élève est élevée (trait latent exprimé en logits), plus la probabilité de fournir une

réponse correcte augmente. La ligne continue montre les réponses attendues à l’item en tenant

compte du modèle IRT et les pointillés indiquent le pourcentage moyen de bonnes réponses

observé au sein de groupes de différents niveaux de compétence. Si la pente correspondant à la

bonne réponse est plus faible que la courbe attendue, le pouvoir de discrimination de l’item est

plus faible que celui prédit par le modèle ; si elle est plus prononcée, le pouvoir de discrimination

de l’item est plus important. Dans l’exemple du graphique 7.3, l’item du test est parfaitement

ajusté au modèle de calibration.

7

CHAPITRE 7

100 CONFEMEN - PASEC

Graphique 7.4 : Courbe attendue des scores à l’item selon la localisation de l’école

Graphique 7.5 : Courbe attendue des scores à l’item selon le genre de l’élève



Graphique 7.6 : Courbe attendue des scores à l’item selon le type d’école

Les graphiques 7.4 à 7.6 fournissent des exemples des scores attendus (Item Expected Score) à

l’item F25 du test de lecture. La ligne continue montre les réponses attendues à l’item sur la base

du modèle TRI et les pointillés verts et bleus indiquent le pourcentage moyen de bonnes réponses

pour des groupes d’élèves de différents niveaux de compétence : pour les écoles urbaines et

rurales dans le graphique 7.4, pour les garçons et les filles dans le graphique 7.5 et pour les écoles

publiques et privées dans le graphique 7.6.

7.3.1 Interaction item-pays

La calibration nationale des données fournit des estimations des paramètres d’item spécifiques à

chaque pays. La cohérence des estimations des paramètres d’item entre pays a été d’un intérêt

particulier. Si le test mesurait le même trait latent pour la même discipline dans tous les pays, les

items devraient être de même niveau de difficulté relatif, ou plus précisément se retrouver dans

l’intervalle défini par l’erreur type de l’estimation du paramètre de l’item (l’intervalle de confiance).

Le graphique 7.7 illustre la courbe d’interaction item-pays pour l’item F23 du test de lecture. Cet

item s’est révélé plus difficile que prévu pour le Niger mais plus facile que prévu pour le Burundi.

7

CHAPITRE 7


Graphique 7.7 : Interaction item-pays

7.3.1.1 Calibration nationale des items

Les analyses nationales d’items fournissent la liste, pour chaque pays, des items « défectueux »,

c'est-à-dire ceux qui ont été signalés parce que :

- le niveau de difficulté de l’item était significativement plus faible qu’attendu ;

- le niveau de difficulté de l’item était significativement plus élevé qu’attendu ;

- un des distracteurs présente une corrélation bisériale de point supérieure à 0,05

(signalé uniquement si le distracteur a été choisi par au moins 10 élèves) ;

- la réponse correcte présente une corrélation bisériale de point négative ;

- la discrimination de l’item était inférieure à 0,2 ;

- les compétences correspondant aux catégories pour les items à crédit partiel (partial

credit items) n’étaient pas hiérarchisées (ne s’applique que pour la 2e année) ;

- l’ajustement était plus faible ou plus important qu’attendu.

La figure 7.2 présente un exemple de résultats d’items défectueux au niveau national qui ont été

générés pour chaque pays.



Figure 7.2 : Exemple de statistiques d’item fournies dans une analyse nationale d’items défectueux

Le résumé des analyses d’items défectueux montre pour chaque pays à la fois les items pour

lesquels aucun signe de problème n’est apparent et ceux pour lesquels un problème a été

détecté. Une partie de ce résumé est présenté à la figure 7.3.

Figure 7.3 : Résumé des items défectueux

Les items considérés comme ayant des caractéristiques psychométriques insatisfaisantes ont

ensuite été passés en revue. Ce processus a conduit à la suppression d’un certain nombre d’items

au niveau international. Au niveau national, l’item M60 du test de mathématiques au Cameroun

anglophone a été supprimé du fait d’une erreur d’impression. Le tableau 7.2 présente une liste

des items supprimés au niveau international.

7

CHAPITRE 7


Tableau 7.2 : Items supprimés au niveau international

Discipline Items supprimés

Lecture, 2e année L12, L35, L51, L52, L53, L54

Lecture, 6e année F5, F10, F11, F18, F19, F20, F27, F34, F38, F62, F64, F76, F77, F83

Mathématiques, 2e année M101, M102, M104, M131, M132, M133

Mathématiques, 6e année M8, M12, M13, M15, M16, M17, M27, M28, M32, M33, M34,

M35, M36, M37, M52, M53, M55, M73, M74, M75, M78, M38

Les items M38 et M53 de la 6e année ont été immédiatement supprimés du fait d’une corrélation

bisériale de point négative pour la modalité de bonne réponse. Certains items ont été supprimés

du fait de leur dysfonctionnement dans au moins 5 pays ; c’est le cas des items M8, M12, M15,

M16, M27, M33, M36, M37, M52, M73, M75 et M78 du test de mathématiques de 6e année, de

F27 et F34 en lecture en 6e année et de L12 en langue en 2e année. Par contre, les items M13, M17,

M28, M32, M34, M35, M55 et M74 en mathématiques et les items F5, F10, F11, F18, F19, F20, F38,

F62, F64, F76, F77 et F83 en lecture en 6e année ont été supprimés parce qu’ils présentaient des

indices de discrimination très faibles (inférieurs à 0,2) ou des distracteurs qui affichaient des

corrélations bisériales de point positives. Les items M101, M102, M104, M131 et M134 en

mathématiques et l’item L35 en lecture en 2e année ont été supprimés parce qu’ils présentaient

des indices d’ajustement et de discrimination faibles.



Calibration internationale Sur la base des analyses décrites ci-dessus, les items ont été calibrés au niveau international en

prenant en compte la suppression internationale et nationale d’items.

Le test de 2e année a été administré oralement aux élèves par un administrateur selon un ordre

donné. 4 items du test de 2e année étaient des items à crédit partiel et aucun item n’a été

« non atteint ». Pour la 2e année, la spécification du modèle de calibration dans le logiciel ACER

ConQuest® se présente comme suit :

item + item*step

Ce modèle de calibration a été utilisé pour estimer les paramètres internationaux d’items pour les

mathématiques et la lecture de 2e année en utilisant l’ensemble des données PASEC avec

pondération égale des pays.

Le design des livrets du test de 6e année pour l’évaluation PASEC2014 est présenté au tableau 7.3.

Les items sont divisés en 4 blocs de lecture et 4 de mathématiques répartis comme suit dans

4 livrets tournants :

Tableau 7.3 : Design des livrets du test de 6e année, collecte définitive de l’évaluation PASEC2014

6e année

ID du livret Blocs

A L1 L2 M1 M2

B L2 L3 M2 M3

C L3 L4 M3 M4

D L4 L1 M4 M1

Pour la conception du test PASEC2014 de 6e année, un « effet livret » était attendu sur les

distributions estimées des aptitudes du fait de l’ordre différent des disciplines au sein de chaque

livret.

La modélisation de l’effet livret en termes de position des items au sein des livrets, ou du moins

en termes de position des blocs d’items dans les livrets, conduirait à un modèle très complexe.

Pour simplifier la calibration internationale, l’effet a été modélisé séparément pour chaque

discipline. Pour corriger l’effet livret sur les scores en mathématiques et en lecture des élèves, un

des jeux des paramètres livret estimés au niveau international a été utilisé. Il faut noter que la

somme des valeurs de correction de l’effet livret est égale à zéro pour chaque discipline, de telle

sorte que l’application de la correction ne change pas les moyennes des pays ni leur classement.

Pour l’estimation des paramètres d’items de la 6e année, l’effet livret a été inclus dans le modèle

de mesure pour éviter de le confondre avec le niveau de difficulté de l’item. La spécification du

modèle de calibration sous ACER ConQuest® se présente comme suit :

item + livret

7

CHAPITRE 7


Le paramètre livret, formellement défini de la même façon que les paramètres d’item, reflète le

niveau de difficulté du livret. Ce modèle de calibration a été utilisé pour estimer les paramètres

d’item internationaux pour les tests de mathématiques et de lecture de 6e année.

Les items non atteints ont été traités comme non administrés à ce stade.

Les paramètres livret déterminés par cette analyse n’ont pas été utilisés pour corriger l’effet livret ;

un jeu de paramètres a plutôt été obtenu, par la calibration sur la base des données

internationales PASEC à pondération égale des pays, pour les livrets de 6e année, et les items non

atteints ont été traités comme des réponses incorrectes à travers l’ancrage des paramètres d’item

obtenus dans le modèle décrit ci-dessus.

Le tableau 7.4 présente l’effet livret estimé, en logits, pour la 6e année.

Tableau 7.4 : Effet livret estimé – Fin de scolarité

Effet livret estimé (en logits)

Livret Discipline

Lecture Mathématiques

1 -0,04 0,03

2 0,02 0,00

3 0,08 0,02

4 -0,06 -0,05

Les paramètres d’item définitifs pour chaque item PASEC sont présentés dans les tableaux de

l’annexe 3.2.

7.4.1 Ciblage des tests

Les données cognitives de chaque discipline ont été calibrées séparément afin d’examiner le

ciblage des tests. Cette section montre l’ajustement entre la distribution des niveaux de difficulté

des items internationaux et la distribution des scores des élèves pour les tests de 2e et de

6e années en lecture et en mathématiques. Les schémas comportent deux volets pour la 2e année

et trois pour la 6e année. Le premier volet (élèves) montre la distribution des estimations des

scores des élèves générées selon le modèle de Rasch ; les élèves se situant dans la partie haute

de cette distribution ont un niveau estimé d’aptitude plus élevé que ceux se trouvant dans la

partie basse. Le deuxième volet (niveau de difficulté des items) montre la distribution des niveaux

de difficulté des items estimés selon le modèle de Rasch. Pour la 6e année, le troisième volet

montre la distribution des niveaux de difficulté des livrets.

Un test est bien ciblé si la moyenne des niveaux de difficulté des items est proche de la moyenne

des aptitudes des élèves et si les niveaux de difficulté des items sont uniformément répartis

relativement à la distribution des compétences.



Dans les figures 7.4 à 7.7, la distribution des scores des élèves, représentée par les symboles « X »,

est bien assortie à la distribution des niveaux de difficulté des items. Les schémas sont construits

de telle sorte que lorsqu’un élève et un item se retrouvent au même niveau de l’échelle, l’élève a

une probabilité de 50 % de répondre correctement à l’item.

Figure 7.4 : Distributions des niveaux de difficulté des items et des scores des élèves en

mathématiques – Début de scolarité

===========================================================

Terms in the Model (excl Step terms)

+item

----------------------------------------------------

| |

| |

X| |

4 X| |

XX| |

XX| |

XX| |

3 XXX| |

XXX|25 |

XXXX|23 |

XXXXX| |

XXXXXX|21 |

2 XXXXXXXX| |

XXXXXX| |

XXXXXXX|17 22 |

XXXXXXX| |

1 XXXXXXXX|1 16 |

XXXXXXXXX|8 19 20 |

XXXXXXXXXX|26 |

XXXXXXXX|7 9 24 |

XXXXXXXX|12 15 29 30 31 |

0 XXXXXXX|2 13 |

XXXXXXX|14 18 |

XXXXXXXXX| |

XXXXXXXXXX|6 11 |

-1 XXXXXXXX|28 |

XXXXXXXXX|10 |

XXXXXX|3 5 27 |

XXXXXXX|4 |

-2 XXXXXX| |

XXXX|33 |

XXX|32 |

XX| |

X|34 |

-3 X| |

X| |

X| |

X| |

-4 | |

====================================================

Each 'X' represents 47.6 cases

====================================================

Comme le démontre la figure ci-dessus, le test de mathématiques de 2e année est bien ciblé au

niveau international.

7

CHAPITRE 7


Figure 7.5 : Distributions des niveaux de difficulté des items et des scores des élèves en langue –

Début de scolarité

================================================================================


+item

----------------------------------------------------

| |

| |

X| |

| |

4 | |

| |

| |

| |

X|43 |

X| |

3 | |

X| |

X|44 |

XX| |

XX|36 46 |

2 X|47 |

XX|34 40 41 42 45 |

XX|32 37 38 |

XX|33 35 |

XXX| |

1 XXX|39 |

XXX| |

XXX| |

XXXX|12 |

XXXX|15 26 29 |

0 XXXXX|14 |

XXXXXXX|23 25 31 |

XXXXXXXXX|27 |

XXXXXXX|3 10 13 |

XXXXXXXX|5 16 |

-1 XXXXXXXXX|9 11 18 21 24 |

XXXXXXXXX|8 20 22 30 |

XXXXXXXXXX| |

XXXXXXXXXX|2 |

XXXXXXX|19 28 |

-2 XXXXXXXX|17 |

XXXX|1 4 |

XXXX| |

XXXX|6 7 |

XX| |

X| |

-3 X| |

X| |

| |

====================================================


====================================================

Pour le test de langue de 2e année, la distribution n’est pas aussi bonne que celle pour les

mathématiques du même niveau d’études, avec un certain regroupement des items et une faible

couverture pour les élèves dont les performances sont faibles.



Figure 7.6 : Distributions des niveaux de difficulté des items et des scores des élèves en

mathématiques – Fin de scolarité

================================================================================


+item +id_Livret

---------------------------------------------------------------------------------------

3 | | |

| | |

X| | |

| | |

| | |

X| | |

X| | |

XX| | |

2 XX| | |

X| | |

XX| | |

XX|37 | |

XXXX| | |

XXXX| | |

XXXXX|33 | |

1 XXXXXXX| | |

XXXXX|8 36 51 55 | |

XXXXXX|11 12 23 32 35 53 56 | |

XXXXXXX|7 42 54 | |

XXXXXXX|2 21 22 25 31 34 | |

XXXXXXXX|5 19 | |

XXXXXXXXXX|4 6 48 49 | |

0 XXXXXXXX|18 20 24 38 50 52 57 59 |1 2 3 |

XXXXXXXXX|10 30 |4 |

XXXXXXXX|9 29 39 40 47 58 | |

XXXXXXXXX|3 28 | |

XXXXXXXXXX| | |

XXXXXXXXX|26 41 | |

XXXXXXXX|17 | |

XXXXXXXX| | |

-1 XXXXX|13 16 44 46 | |

XXXXX|14 27 | |

XXXXX|43 | |

XXX| | |

XX|15 | |

XX| | |

XX|1 | |

-2 X|45 | |

X| | |

X| | |

X| | |

| | |

-4 | | |

=======================================================================================


=======================================================================================

Le ciblage du test de mathématiques de 6e année semble bon, même si la couverture pour les

élèves dont les performances sont très bonnes ou très mauvaises est faible.

7

CHAPITRE 7


Figure 7.7 : Distributions des niveaux de difficulté des items et des scores des élèves en lecture –

Fin de scolarité

================================================================================


+item +id_livret

---------------------------------------------------------------------------------------

X| | |

3 | | |

XX| | |

X| | |

X| | |

XX| | |

XXX| | |

2 XXX| | |

XXX| | |

XXXXX|48 | |

XXXXXX|21 22 49 68 | |

XXXXXX|54 | |

XXXXXX|25 28 50 | |

1 XXXXXXX|4 27 46 47 65 70 | |

XXXXXX|32 | |

XXXXXXXX|9 12 31 | |

XXXXXXXXXX|41 43 66 67 75 | |

XXXXXXX|6 42 55 63 | |

XXXXXXXXX|8 29 44 | |

XXXXXXX|5 10 26 35 52 69 71 |2 3 |

0 XXXXXXXXX|34 64 72 |1 4 |

XXXXXXXX|11 13 18 37 45 62 74 | |

XXXXXXXXX|15 24 33 38 53 73 | |

XXXXXXXX|1 19 30 56 57 | |

XXXXXXX|7 51 61 76 | |

XXXX|14 17 20 78 | |

-1 XXXXX|60 | |

XXXXX|23 39 59 | |

XXX|16 36 40 77 | |

XX| | |

XX|3 | |

X|58 | |

-2 X| | |

X|2 | |

| | |

X| | |

| | |

| | |

| | |

=======================================================================================


=======================================================================================

Il y a une bonne répartition symétrique des items pour les niveaux de compétence des élèves

entre -2 et 2, mais pas de couverture aux extrêmes de l’échelle, notamment pour les compétences

les plus élevées.



7.4.2 Modèles de calibration et fiabilité

Les huit modèles multidimensionnels de calibration suivants ont été utilisés pour la collecte

définitive du PASEC2014.

6e année :

- Modèle 1 : Lecture globale (Global Reading) et mathématiques globales (Global

Mathematics), utilisées pour générer les scores globaux en lecture (LECT) et en

mathématiques (MATH).

- Modèle 2 : Mathématiques globales et trois sous-échelles de lecture utilisées afin de

générer les scores des trois sous-échelles que sont : décoder (LECT_RD), extraire et utiliser

des informations explicites (LECT_GI) et accéder à des textes littéraires (LECT_AT).


générer les scores des trois sous-échelles de lecture que sont : extraire des informations

explicites (LECT_EI), réaliser des inférences logiques (LECT_PI) et interpréter et combiner des

informations (LECT_II).

- Modèle 4 : Lecture globale et deux sous-échelles de mathématiques utilisées pour générer

les scores des deux sous-échelles de mathématiques que sont : numération (MATH_NU) et

géométrie/espace et mesure (MATH_SM).

- Modèle 5 : Lecture globale et trois sous-échelles de mathématiques utilisées pour générer

les scores des trois sous-échelles de mathématiques que sont : connaître (MATH_KN),

appliquer (MATH_AP) et raisonner (MATH_RE).

2e année :

- Modèle 1 : Lecture globale et mathématiques globales, utilisées pour générer les scores

globaux en lecture (LECT) et en mathématiques (MATH).


générer les scores des trois sous-échelles de lecture que sont : compréhension de l’oral

(LECT_OC), décodage (LECT_DE) et compréhension de l’écrit (LECT_RC).

- Modèle 3 : Lecture globale et deux sous-échelles de mathématiques utilisées pour générer

les scores des deux sous-échelles de mathématiques que sont : numération et opérations

(MATH_NO) et mesure et espace (MATH_VI).

Les indices de fiabilité estimés des tests de la collecte définitive pour les deux disciplines globales

et tous les sous-domaines du pool d’items, au niveau de l’ensemble des pays, sont indiqués dans

le tableau 7.5 pour la 2e année et dans le tableau 7.6 pour la 6e année. Les items non atteints ont

été traités comme non administrés lors du calcul de ces indices de fiabilité. Les mesures de fiabilité

sur la base du modèle de Rasch ont été fournies par le logiciel de calibration de données ACER

ConQuest® (Wu et al., 2007).

7

CHAPITRE 7


Tableau 7.5 : Indices de fiabilité des tests de 2e année

Discipline/sous-domaine Fiabilité

(LECT) 0,957

(MATH) 0,962

(LECT_OC) 0,874

(LECT_DE) 0,919

(LECT_RC) 0,897

(MATH_NO) 0,946

(MATH_VI) 0,848

Tableau 7.6 : Indices de fiabilité des tests de 6e année

Discipline/sous-domaine Fiabilité

(LECT) 0,891

(MATH) 0,870

(LECT_DE) 0,849

(LECT_GI) 0,877

(LECT_AT) 0,835

(LECT_PI) 0,811

(LECT_II) 0,804

(LECT_EI) 0,865

(MATH_SM) 0,870

(MATH_NU) 0,854

(MATH_KN) 0,878

(MATH_AP) 0,839

(MATH_RE) 0,783

7.4.3 Corrélations entre disciplines et sous-domaines

Les corrélations entre les compétences individuelles estimées pour chacune des deux disciplines

et l’ensemble des sous-domaines, ou corrélations latentes, sont estimées par ACER ConQuest®

(Wu, Adams et Wilson, 1997) en utilisant la série consolidée de données internationales à



pondération égale des pays et indiquées dans les tableaux 7.7 à 7.9 pour la 2e année et les

tableaux 7.10 à 7.14 pour la 6e année. Il est important de noter que ces corrélations latentes sont

des estimations non biaisées de la vraie corrélation entre les variables latentes sous-jacentes.

Tableau 7.7 : Corrélation entre les mathématiques globales et la lecture globale – Début de

scolarité

LECT

MATH 0,84

Tableau 7.8 : Corrélations entre la lecture globale et les sous-domaines de mathématiques

numération et opération (MATH_NO) et mesure et espace (MATH_VI) – Début de scolarité

LECT MATH_NO

MATH_NO 0,80

MATH_VI 0,84 0,73

Tableau 7.9 : Corrélations entre les mathématiques globales et les sous-domaines de lecture

compréhension de l’oral (LECT_OC), décodage (LECT_DE) et compréhension de l’écrit (LECT_RC) –

Début de scolarité

MATH LECT_OC LECT_DE

LECT_OC 0,76

LECT_DE 0,84 0,70

LECT_RC 0,76 0,70 0,87

Tableau 7.10 : Corrélation entre les mathématiques globales et la lecture globale– Fin de scolarité

LECT

MATH 0,82


numération (MATH_NU) et géométrie/espace et mesure (MATH_SU) – Fin de scolarité

LECT MATH_SM

MATH_SM 0,79

MATH_NU 0,83 0,97

7

CHAPITRE 7



connaître (MATH_KN), appliquer (MATH_AP) et raisonner (MATH_RE) – Fin de scolarité

LECT MATH_KN MATH_AP

MATH_KN 0,86

MATH_AP 0,74 0,95

MATH_RE 0,80 0,89 0,92


décoder (LECT_DE), extraire et utiliser de l’information (LECT_GI) et accéder à des textes littéraires

(LECT_AT) – Fin de scolarité

MATH LECT_AT LECT_GI

LECT_AT 0,73

LECT_GI 0,82 0,96

LECT_DE 0,81 0,83 0,88


extraire des informations explicites (LECT_EI), réaliser des inférences logiques (LECT_PI) et

interpréter et combiner des informations (LECT_II) – Fin de scolarité

MATH LECT_EI LECT_II

LECT_EI 0,81

LECT_II 0,75 0,95

LECT_PI 0,73 0,97 0,96



Estimations des scores des élèves La méthodologie d’imputation dite « des valeurs plausibles (VP) » a été utilisée pour estimer les

niveaux de compétence probables des élèves obtenant chaque score. Ces estimations ont été

réalisées pour les élèves de chaque pays participant en utilisant les méthodes de calibration

multidimensionnelle : les paramètres d’item ont été ancrés aux valeurs correspondantes estimées

sur la base de la calibration internationale des items. Des informations provenant du

questionnaire Élèves ainsi que certaines caractéristiques des écoles tirées des questionnaires

Directeurs ont été utilisées comme informations contextuelles dans le modèle explicatif pour la

génération des séries de valeurs plausibles. En particulier, la localisation (urbaine/rurale), le type

(public, privé ou communautaire) et le score moyen de l’école tout comme l’information sur la

stratification (ID_STRATE) et le genre de l’élève ont été utilisés comme régresseurs directs pour

les données de la 2e et de la 6e années pour permettre les analyses secondaires et la comparaison

des résultats selon les catégories de ces variables. Pour la 6e année, la variable « identifiant livret »

a également été utilisée comme régresseur direct pendant le processus de calibration des

données.

Toutes les autres informations tirées du questionnaire Élèves ont été représentées dans le modèle

de calibration par des facteurs dérivés d’une analyse en composantes principales (ACP) afin

d’éviter une colinéarité entre les variables individuelles et pour réduire le nombre de régresseurs.

Les variables de conditionnement ont été préparées selon des procédures basées sur celles

utilisées pour l’Évaluation nationale des progrès éducatifs des États-Unis (United States National

Assessment of Educational Progress, Beaton, 1987) et le TIMSS (Macaskill, Adams et Wu, 1998). Les

étapes de création des modèles de calibration de données sont les suivantes :

1) Chaque variable utilisée dans le modèle de calibration a été codifiée comme variable muette.

Certaines variables (telles que l’identifiant livret, le genre, etc.) ont été utilisées directement

comme variables de conditionnement ;

2) Toutes les variables codifiées comme muettes, sauf celles utilisées comme régresseurs directs,

ont été intégrées dans l’ACP, qui a produit des scores composites pour chaque élève (sur la

base d’un nombre suffisant de composantes permettant d’obtenir 99 % de la variance des

variables initiales) ;

3) Le modèle de réponse à l’item a été ajusté à chaque série de données nationales et les

paramètres (nationaux) de population ont été estimés en utilisant les paramètres d’item

ancrés à leurs valeurs internationales et les variables de conditionnement dérivées de l’analyse

en composantes principales au niveau national (étape 2) et des régresseurs directs (étape 1) ;

4) Cinq vecteurs de valeurs plausibles ont été tirés pour chaque dimension (sous-domaines des

disciplines).

7.5.1 Construction des variables de conditionnement

Toutes les informations disponibles au niveau des élèves, sauf les réponses aux items dans les

livrets, ont été utilisées dans le modèle explicatif comme régresseurs directs ou indirects. La

préparation des variables explicatives s’est faite de la façon suivante.

Pour la 6e année, les variables d’identification du livret (ID Livret) ont été incluses comme codes

7

CHAPITRE 7

mesurant l’effet livret et ont été utilisées comme régresseurs directs. Chaque livret a été

représenté par une variable sauf le livret de référence (no 1). Le livret no 1 a été sélectionné de

façon aléatoire et fixé pour tous les pays. Avec le codage des écarts liés aux livrets, la somme de

chaque colonne est de zéro, alors que pour le codage simple fréquemment utilisé, la somme est

de un.

Le codage des écarts entre livrets a généré, dans le modèle explicatif, une constante qui est la

moyenne globale de tous les élèves ayant répondu aux items d’une discipline seulement si le

livret a été utilisé comme variable indépendante. De cette façon, la détermination des

compétences des élèves n’ayant répondu à aucun des items de mathématiques ou de lecture est

basée sur l’information de tous les livrets ayant des items dans une discipline donnée et non

seulement du livret de référence, comme dans le codage simple.

Les autres variables directes dans la régression sont le genre (ou la donnée manquante sur le

genre, s’il y a lieu), les codes mesurant les écarts entre strates (la strate la plus grande étant la

strate de référence), un indicateur de la performance de l’école calculé à partir de l’estimation

initiale des scores des élèves par estimation pondérée du maximum de vraisemblance (Weighted

Likelihood Estimate) ainsi qu’une variable représentant le produit des indicateurs du type (public,

privé ou communautaire) et de la localisation de l’école (urbaine/rurale) selon les informations

tirées du questionnaire Directeurs. Toutes les autres variables catégorielles du questionnaire Élève

ont été codifiées comme muettes. Ces variables muettes ont fait l’objet d’une analyse en

composantes principales. Le nombre de scores des composantes extraits et utilisés dans le

modèle de calibration comme régresseurs indirects était spécifique à chaque pays et a expliqué

99 % de la variance totale de l’ensemble des variables initiales. Les variables de conditionnement

directes et indirectes décrites ci-dessus ont été utilisées comme régresseurs dans les modèles

conditionnels multidimensionnels de réponse à l’item (multidimensional conditioned item-

response models).

Les modèles conditionnels multidimensionnels de réponse à l’item ont été ajustés à chaque série

de données nationales et les paramètres nationaux de population ont été estimés en utilisant les

paramètres d’item ancrés à leurs valeurs internationales. La description des modèles qui ont été

ajustés aux données au niveau des pays a été fournie précédemment.

8 8. ÉLABORATION

DES ÉCHELLES

DE COMPÉTENCES

DES ÉLÈVES

8

CHAPITRE 8


ÉLABORATION DES ÉCHELLES DE COMPÉTENCE DES ÉLÈVES


Ce chapitre décrit la méthodologique adoptée pour la définition et la description des niveaux de

compétence des élèves de 2e et 6e années dans les disciplines de mathématiques et de

langue/lecture.

Méthodologie adoptée Le PASEC a été appuyé par des experts de l’Université de Liège dans le processus de création des

échelles de compétences.

Il a été retenu de définir des niveaux de compétence de longueur constante. En effet, comme

l’illustre la figure 8.1, (i) la longueur d’un niveau de compétence, (ii) la response probability, qui

correspond à la probabilité de réussite lorsque le niveau de compétence du sujet est identique

au niveau de difficulté de l’item, et (iii) la probabilité moyenne de réussite d’un sujet donné à

l’ensemble des items d’un niveau donné sont interdépendants. Imaginons un individu de

compétence 0,00 qui se situe au plus bas d’un niveau de compétence. Dans la figure 8.1,

trois longueurs de niveau de compétence sont illustrées, soit 1,20, 1,00 et 0,80. Les probabilités

que cet individu réussisse un item situé sur le point de césure supérieur du niveau de compétence

sont respectivement de 0,23, de 0,27 et de 0,31. Il s’ensuit que les probabilités moyennes (que

l’on peut aussi estimer par la probabilité de réussite d’un individu par rapport à un item situé au

milieu du niveau de compétence) sont respectivement de 0,35, de 0,38 et de 0,40.

La figure 8.1 illustre parfaitement l’interdépendance entre longueur d’un niveau de compétence

et probabilité moyenne de réussite. Varier les longueurs des niveaux au sein d’une seule et même

échelle de compétences ne permet pas de décrire de manière univoque ce qu’un élève d’un

niveau donné est ou n’est pas capable de faire.

Figure 8.1 : Probabilité de réussite et longueur d’un niveau de compétence

Par ailleurs, il a été souhaité de maintenir une longueur constante pour les deux disciplines et

pour les deux niveaux d’études. Cependant, cela n’a pas été possible en raison du faible nombre

d’items en début de scolarité comparativement à la fin de scolarité.

8

CHAPITRE 8


La première étape a consisté à classer les items par ordre croissant d’indices de difficulté tels

qu’obtenus lors de la calibration internationale des données cognitives. Pour rappel, ces

paramètres d’item résultent d’une modélisation IRT (voir la section 9.1.3). Par défaut, cette

calibration internationale a été établie autour d’une valeur de response probability de 0,50.

Sur la base du cadre de référence, les processus cognitifs évalués, les contenus des items et leur

support (type de texte, longueur du texte…) ont été examinés et des groupes de questions

présentant une certaine homogénéité conceptuelle quant à la variable latente mesurée ont été

formés.

Ensuite, la longueur du niveau de compétence et le premier point de césure (les autres étant

automatiquement définis du fait de la contrainte des longueurs constantes) ont été déterminés

de façon à altérer le moins l’homogénéité conceptuelle des tâches requises par les items d’un

niveau donné.

L’étape suivante a consisté à définir ce que signifie pour un élève « d’être situé à un niveau de

compétence donné ». Deux possibilités ont largement été discutées ; leurs avantages et

inconvénients respectifs sont énumérés ci-dessous.

La première solution s’apparente à la définition adoptée par le Programme International pour le

Suivi des Acquis des élèves (PISA) de l’OCDE. En effet, « [t]he approach adopted for PISA 2000 was

that it would only be useful to regard students as having attained a particular level if this would

mean that we can have certain expectations about what these students are capable of in general

when they are said to be at that level. It was decided that this expectation would have to mean at

a minimum that students at a particular level would be more likely to solve tasks at that level than

to fail them. By implication, it must be expected that they would get at least half of the items correct

on a test composed of items uniformly spread across that level, which is useful in helping to interpret

the proficiency of students at different points across the proficiency range defined at each level »31.

Un élève qui se situe au bas d’un niveau de compétence doit donc réussir au moins la moitié des

items qui relèvent de ce niveau. Autrement dit, sa probabilité moyenne de réussite doit être égale

ou légèrement supérieure à 0,50.

Il importe donc de modifier la response probability pour qu’un individu situé sur le point de césure

inférieur du niveau de compétence ait une probabilité moyenne de 0,50 de réussir des items

uniformément distribués sur ce même niveau de compétence. Cette situation est représentée

graphiquement dans la partie gauche de la figure 8.2. Comme on peut le constater, puisque la

probabilité moyenne est de 0,50, un élève situé sur le point de césure inférieur présente, pour

environ la moitié des items, une probabilité de réussite inférieure à 0,50.

La seconde approche consiste à définir la response probability de sorte qu’un élève situé sur le

point de césure inférieur d’un niveau ait une probabilité de 0,50 de réussir un item qui se situerait

sur le point de césure supérieur du niveau. Dans ce cas, la probabilité moyenne de réussite des

items d’un niveau donné sera supérieure à 0,50

Si la seconde approche est pédagogiquement plus défendable, elle conduit automatiquement à

la réduction des pourcentages d’élèves qui se situent dans les niveaux supérieurs de compétence

et à l’augmentation des pourcentages d’élèves dans les niveaux inférieurs. Pour ces raisons, il a

été décidé d’opter pour la première approche, à savoir qu’un élève situé en bas d’un niveau de

31 Adams, R. et Wu, M. (2010). PISA 2000 Technical Report. Paris: PISA, OECD Publishing, p 197.



compétence doit avoir une probabilité moyenne de 0,50 de réussir les items distribués

uniformément sur tout le niveau de compétence.

Figure 8.2 : Deux approches pour définir ce que signifie pour un élève d’être situé à un niveau de

compétence donné

La response probabilitity a ensuite été calculée. Quelle devrait être la probabilité de réussite d’un

individu dont le niveau de compétence est de 0,00 par rapport à un item d’indice de difficulté

0,00 pour que sa probabilité moyenne de réussite aux items uniformément distribués sur le niveau

de compétence de longueur 1 soit égale à 0,50 ?

Cette probabilité correspond en fait à la probabilité de réussite d’un individu situé au milieu du

niveau de compétence par rapport à un item qui se situerait sur le point de césure inférieur de ce

niveau de compétence. Dans le cas présent, cela revient à calculer :

622459,0)050.0exp(1

)050.0exp()00.0;50.0|1(

jnnjXp

Pour simplifier les représentations graphiques et les explications, il est d’usage de se contenter

d’une response probability qui ne compte que deux décimales, soit 0.62.

8

CHAPITRE 8


Figure 8.3 : Deux procédures d’ajustement pour modifier la response probability

Comment peut-on modifier l’échelle pour qu’un sujet ait une probabilité de 0,62 de répondre à

un item dont l’indice de difficulté est égal à son niveau de compétence ? Dans la partie gauche

de la figure 8.3, deux individus sont représentés. Le premier individu, dont le niveau de

compétence est de 0, a une probabilité de 0,50 de répondre à un item de difficulté 0,00. Par

contre, l’autre individu, dont la compétence est de 0,50, a une probabilité voisine de 0,62 de

réussir ce même item de difficulté 0,00. Si l’on retire la valeur de 0,50 à chaque individu, l’individu

dont la compétence initiale est de 0,50 se verra attribuer une compétence de 0,00, mais sa

probabilité de réussir l’item de difficulté 0,00 n’a pas changé : il a toujours une probabilité voisine

de 0,62 de réussir cet item. De même, le second individu présente maintenant une compétence

de -0,50 et a toujours une probabilité de réussir l’item de difficulté 0,00 voisine de 0,50. Ainsi, en

diminuant la valeur correspondant au niveau de compétence des sujets tout en maintenant

constant l’indice de difficulté des items, on parvient à modifier la response probability.

Comme l’illustre la figure 8.3, on peut aussi modifier l’indice de difficulté des items pour modifier

la response probability. Ainsi, l’individu dont le niveau de compétence est de 0,00 a une probabilité

voisine de 0,62 de réussir un item dont l’indice de difficulté est de -0,50. Si on augmente l’indice

de difficulté des items de 0,50, la response probability passe de 0,50 à 0,62. Il convient de noter

que dans ce cas les points de césure des niveaux de compétence sont aussi modifiés. Ce

changement est graphiquement représenté par les deux accolades : l’accolade de gauche

représente le niveau de compétence initialement défini avec une response probability de 0,50

alors que celle de droite représente le niveau de compétence dont la response probability est de

0,62.



Dans le cadre de l’évaluation PASEC2014, il a été décidé d’adopter la seconde méthode, à savoir

une modification de la response probability par une élévation des indices de difficulté des items.

Comme susmentionné, une modification des indices de difficulté de 0,50 a pour effet de faire

passer la response probability de 0,50 à 0,622459. Pour déterminer le changement d’échelle à

adopter pour obtenir une response probability parfaitement égale à 0,62, il suffit d’effectuer le

calcul suivant :

4895,062,01

62,0

1ln

RP

RP

Niveaux de compétence et points de césure Le tableau 8.1 reprend la longueur des niveaux de compétence, la response probability et le point

de césure le plus bas pour les échelles de lecture et de mathématiques en début et en fin de

scolarité. Les tableaux 8.2 à 8.5 présentent, par niveau d’études et par discipline, les points de

césure initiaux sur l’échelle logit, les points de césure après modification de la response probability

et enfin après transformation des échelles pour obtenir des échelles internationales PASEC de

moyenne 500 et d’écart-type 100.

Tableau 8.1 : Caractéristiques des niveaux de compétence des échelles PASEC

Niveau Discipline Longueur

(en logits)

Response

probability

Premier point

de césure

2e année Lecture 0,90 0,62 -0,82

Mathématiques 1,50 0,68 -1,20

6e année Lecture 0,90 0,62 -2,60

Mathématiques 0,90 0,62 -2,20

Tableau 8.2 : Points de césure des niveaux de compétence en langue – Début de scolarité

Niveau RP : 0,50

Échelle logit

RP : 0,62

Échelle logit

RP : 0,62

Échelle standardisée

(moyenne de 500 et

écart-type de 100)

Sous le niveau 1 De -∞ à -2,60 De -∞ à -2,11 De -∞ à 399,12

Niveau 1 De -2,60 à -1,60 De -2,11 à -1,11 De 399,12 à 469,54

Niveau 2 De -1,60 à -0,60 De -1,11 à -0,11 De 469,54 à 539,96

Niveau 3 De -0,60 à 0,40 De -0,11 à 0,89 De 539,96 à 610,38

Niveau 4 De 0,40 à ∞ De 0,89 à ∞ De 610,38 à ∞

8

CHAPITRE 8


Tableau 8.3 : Points de césure des niveaux de compétence en mathématiques – Début de scolarité

Niveau RP : 0,50

Échelle logit

RP : 0,68

Échelle logit

RP : 0,68


(moyenne de 500 et

écart-type de 100)


Niveau 1 De -2,20 à -0,70 De -1,45 à 0,05 De 400,34 à 489,03

Niveau 2 De -0,70 à 0,80 De 0,05 à 1,55 De 489,03 à 577,73


Tableau 8.4 : Points de césure des niveaux de compétence en lecture – Fin de scolarité

Niveau RP : 0,50

Échelle logit

RP : 0,62

Échelle logit

RP : 0,62


(moyenne de 500 et

écart-type de 100)


Niveau 1 De -1,72 à 0,82 De -1,23 à -0,33 De 365,01 à 441,69

Niveau 2 De -0,82, à 0,08 De -0,33 à 0,57 De 441,69 à 518,37

Niveau 3 De 0,08 à 0,98 De 0,57 à 1,47 De 518,37 à 595,05

Niveau 4 De 0,98 à +∞ De 1,47 à +∞ De 595,05 à +∞

Tableau 8.5 : Points de césure des niveaux de compétence en mathématiques – Fin de scolarité

Niveau RP : 0,50

Échelle logit

RP : 0,62

Échelle logit

RP : 0,62


(moyenne de 500 et

écart-type de 100)


Niveau 1 De -1,20 à -0,30 De -0,71 à 0,19 De 433,28 à 521,46

Niveau 2 De -0,30 à 0,60 De 0,19 à 1,09 De 521,46 à 609,64




Description des échelles et des niveaux de

compétences

8.3.1 Compréhension de l’écrit

Tableau 8.6 : Description de l’échelle de compétences PASEC2014 en langue – Début de scolarité

Niveau Description des compétences

4

Lecteur intermédiaire : vers une lecture autonome pour comprendre des phrases et

des textes

Les élèves ont atteint un niveau de déchiffrage de l’écrit et de compréhension orale qui

leur permet de comprendre des informations explicites dans des mots, des phrases et

des textes courts. Ils sont capables de croiser leurs compétences de décodage et leur

maîtrise du langage oral pour restituer le sens littéral d’un texte court.

3

Apprenti lecteur : vers le perfectionnement du déchiffrage de l’écrit et des capacités

de compréhension orale et de compréhension des mots écrits

Les élèves ont amélioré leurs capacités de compréhension orale et de décodage pour

se concentrer sur la compréhension de mots. En compréhension de l’oral, ils sont

capables de comprendre des informations explicites dans un texte court dont le

vocabulaire est familier. Ils développent progressivement les liens entre le langage oral

et écrit pour améliorer leurs capacités de décodage et étendre leur vocabulaire. En

compréhension de l’écrit, ils sont capables d’identifier le sens de mots isolés.

2

Lecteur émergent : vers le développement des capacités de déchiffrage de l’écrit et

le renforcement des capacités de compréhension orale

Les élèves ont perfectionné leur compréhension de l’oral et sont en mesure d’identifier

un champ lexical. Ils développent les premiers liens entre le langage oral et écrit et

sont capables de réaliser des tâches basiques de déchiffrage, de reconnaissance et

d’identification graphophonologique (lettres, syllabes, graphèmes et phonèmes).

1

Lecteur en éveil : les premiers contacts avec le langage oral et écrit

Les élèves sont capables de comprendre des messages oraux très courts et familiers

pour reconnaître des objets familiers. Ils connaissent de grandes difficultés dans le

déchiffrage de l’écrit et l’identification graphophonologique (lettres, syllabes,

graphèmes et phonèmes).

Sous le

niveau 1

Les élèves qui se situent à ce niveau ne manifestent pas les compétences mesurées par

ce test dans la langue de scolarisation. Ces élèves sont en difficulté quant aux

connaissances et compétences du niveau 1.

8

CHAPITRE 8


Tableau 8.7 : Description de l’échelle de compétences PASEC2014 en lecture – Fin de scolarité

Niveau Description des compétences

4

Les élèves peuvent effectuer un traitement de texte global pour tirer parti de textes

narratifs ou informatifs et de documents. Sur ces supports, ils sont capables d’associer

et d’interpréter plusieurs idées implicites en s’appuyant sur leurs expériences et leurs

connaissances. En lisant des textes littéraires, les élèves sont capables d’identifier

l’intention de l’auteur, de déterminer le sens implicite et d’interpréter les sentiments

des personnages. En lisant des textes informatifs et des documents, ils mettent en lien

des informations et comparent des données pour les exploiter.

3

Les élèves sont capables de combiner deux informations explicites dans un passage

d’un document ou de réaliser des inférences simples dans un texte narratif ou

informatif. Ils peuvent extraire des informations implicites de supports écrits en

donnant du sens aux connecteurs implicites, aux anaphores ou aux référents. Les

élèves localisent des informations explicites dans des textes longs et des documents

dont le texte est discontinu.

2

Les élèves mobilisent leur capacité de décodage orthographique pour identifier et

comprendre des mots isolés issus de leur vie quotidienne. Ils sont également en mesure

de localiser des informations explicites dans des textes courts et moyens en prélevant

d’indices de repérage présents dans le texte et les questions. Les élèves parviennent à

paraphraser les informations explicites d’un texte.

1

Les élèves ont développé des capacités de décodage et sont capables de les mobiliser

pour comprendre des mots isolés issus de leur vie quotidienne, mais éprouvent de la

difficulté à comprendre le sens de textes courts et simples.

Sous le

niveau 1


ce test en langue d’enseignement. Ces élèves sont en difficulté quant aux




8.3.2 Mathématiques

Tableau 8.8 : Description de l’échelle de compétences PASEC2014 en mathématiques – Début de

scolarité

Niveau Compétences des élèves

3

Les élèves maîtrisent la chaîne verbale des nombres (compter jusqu’à 60 en 2 minutes)

et sont capables de comparer des nombres, de compléter des suites logiques et de

réaliser des opérations (additions et soustractions) sur des nombres supérieurs à 50. Ils

peuvent raisonner sur des problèmes basiques avec des nombres inférieurs à 20.

2

Les élèves sont capables de reconnaître les nombres jusqu’à 100, de les comparer, de

compléter des suites logiques et de réaliser des opérations (additions et soustractions)

sur des nombres inférieurs à 50. Ils manipulent des concepts de repérage dans l’espace

(en dessous, au-dessus, à côté). Ils commencent à développer des aptitudes de

raisonnement sur des problèmes basiques avec des nombres inférieurs à 20.

1

Les élèves développent progressivement leurs connaissances du langage

mathématique et maîtrisent les premières notions de quantité (dénombrement,

comparaison) autour d’objets et de nombres inférieurs à 20. Ils apprécient la taille

relative des objets, reconnaissent des formes géométriques simples et manipulent les

premiers concepts de repérage dans l’espace (dedans, dehors).

Sous le

niveau 132




32 Deux items se situent sous la borne inférieure du niveau 1 : ces deux items relèvent du domaine « géométrie,

espace et mesure » et plus spécifiquement de la compétence « estimer des grandeurs ». Il n’est pas possible de

définir un niveau de compétence cohérent au départ de ces deux items mais on peut considérer qu’ils sont acquis

par les élèves du niveau 1 et des niveaux supérieurs ainsi que par une certaine proportion d’élèves n’atteignant pas le

niveau 1.

8

Tableau 8.9 : Description de l’échelle de compétences PASEC2014 en mathématiques – Fin de

scolarité

Niveau Compétences des élèves

3

Les élèves sont en mesure de répondre à des questions d’arithmétique et de mesure

nécessitant d’analyser des situations, généralement présentées sous forme d’un texte

court de deux à trois lignes, pour dégager la ou les procédures à mobiliser. En

arithmétique, ils peuvent résoudre des problèmes impliquant des fractions ou des

nombres décimaux. En mesure, ils peuvent résoudre des problèmes impliquant des

calculs d’aire ou de périmètre. Ils peuvent repérer des données sur un plan pour calculer

une distance en respectant les contraintes imposées par l’énoncé. Ils peuvent aussi

réaliser des calculs et des conversions impliquant des heures, des minutes et des

secondes.

2

Les élèves sont en mesure de répondre à des questions brèves d’arithmétique, de mesure

et de géométrie recourant aux trois processus évalués : connaître, appliquer et raisonner.

Certaines questions font appel à une connaissance factuelle ou à une procédure

spécifique, d’autres nécessitent d’analyser la situation pour déterminer l’approche

pertinente. En arithmétique, les élèves effectuent des opérations avec des nombres

décimaux et peuvent aussi résoudre des problèmes courants en analysant l’énoncé ou

en prélevant des données dans un tableau à double entrée. Ils savent compléter des

suites logiques avec des nombres décimaux ou des fractions. En mesure, les élèves sont

capables de lire l’heure et peuvent réaliser des conversions d’unités de mesure avec ou

sans l’aide d’un tableau de conversion. Ils sont aussi capables de résoudre des problèmes

arithmétiques impliquant des opérations sur des jours, des heures et des minutes ou sur

des mesures de longueur. En géométrie, les élèves connaissent le nom de certains

solides, des figures géométriques de base et de certaines droites remarquables

(diagonale, médiane).

1

Les élèves peuvent répondre à des questions très brèves, faisant explicitement appel à

une connaissance factuelle ou à une procédure spécifique. En arithmétique, ils sont

capables d’effectuer les quatre opérations de base avec des nombres entiers et pouvant

nécessiter un calcul écrit avec retenue. En mesure, ils reconnaissent l’unité de mesure de

la longueur : le mètre. En géométrie, ils sont capables de se repérer dans l’espace en

identifiant des directions et des positions et en lisant les coordonnées d’un graphique.

Sous le

niveau 133




33 Quatre items se situent sous la borne inférieure du niveau 1. Tout comme les items du niveau 1, ces quatre items

relèvent du processus « connaître » : un item est très semblable à l’item du domaine « mesure » situé dans le niveau 1

(la longueur d’une maison est mesurée en mètres), deux items relèvent du domaine « numération » (opérations

arithmétiques avec des nombres inférieurs à 50) et un item relève du domaine « géométrie » (identifier des cercles

parmi différentes figures géométriques). Ce dernier item présente une proximité importante avec des items du niveau 2

(reconnaissance du rectangle et du triangle) mais il est à noter que cette figure géométrique est la seule qui fait partie

de l’univers familier des enfants et qui a une existence dans les langues parlées à la maison ; c’est aussi la première

figure géométrique étudiée à l’école maternelle. Il n’est pas possible de définir un niveau de compétence cohérent au

départ de ces deux items mais on peut considérer qu’ils sont acquis par les élèves du niveau 1 et des niveaux supérieurs

et par une certaine proportion d’élèves n’atteignant pas le niveau 1.

9 9. VARIABLES DÉRIVÉES

DES QUESTIONNAIRES

CONTEXTUELS

9

CHAPITRE 9


VARIABLES DÉRIVÉES DES QUESTIONNAIRES CONTEXTUELS


L’évaluation PASEC2014 a permis de collecter diverses informations sur les caractéristiques des

élèves, leur environnement familial, leurs perceptions et l’environnement scolaire (enseignants,

classes, directeurs et écoles).

La plupart de ces informations se présentent sous forme de questions ou de variables directement

exploitables (comme l’âge et le genre de l’élève). Rappelons cependant que des recodages

simples peuvent être nécessaires afin de faciliter les analyses et les interprétations (par exemple :

recodage de la variable genre de l’élève en 1 pour les filles et 0 pour les garçons).

Cependant, plusieurs variables sont conçues afin d’être agrégées pour mesurer un trait latent (par

exemple la perception, l’attitude…) qu’il serait difficile de mesurer directement avec une seule

variable. Comme pour les compétences des élèves mesurées par une analyse synthétique d’items,

ces questions contextuelles sont agrégées et mises à l’échelle à l’aide de la théorie de réponse à

l’item (IRT) pour créer des indices contextuels.

Nous présentons dans ce chapitre la méthode de création des indices au niveau international

pour des données contextuelles.

Liste des indices contextuels analysés

Sur la base du cadre de référence des questionnaires PASEC2014, les données sont collectées en

vue de créer les indices suivants :

Au niveau élèves34 (6e année) :

- Indice du statut socioéconomique

- Indice de perception de soi dans l’apprentissage

- Indice de l’intérêt pour les mathématiques

Au niveau maîtres/classes

- Indice des ressources didactiques et pédagogiques dans la classe

- Indice de perception des conditions de travail par l’enseignant

- Indice des avantages sociaux de l’enseignant

Au niveau directeurs/écoles

- Indice des ressources didactiques et pédagogiques dans l’école

- Indice d'aménagement du territoire

- Indice d’implication de la communauté locale

- Indice d’infrastructure de l’école

Certains indices35 n’ont pu être créés à cause d’une cohérence globale très faible dans la majorité

des pays. La liste des items composant ces indices est donnée à l’annexe 4.

34 L’enquête PASEC2014 n’a pas collecté ces données auprès des élèves de 2e année. En effet, il n’est pas possible de

garantir la fiabilité de telles données pour ce niveau d’études. 35 Au niveau élèves :

Indice de l’intérêt pour la lecture

Indice de bien-être à l’école

Au niveau maîtres/classes :

Indice de gestion de la discipline

9

CHAPITRE 9


Procédure de création des indices

contextuels La démarche qui a été suivie est celle de la théorie de réponse à l’item (IRT). Pour les indices

composés d’items36 entièrement dichotomiques (par exemple : indice des avantages sociaux de

l’enseignant, indice d'aménagement du territoire), le modèle de Rasch à un paramètre a été

utilisé.

La spécification du modèle Rasch se présente comme suit :

𝑃𝑖(𝜃𝑛) =exp (𝜃𝑛 − 𝛿𝑖)

1 + exp (𝜃𝑛 − 𝛿𝑖)

Où :

𝑃𝑖(𝜃𝑛) est la probabilité qu’un individu n réponde « Oui » à l’item i ;

𝜃𝑛 est l’estimation du trait latent de l’individu n ;

𝛿𝑖 est l’estimation de la position de l’item i sur l’échelle.

Pour les indices composés d’items du type « Likert » ou ceux présentant plus de deux modalités,

le modèle précédent peut être substitué à un modèle de crédit partiel qui se présente comme

suit :

𝑃𝑥𝑖(𝜃𝑛) =

exp ∑ (𝜃𝑛 − 𝛿𝑖 + 𝜏𝑖𝑗)𝑥𝑘=0

∑ exp ∑ (𝜃𝑛 − 𝛿𝑖 + 𝜏𝑖𝑘)ℎ𝑘=0

𝑚𝑖ℎ=0

Avec 𝑥𝑖 = 0, 1, … , 𝑚𝑖

Où :

𝑃𝑥𝑖(𝜃𝑛) est la probabilité qu’un individu n ait un crédit partiel de x à l’item i (x variant entre 0

et 𝑚𝑖) ;

𝜃𝑛 est l’estimation du trait latent de l’individu n ;

𝛿𝑖 est l’estimation de la position de l’item i sur l’échelle ;

𝜏𝑖𝑗 est un paramètre relatif au « pas37 » entre deux crédits partiels successifs.

Les principales étapes suivies pour la création de l’ensemble des indices sont les suivantes :

1) recodage des items pour une utilisation appropriée du modèle IRT ;

2) première analyse IRT des variables de chaque indice par pays : stabilisation de la liste des

indices sur la base de la cohérence interne globale (alpha de Cronbach supérieur ou égal

à 0,60) ;

Au niveau directeurs/écoles :

Indice de la qualité de la gestion administrative

Indice de la qualité de la gestion pédagogique 36 Variables primaires. 37 Le PASEC a utilisé des « pas » non constants, c’est-à-dire en fonction de chaque item.



3) analyse des paramètres psychométriques des items des indices par pays : identification

des items défectueux sur la base de la discrimination et de l’ajustement au modèle IRT

pour chaque pays ;

4) synthèse des analyses nationales : identification du fonctionnement différentiel des items

à travers les pays ;

5) estimation internationale des paramètres d’item ;

6) estimation des scores pour chaque indice.

Différents programmes ont été développés pour le traitement et l’analyse des données lors de ce

processus de création des indices. Les logiciels utilisés sont Stata (pour le traitement) et ACER

ConQuest® pour les analyses psychométriques.

9.1.1 Recodage des données brutes

Les données ont été recodées pour les besoins de l’analyse IRT. Il s’agit principalement de :

- recoder les items dichotomiques en 0 ou 1, le code 1 représentant l’attribution de

l’élément en question ;

- recoder les items catégoriels (de type Likert par exemple) ou les items nécessitant la fusion

de plusieurs variables à crédit partiel (codes 0, 1, 2…) ;

- recoder les données manquantes par le code 7 signifiant « non-réponse par design ».

Encadré 9.1 : Exemple de code Stata pour le recodage et le calcul des alphas de Cronbach

9.1.2 Cohérence interne des indices

L’indicateur de cohérence interne (ou de fiabilité) a été calculé pour chaque indice et pour chaque

pays. Selon les procédures PASEC, le seuil minimum de cohérence interne (alpha de Cronbach)

dans le cadre de l’analyse de données contextuelles est de 0,60.

L’alpha de Cronbach se définit comme suit :

𝛼 =𝑘

𝑘 − 1(1 −

∑ 𝜎𝑌𝑖

2𝑘𝑖=1

𝜎𝑋2 )

/* Indice de perception de soi des élèves */

foreach var of varlist qe630a qe630b qe630c {

recode `var' (1=0) (2=1) (3=2) (4=3)

}

foreach var of varlist qe630d qe630e qe630f qe630g {

recode `var' (4=0) (3=1) /*(2=2)*/ (1=3)

}

alpha qe630a-qe630g, std item

bysort pays: alpha qe630a-qe630g, std item

9

CHAPITRE 9


Où :

k est le nombre d’items ;

𝜎𝑋2 est la variance du score total ;

𝜎𝑌𝑖

2 est la variance de l’item i.

Le tableau suivant présente les alphas de Cronbach par indice38 et par pays.

Tableau 9.1 : Alphas de Cronbach des indices par pays

Note : les codes des pays se lisent comme suit :

BEN=Bénin, BFA=Burkina Faso, BDI=Burundi, CMA=Cameroun anglophone, CMF=Cameroun francophone,

COG=Congo, CIV=Côte d’Ivoire, NIG=Niger, SEN=Sénégal, TCD=Tchad, TOG=Togo.

Même si l’on constate une cohérence suffisante dans la majorité des pays39, certains affichent des

alphas de Cronbach relativement faible (en dessous de 0,6) pour certains indices.

9.1.3 Analyse psychométrique des paramètres d’item

des indices par pays

La qualité psychométrique des indices est appréciée en premier lieu pour chaque pays. Pour ce

faire, deux indicateurs sont utilisés : la discrimination et l’ajustement. L’indice de discrimination

mesure la corrélation entre la réponse à l’item et les réponses à l’ensemble des items de l’indice.

Quant à l’indice d’ajustement, il mesure la qualité d’ajustement du modèle (logistique) aux

données observées.

38 Les alphas de Cronbach des indices non retenus sont présentés dans le tableau A3.2 (annexe 3). 39 Au minimum six pays sur dix.

Indices BEN BFA BDI CMA CMF COG CIV NIG SEN TCD TOG

Niveau

élèves

SES 0,833 0,805 0,817 0,829 0,844 0,861 0,824 0,889 0,833 0,866 0,866

Perception 0,647 0,636 0,545 0,511 0,602 0,688 0,664 0,622 0,646 0,641 0,638

Intérêt maths 0,666 0,437 0,603 0,497 0,669 0,660 0,700 0,637 0,693 0,703 0,658

Niveau

maîtres/

classes

Ressources

pédagogiques 0,719 0,798 0,660 0,766 0,742 0,667 0,661 0,723 0,623 0,733 0,753

Perception 0,747 0,697 0,759 0,760 0,724 0,785 0,692 0,722 0,735 0,724 0,715

Avantages

sociaux 0,695 0,433 0,366 0,647 0,615 0,633 0,617 0,575 0,619 0,802 0,734

Niveau

directeurs

/écoles

Ressources

pédagogiques 0,695 0,431 0,901 0,843 0,834 0,778 0,624 0,893 0,755 0,773 0,707

Aménagement

territoire 0,893 0,908 0,864 0,805 0,870 0,918 0,936 0,903 0,904 0,897 0,910

Implication

communauté 0,560 0,714 0,624 0,785 0,768 0,721 0,678 0,695 0,676 0,775 0,649

Infrastructures 0,492 0,607 0,658 0,732 0,758 0,725 0,706 0,600 0,677 0,713 0,727



Pour chaque indice, les items défectueux sont identifiés sur la base des règles suivantes de

discrimination et d’ajustement au modèle :

- la discrimination40 (ou la corrélation bisériale de point) de l’item est inférieure à 0,20 ;

- l’indice d’ajustement pondéré est inférieur à 0,75 ou supérieur à 1,25, pour autant que la

statistique T soit supérieure en valeur absolue à 1,96.

Encadré 9.2 : Exemple de code ConQuest pour l’estimation des caractéristiques psychométriques

(discrimination et ajustement) des items

Quand un item dysfonctionne en termes de discrimination dans la majorité des pays, c’est-à-dire

dans au moins cinq pays, l’item est supprimé définitivement pour tous les pays. Un item qui n’est

pas supprimé au niveau international ne l’est pas non plus au niveau d’un pays si le

dysfonctionnement en termes de discrimination provient uniquement d’une faible variance. En

effet, une faible discrimination (discrimination positive mais inférieure à 0,20) peut traduire une

faible variance des données relativement à l’item en question.

La liste des items supprimés pour tous les pays pour cause de dysfonctionnement par rapport à

certains indices se présente comme suit :

40 Voir la section « Analyse et calibration des items » au chapitre 7.

/* Indice SES : (24 items; codes 0,1,2,3) */

let path=C:\PASEC\Analyse_IRT_QUESTIONNAIRES_2015;

Dofor itere=1 2 3 4 5 6 7 8 9 10 11;

set update=yes,warnings=no,iterlimit=5000,constraints=items;

datafile %path%\P%itere%\ELEVES_6A_P%itere%.txt;

format pays 8-9 id 17-20 response 50-73;

labels << %path%\Fichiers_LAB\el_ses.lab;

codes 0,1,2,3;

model item + item*step;

estimate ! method=quadrature, fit=yes, conv=0.001, stderr=Empirical;

show >> %path%\P%itere%\eleves\ELEVES_P%itere%_ses1.shw;

show parameters ! table=2,filetype=excel >>

%path%\P%itere%\eleves\ELEVES_P%itere%_ses1.xls;

itanal >> %path%\P%itere%\eleves\ELEVES_P%itere%_ses1.itn;

itanal! estimates=latent,filetype=excel,format=summary >>

%path%\P%itere%\eleves\ELEVES_P%itere%_ses1_sum.xls;

enddo;

quit;

9

CHAPITRE 9


Tableau 9.2 : Liste des items présentant une faible discrimination pour au moins la moitié des

pays

Corrélation bisériale de point

Indices Items

supprimés BEN BFA BDI CMA CMF COG CIV NIG SEN TCD TOG

Niv

eau

élè

ves

SES qe622h 0,04 0,09 0,16 0,30 0,09 0,01 0,06 0,25 0,10 0,23 0,08

qe622i 0,2 0,04 0,31 0,40 0,09 0,27 0,17 0,15 -0,12 0,14 0,22

Niv

eau

maître

s/cl

ass

es

Ress

ou

rces

péd

ag

og

iqu

es

qm658m 0,25 0,04 0,36 0,40 0,09 0,34 0,08 0,11 0,10 0,19 0,10

qm658o 0,31 0,16 0,08 0,20 0,20 0,28 0,15 0,15 0,15 0,00 0,11

qm658n 0,40 0,12 0,38 0,47 0,18 0,30 0,14 0,22 0,19 0,19 0,33

Perc

ep

tio

n qm654a 0,31 0,11 0,22 0,11 0,34 0,21 0,17 0,15 0,18 0,24 0,26

qm654b 0,11 0,04 0,28 0,13 0,08 0,10 0,22 0,03 0,19 0,18 0,07

qm654c 0,00 - - 0,06 - - -0,07 - 0,18 0,08 0,04

Avan

tag

es

soci

aux

qm615b 0,25 0,05 0,03 0,07 -0,05 0,17 0,07 0,03 0,05 0,02 0,23

qm616b 0,04 - 0,36 0,05 0,18 0,49 0,65 0,11 0,34 -0,05 0,22

qm616e 0,14 0,10 - 0,45 0,17 0,01 0,65 0,17 0,11 0,12 0,22

Niv

eau

dir

ect

eu

rs/é

cole

s

Imp

licatio

n

com

mu

nau

té

qd43j 0,46 0,17 0,09 0,63 0,36 0,38 0,05 0,01 0,18 0,54 0,24

Infr

ast

ruct

ure

s

qd65k 0,32 -0,01 0,39 0,55 0,41 0,14 0,13 0,18 0,27 0,23 0,14

Note : La discrimination a été appréciée à travers la statistique « Item Total Correlation » (corrélation entre l’item et le

score total incluant l’item).



9.1.4 Synthèse des analyses nationales

Après l’identification des dysfonctionnements des items pour chaque pays, le fonctionnement

différentiel entre pays a été vérifié. Il s’agissait de vérifier si un item qui présente un bon

fonctionnement au sein de chaque pays peut présenter des indices statistiques qui diffèrent

substantiellement d’un pays à l’autre ; autrement dit, si pour un pays donné un item mesure un

trait latent qui diffère plus ou moins de celui mesuré par le même item dans d’autres pays.

Un item présente un fonctionnement différentiel entre pays en termes d’indice de difficulté (item

by country interaction)41 si l’écart entre l’indice de difficulté de l’item au sein d’un pays et la

moyenne des indices nationaux est supérieur en valeur absolue à 0,50, pour autant que sa valeur

standardisée (l’écart rapporté à l’erreur type) en valeur absolue soit supérieure à 1,96.

Le fonctionnement différentiel des items à travers les pays se présente comme suit :

Tableau 9.3 : Nombre d’items présentant un fonctionnement différentiel (item by country

interaction) pour chaque indice et par pays


Statut socioéconomique de

l’élève 5 4 13 9 4 8 4 6 8 7 10

Ressources didactiques et

pédagogiques de la classe 7 12 15 12 10 8 2 8 4 6 12

Perception des conditions

de travail par l'enseignant 1 6 2 1 - 2 - 1 - 4 1

Avantages sociaux de

l'enseignant 6 2 5 4 6 5 2 2 6 7 5

Ressources didactiques et

pédagogiques de l'école 2 - - 2 - 2 - 1 3 - -

Indice d'aménagement de la

localité de l'école 5 7 6 4 4 5 4 8 6 6 4

Implication de la

communauté locale 7 12 14 11 8 8 14 14 9 9 6

Infrastructures de l’école 5 7 11 9 3 6 7 10 6 7 7

En prenant l’exemple de l’indice socioéconomique des élèves, les deux graphiques suivants

illustrent respectivement le cas d’un item ne présentant presque pas de fonctionnement

différentiel à travers les pays et celui d’un item présentant un fonctionnement différentiel dans

plusieurs pays.

41 Nous nous limitons dans ce rapport à analyser l’« item by country interaction », même s’il est possible également de

vérifier le fonctionnement différentiel en termes de discrimination ou d’ajustement dans les conditions suivantes :

• l’indice de discrimination de l’item au sein d’un pays s’écarte d’au moins 0,10 de la moyenne des valeurs

nationales ;

• l’indice d’ajustement pondéré de l’item au sein d’un pays s’écarte d’au moins 0,10 par rapport à la moyenne

des valeurs nationales pour le même item.

9

CHAPITRE 9


Graphique 9.1 : Fonctionnement différentiel de l’item QE6_22D à travers les pays

Note : La barre rouge indique l’indice de difficulté moyen de l’item pour l’ensemble des pays. La surface hachurée

indique pour chaque pays l’intervalle dans lequel l’indice de difficulté de l’item ne présenterait pas de différence

significative s’il y avait chevauchement avec l’indice moyen des pays.

La question QE6_22D sur la possession d’une voiture présente un fonctionnement différentiel

seulement au Niger par rapport à la moyenne observée dans tous les pays. Ainsi, cet item mesure

de façon presque identique pour tous les pays le trait latent relatif au statut socioéconomique.

Quant à la question QE6_22C portant sur la possession d’un fer à repasser électrique, on constate

un fonctionnement différentiel dans six pays, soit le Burkina Faso, le Cameroun anglophone et

francophone, le Congo, la Côte d’Ivoire et le Sénégal (graphique ci-dessous). Si, dans certains de

ces pays (Burkina Faso, Côte d’Ivoire et Sénégal), la possession de cet item est relativement rare

comparée à la possession moyenne de l’ensemble des pays, elle est plutôt fréquente dans les

autres pays (Cameroun et Congo).

Graphique 9.2 : Fonctionnement différentiel de l’item QE6_22C à travers les pays

0

0,19

0,38

0,57

0,76

0,95

1,14

1,33

1,52

1,71

1,9

2,09

2,28

2,47

BEN BFA BDI CMA CMF COG CIV NIG SEN TCD TOG

Dif

ficu

lté

de

l'it

em

QE6_22D : Possession de voiture

-1,5

-1,08

-0,66

-0,24

0,18

0,6

1,02

1,44

1,86

2,28

2,7

BEN BFA BDI CMA CMF COG CIV NIG SEN TCD TOG

Dif

ficu

lté

de

l'it

em

QE6_22C : Possession de fer à repasser électrique



9.1.5 Estimation internationale des paramètres d’item

À la suite des analyses nationales, l’estimation internationale des paramètres d’item a permis

d’apprécier la qualité psychométrique des indices au niveau international. Afin de ne pas

avantager ou désavantager les pays42, les items présentant des discriminations faibles au niveau

national sont maintenus dans ces pays lors du calibrage international. Un poids normalisé43 a été

utilisé afin que chaque pays puisse contribuer de manière identique à l’estimation des paramètres

finaux des items. Pour le Cameroun, le poids attribuable au pays a été réparti proportionnellement

aux poids des deux sous-systèmes éducatifs (soit 30 % pour le système anglophone et 70 % pour

le système francophone).

Les mêmes règles ont été utilisées pour mesurer le bon fonctionnement des items en termes de

discrimination et d’ajustement.

Pour chacun des dix indices, tous les items présentent une bonne discrimination. L’ajustement

faible qui est observé, quelques fois, pour certains items s’explique par la discrimination élevée

car inversement corrélé à cette dernière.

42 Quand un item est faiblement possédé (par exemple par 3 % de l’échantillon) dans un pays, la discrimination pourrait

s’afficher faible et supprimer un tel item avantagerait ce pays par rapport à l’indice. Idem pour un item fortement

possédé (par exemple 99 % de possession) : le supprimer désavantagerait le pays concerné par rapport à l’indice. 43 Par exemple, pour les indices de niveau élèves : POIDS_NORMALISE = 1000 * POIDS / (∑POIDS).

9

CHAPITRE 9


Encadré 9.3 : Code ConQuest d’estimation internationale des caractéristiques psychométriques

(discrimination et ajustement) des items

9.1.6 Estimation des scores

Sur la base des paramètres internationaux des items, le « Weighted Likelihood Estimation » (WLE)

(Warm, 1989)44 a été utilisé pour estimer les scores pour les élèves, les maîtres et les directeurs

d’école. Ces scores ont ensuite été standardisés en une moyenne internationale de 50 et un écart-

type de 10 pour chacun des indices.

44 Warm, T. A. (1989). Weighted Likelihood Estimation of Ability in Item Response Theory. Psychometrika, 54(3), 427-

450.


let path=C:\PASEC\Analyse_IRT_QUESTIONNAIRES_2015;

let name=ELEVES_6A;

/* estimation des paramètres internationaux qui seront utilisés pour

estimer les scores */


datafile %path%\international\eleves\%name%_step3.txt;

format pays 8-9 id 16-20 response 24-45 poids 63-72;

labels << %path%\Fichiers_LAB\INT\el_ses_int.lab;

codes 0,1,2,3;

caseweight poids;

model item + item*step - pays;


export parameters >> %path%\international\eleves\%name%_ses_par1.par;

show >> %path%\international\eleves\%name%_ses1.shw;


%path%\international\eleves\%name%_ses1.xls;

reset;

/* estimation des paramètres internationaux pour l’analyse d’item */



format pays 8-9 id 16-20 response 24-45 poids 63-72;


codes 0,1,2,3;

caseweight poids;



itanal >> %path%\international\eleves\%name%_ses2.itn;

itanal! estimates=latent,filetype=excel,format=summary >>

%path%\international\eleves\%name%_ses2_sum.xls;


%path%\international\eleves\%name%_ses2.xls;

put >> %path%\international\eleves\%name%_ses.cqs;

quit;



Encadré 9.4 : Exemple de code ConQuest pour l’estimation des scores WLE des élèves pour l’indice

socioéconomique

La formule de standardisation pour l’obtention d’une moyenne de 50 et d’un écart-type de 10 est

la suivante :

𝑆𝑐𝑜𝑟𝑒𝑠𝑡𝑑 =𝑆𝑐𝑜𝑟𝑒𝑤𝑙𝑒 − 𝑆𝑐𝑜𝑟𝑒𝑤𝑙𝑒

𝜎𝑆𝑐𝑜𝑟𝑒𝑤𝑙𝑒

× 10 + 50

Où :

𝑆𝑐𝑜𝑟𝑒𝑤𝑙𝑒 est le score WLE obtenu à partir des analyses IRT ;

𝑆𝑐𝑜𝑟𝑒𝑤𝑙𝑒 et 𝜎𝑆𝑐𝑜𝑟𝑒𝑤𝑙𝑒

sont respectivement la moyenne et l’écart-type du score WLE.

La distribution pondérée des scores (standardisés) des indices se présente comme suit :

Tableau 9.4 : Indices au niveau élèves

Pays Indices au niveau élèves

SES Intérêt pour les maths Perception de soi

Bénin 52,4 (0,5) 50,8 (0,4) 50,1 (0,6)

Burkina Faso 50,2 (0,4) 50,4 (0,4) 49,9 (0,3)

Burundi 43,4 (0,3) 51,0 (0,4) 51,1 (0,3)

Cameroun 53,0 (0,4) 50,8 (0,5) 51,0 (0,3)

Congo 54,0 (0,5) 49,7 (0,4) 48,1 (0,6)

Côte d'Ivoire 52,3 (0,4) 46,3 (0,5) 48,4 (0,4)

Niger 45,0 (0,7) 51,8 (0,5) 52,6 (0,4)

Sénégal 55,1 (0,6) 47,3 (0,5) 47,1 (0,4)

Tchad 45,6 (1,0) 52,3 (0,6) 51,5 (0,7)

Togo 49,0 (0,4) 49,8 (0,4) 50,4 (0,4)

International 50,0 (0,2) 50,0 (0,2) 50,0 (0,1)


let path=C:\PASEC\Analyse_IRT_QUESTIONNAIRES_2015\IRT;

let name=ELEVES_6A;



format pays 8-9 pid 16-20 response 24-45 poids 63-72;


codes 0,1,2,3;


import anchor_parameters <<

%path%\international\eleves\%name%_ses_par2.par;

estimate ! method=quadrature, fit=yes, nodes=30, conv=0.001,

stderr=Empirical;

show cases ! estimate=wle,filetype=excel >>

%path%\international\eleves\%name%_ses_wle.xls;

show >> %path%\international\eleves\%name%_ses_wle.shw;

quit;

9

Tableau 9.5 : Indices au niveau maîtres/classes

Pays

Indices au niveau maîtres/classes

Ressources

pédagogiques

Perception des

conditions de travail

par l’enseignant


l’enseignant

Bénin 60,0 (1,2) 52,4 (1,1) 56,1 (1,1)

Burkina Faso 53,8 (0,7) 49,2 (0,6) 46,6 (0,5)

Burundi 49,2 (0,4) 52,7 (1,0) 46,9 (0,5)

Cameroun 45,8 (0,6) 48,8 (0,9) 49,6 (0,8)

Congo 48,9 (0,7) 51,8 (1,4) 47,5 (1,0)

Côte d'Ivoire 54,0 (0,6) 51,4 (0,7) 51,8 (0,5)

Niger 47,5 (0,6) 50,1 (0,9) 47,9 (0,9)

Sénégal 53,1 (1,0) 52,8 (1,2) 54,1 (0,9)

Tchad 38,0 (0,8) 45,0 (0,9) 51,1 (1,5)

Togo 49,8 (0,6) 45,9 (0,7) 48,4 (0,7)

International 50,0 (0,3) 50,0 (0,3) 50,0 (0,3)

Tableau 9.6 : Indices au niveau directeurs/écoles

Pays

Indices au niveau directeurs/écoles

Ressources

pédagogiques

Aménagement

du territoire

Implication de la

communauté Infrastructures

Bénin 50,7 (0,8) 52,5 (0,9) 45,8 (0,4) 54,8 (0,7)

Burkina Faso 48,3 (0,5) 53,8 (0,6) 50,6 (0,8) 52,5 (0,5)

Burundi 47,0 (0,3) 42,1 (0,6) 51,1 (0,5) 45,8 (0,5)

Cameroun 52,4 (0,7) 50,3 (0,7) 49,8 (0,9) 50,2 (0,8)

Congo 51,1 (0,9) 50,9 (0,8) 43,5 (1,2) 54,0 (0,8)

Côte d'Ivoire 48,1 (0,5) 51,6 (0,8) 53,3 (0,7) 51,9 (0,6)

Niger 47,0 (0,5) 47,3 (0,7) 54,7 (0,6) 41,2 (0,8)

Sénégal 59,8 (1,5) 55,3 (0,9) 50,7 (1,2) 58,0 (0,7)

Tchad 47,1 (0,5) 47,2 (1,0) 55,0 (1,2) 44,9 (0,9)

Togo 48,5 (0,5) 48,9 (0,6) 45,6 (0,7) 46,7 (0,6)

International 50,0 (0,3) 50,0 (0,2) 50,0 (0,3) 50,0 (0,2)

10 10. CALCUL DE

L’ERREUR TYPE

10

CHAPITRE 10


CALCUL DE L’ERREUR TYPE


La nouvelle méthodologie d’analyse quantitative du PASEC a connu deux changements majeurs :

l’utilisation des réplications et le recours aux valeurs plausibles. Les réplications permettent le

calcul de l’erreur d’échantillonnage et les valeurs plausibles, au-delà des avantages connus des

modèles de réponse à l’item, permettent le calcul de l’erreur de mesure.

Sources d’erreur : Erreur d’échantillonnage

et erreur de mesure

10.1.1 Erreur d’échantillonnage

Le chapitre 6 a montré la procédure de génération des poids issus de réplications. Ces poids de

réplications permettent ensuite de calculer la variance d’échantillonnage d’une statistique telle

que la moyenne, l’écart-type, le coefficient de régression, les quartiles, etc.

La variance d’échantillonnage d’une statistique est calculée en comparant l’estimation de cette

statistique pour chaque poids de réplications h (hrwgt ) à l’estimation de la même statistique pour

l’échantillon entier (avec le poids final de l’élève,0rwgt ).

De façon technique, la procédure de calcul pour l’estimation d’une statistique telle que la

moyenne ou les quartiles se fait comme suit :

- La statistique (moyenne, quartile, etc.) est calculée pour l’échantillon complet en

pondérant les données avec le poids final élève (0rwgt ) ;

- La statistique est calculée pour chacune des 90 répliques en 6e année (ou des 45 répliques

en 2e année) en utilisant les poids de réplications (hrwgt ).

La variance d’échantillonnage est ensuite calculée comme suit :

2

2

ˆ ( )( )1

ˆ ˆR

h

h

Où :

R correspond au nombre de réplications (90 en 6e année et 45 en 2e année) ;

correspond à la statistique calculée sur l’échantillon complet avec le poids final 0rwgt ;

( )ˆ

h correspond à la statistique calculée avec le poids de réplications hhrwgt .

10.1.2 Erreur de mesure

Depuis sa création, le PASEC a utilisé successivement deux méthodes pour estimer la performance

des élèves : la méthode basée sur la théorie du score vrai et la méthode qui s’appuie sur les

modèles de réponse à l’item.

10

CHAPITRE 10


La théorie du score vrai permet l’estimation de la performance de l’élève comme le pourcentage

de bonnes réponses données par un élève à un test qui lui a été soumis. Ce type de score a été

utilisé par le PASEC entre 1991 et 2011.

Les modèles de réponse à l’item ont été utilisés pour la première fois par le PASEC en 2012. Cette

méthode repose sur le modèle probabiliste de Rasch (modèle à un paramètre) selon lequel la

réussite d’un élève à un item dépend à la fois du niveau de difficulté de l’item et du niveau de

compétence de l’élève.

Les modèles de réponse à l’item ont d’abord été utilisés pour estimer des compétences

ponctuelles (WLE45) des élèves (en 2012 et 2013), puis pour estimer des valeurs plausibles (à partir

de 2014). Les analyses de l’évaluation PASEC2014 reposent sur cinq valeurs plausibles pour

chaque élève. Les valeurs plausibles, comparativement au score classique ou aux WLE, ont

l’avantage de fournir des estimations non biaisées des éléments de la distribution des scores.

À partir des valeurs plausibles, il est possible de calculer la performance moyenne d’un pays ou

d’un groupe d’élèves en déterminant la moyenne des moyennes de chacune des cinq valeurs

plausibles. La performance moyenne globale est calculée comme suit :

1

1ˆ

P

i

iP

Où :

i correspond à la moyenne de la performance calculée à partir de la valeur plausible i ;

P correspond au nombre de valeurs plausibles.

L’utilisation des valeurs plausibles permet le calcul de l’erreur de mesure associée à l’estimation

de la compétence de l’élève. Cette erreur de mesure est obtenue à partir de la formule suivante :

2 2

( )

1

1ˆ( )

1

P

PV i

iP

Où :

P correspond au nombre de valeurs plausibles ;

i correspond à la moyenne de la performance calculée à partir de la valeur plausible i ;

correspond à la performance moyenne globale.

Pour chaque valeur plausible, une variance d’échantillonnage est calculée en utilisant la formule

présentée à la section 10.1.1. Avec P (P>1) valeurs plausibles, l’erreur d’échantillonnage se calcule

de la manière suivante :

2 2

ˆ ˆ( ) ( )

1

1i

P

iP

Les notations précédentes sont conservées.

45 Weighted Likelihood Estimates.



10.1.3 Erreur totale

L’erreur totale associée à une estimation est égale à la somme des erreurs de mesure et

d’échantillonnage. Dans le cas de l’utilisation de P valeurs plausibles et de R réplications, la valeur

de cette erreur est obtenue en appliquant la formule suivante :

2 2 2

ˆ( )

1 1

1 1ˆ( )

1 i

R P

i

i iR P

Les notations précédentes sont conservées.

En l’absence de valeurs plausibles, l’erreur totale associée à une estimation est réduite à l’erreur

d’échantillonnage.

Nature des échantillons et calcul de l’erreur

type d’une différence La nature des échantillons en comparaison influence la forme de l’erreur type de l’estimation

d’une différence. On distinguera deux cas : le cas d’échantillons indépendants et le cas

d’échantillons dépendants. On distinguera aussi les cas avec valeurs plausibles et sans valeurs

plausibles.

10.2.1 Échantillons indépendants

Supposons que l’on veuille comparer les performances des élèves d’un pays X à celles des élèves

d’un pays Y. Les deux échantillons sont indépendants. L’erreur type d’une différence, dans le cadre

de deux échantillons indépendants, est obtenue en appliquant la formule suivante :

2 2 2

( )X Y X Y

Où :

X correspond à l’erreur type associée à l’estimation des scores dans le pays X ;

Y correspond à l’erreur type associée à l’estimation des scores dans le pays Y.

10.2.2 Échantillons dépendants

Lorsque les échantillons ne sont pas indépendants (par exemple, on veut comparer la moyenne

de deux variables pour les mêmes élèves), la formule précédente n’est plus valide puisqu’il y a

corrélation entre les distributions d’échantillonnage des deux variables.

Sans valeurs plausibles sur les variables à comparer, l’erreur type de la différence est estimée à

partir de la formule suivante :

10

CHAPITRE 10


2

( )

1

Rr r

X Y

r

X Y X Y

Où :

X correspond à la valeur moyenne de la variable X sur l’échantillon pondéré par le poids

original ;

Y correspond à la valeur moyenne de la variable Y sur l’échantillon pondéré par le poids

original ; rX correspond à la valeur moyenne de la variable X sur l’échantillon pondéré par le poids

répliqué r ; rY correspond à la valeur moyenne de la variable Y sur l’échantillon pondéré par le poids

répliqué r ;

R correspond au nombre de réplications.

Avec des valeurs plausibles, la formule est la suivante :

2

12

( )

1 1

(( ) ( ))1 1

(( ) ( )) 11

P

p pP Rpr r

X Y p p p p

p r

X Y X Y

X Y X YP P P

Où : r

pX correspond à la moyenne de la variable X sur la valeur plausible p pour l’échantillon

répliqué r ; r

pY correspond à la moyenne de la variable Y sur la valeur plausible p pour l’échantillon

répliqué r ;

pX correspond à la moyenne de la variable X sur la valeur plausible p pour l’échantillon

initial ;

pY correspond à la moyenne de la variable Y sur la valeur plausible p pour l’échantillon

initial ;

X correspond à la moyenne estimée de la variable X prenant en compte toutes les valeurs

plausibles ;

Y correspond à la moyenne estimée de la variable Y prenant en compte toutes les valeurs

plausibles ;

R correspond au nombre de réplications ;

P correspond au nombre de valeurs plausibles.

Une covariance existe aussi lorsqu’une différence est calculée entre une statistique pour un pays X

et une statistique internationale. La formule de l’erreur type de la différence entre une statistique

nationale et une statistique internationale est :



2

2

12 2 2

( ) 2

1

N

n I I

n

X I X IN

n

n

w w w

w

Où :

X correspond à l’erreur associée à l’estimation des scores dans le pays X ;

I correspond à l’erreur associée à l’estimation des scores au niveau international ;

nw correspond à la somme des poids des élèves dans le pays n ;

Iw correspond à la somme des poids des élèves au niveau international ;

N correspond au nombre total de pays.

Quelques exemples de calcul de

statistiques Les formules présentées dans ce chapitre peuvent être utilisées pour estimer l’erreur type de

n’importe quelle statistique. Les utilisateurs des données du PASEC2014 peuvent par exemple

calculer l’erreur type pour :

- une moyenne ;

- un écart-type ;

- un coefficient de corrélation ;

- un coefficient de régression ;

- un coefficient de détermination ;

- etc.

Le PASEC a développé des macros Stata qui permettent d’effectuer ces calculs. Le manuel

d’exploitation des données présente comment ces macros peuvent répondre aux besoins des

utilisateurs.

10


Bibliographie

Adams, R. J., Wilson, M. et Wang, W. C. (1997). The Multidimensional Random Coefficients Multinomial Logit

Model. Applied Psychological Measurement, (21), 1-23.

Adams, R. et Wu, M. (2010). PISA 2000 Technical Report. Paris: PISA, OECD Publishing.

Beaton, A. E. (1987). Implementing the new design: The NAEP 1983-84 Technical Report. (Rapport No 15-TR-

20). Princeton, NJ: Educational Testing Service.

Ebel, R. L. et Frisbie, D. A. (1986). Essentials of Education Measurement” Englewood Cliffs, New Jersey:

Prentice Hall.

Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Coppenhague: Nielsen &

Lydiche.

von Davier, M., Gonzalez, E. et Mislevy, R. (2009). What are plausible values and why are they useful? IERI

Monograph Series, 2, 9-36.

Macaskill, G., Adams, R. J. et Wu, M. L. (1998). Scaling methodology and procedures for the mathematics

and science literacy, advanced mathematics and physics scales. Dans M. Martin et D. L. Kelly (éd.), Third

International Mathematics and Science Study, Technical Report. Volume 3: Implementation and Analysis.

Chestnut Hill, MA: Center for the Study of Testing, Evaluation and Educational Policy, Boston College.

Masters, G. N. (1982). A Rasch Model for Partial Credit Scoring. Psychometrika, 47(2), 149-174.

Warm, T. A. (1989). Weighted Likelihood Estimation of Ability in Item Response Theory. Psychometrika, 54(3),

427-450.

Wu, M. L., Adams, R. J., Wilson, M. R. et Haldane, S. (2007). ACER ConQuest 2.0: General item response

modelling software [Manuel de logiciel informatique]. Camberwell, VIC: ACER Press.

1 ANNEXES

PASEC2014 - CONGO 155

Liste des annexes Annexe 1 : Manuel de formation des agents de saisie 157

Annexe 2 : Programmes élaborés par le PASEC pour le nettoyage des données 165

Annexe 3 : Compléments au chapitre 7 167 Annexe 3.1 : Modèle multidimensionnel logit multinomial à coefficients mixtes 167 Annexe 3.2 : Paramètres des items selon la discipline et le niveau de scolarité 168

Annexe 4 : Compléments au chapitre 9 175

Liste des tableaux en annexe Tableau A2.1 : Programmes élaborés par le PASEC pour le nettoyage des données 165 Tableau A3.1 : Paramètres des items de langue en 2e année 168 Tableau A3.2 : Paramètres des items de mathématiques en 2e année 169 Tableau A3.3 : Paramètres des items de lecture en 6e année 170 Tableau A3.4 : Paramètres des items de mathématiques en 6e année 172 Tableau A4.1 : Liste d’items initialement exploités pour chaque indice 175 Tableau A4.2 : Alpha de Cronbach des indices non retenus dans les analyses 175


Annexe 1 : Manuel de formation des agents de saisie

Ce manuel fournit quelques directives à l’intention des personnes en charge de la saisie des données

de l’enquête internationale PASEC. Cette enquête concerne les élèves, les maîtres et les directeurs

d'école. Il s’agira donc de procéder successivement à la saisie des fiches de suivi (élèves et écoles) et

des questionnaires Élèves, Maîtres et Directeurs. Le travail de saisie est extrêmement important car il

conditionne la fiabilité des analyses qui seront effectuées par la suite dans le but d’orienter les politiques

publiques en éducation.

1. Rôle de l'agent de saisie

La saisie des données joue un rôle primordial dans la chaîne de production des résultats de l’évaluation.

Ces résultats seront présentés aux utilisateurs et aux décideurs tels que le gouvernement, les partenaires

et les élus locaux pour orienter les politiques relatives à la qualité de l’éducation.

Le rôle de l’agent de saisie est de convertir en format électronique les données collectées sur support

papier. À cet effet, l’agent de saisie devra reproduire fidèlement les informations contenues dans les

questionnaires en respectant scrupuleusement les consignes reprises dans ce manuel.

Lorsqu’une donnée ne respecte pas les règles et consignes préétablies, l’agent de saisie en informera

systématiquement le superviseur de la saisie des données.

2. Ce qu’il faut éviter

Une multitude de situations peuvent mettre en péril la qualité de la saisie des données. Ces situations

devront être évitées afin de fournir un travail de qualité. Au nombre de ces situations, nous en

proposons quelques-unes qui ne constituent en rien une liste exhaustive :

1. Éviter la distraction, qui peut être causée par des discussions excessives entre agents de saisie

ou avec une tierce personne ;

2. Limiter les perturbations telles que des coups de téléphone intempestifs. À cet égard, il sera

demandé aux agents de saisie de laisser leur(s) portable(s) au vestiaire ou à tout autre endroit

pouvant faire office de vestiaire ;

3. Éviter d’introduire des informations contraires à ce qui figure sur les questionnaires ;

4. Éviter de transformer la salle de saisie en lieu de repos des agents de saisie lorsqu’ils sont

fatigués ;

5. Etc.

Il appartient aux agents, conscients des attentes de la saisie, d’éviter des situations qui mettent en péril

la qualité des travaux.

3. Logiciel de saisie

Le logiciel EPIDATA 3.1 est utilisé pour la saisie des données. Chaque agent de saisie disposera sur son

ordinateur d’un dossier contenant des fichiers. L’architecture de ce dossier NE PEUT EN AUCUN CAS

être modifiée ou supprimée.


4. Maquette de saisie

Différentes maquettes de saisie sont réalisées dans le cadre de cette conversion des données collectées.

Cependant, seule la maquette des tests de 6e année est présentée. Cette maquette comporte six parties

conformes aux différentes parties du livret :

Une première partie appelée "IDENTIFICATION"

Une deuxième partie appelée "TEST DE COMPREHENSION DE L'ECRIT - PARTIE 1"

Une troisième partie appelée "TEST DE COMPREHENSION DE L'ECRIT - PARTIE 2"

Une quatrième partie appelée "TEST DE MATHÉMATIQUES - PARTIE1"

Une cinquième partie appelée "TEST DE MATHÉMATIQUES - PARTIE2"

Une sixième partie appelée "QUESTIONNAIRE ÉLÈVE"

Par exemple, la première partie de la maquette de saisie se présente comme suit :

Les champs de saisie sont en bleu, mais ils pourraient avoir une autre couleur sur d’autres machines.

Ces champs sont précédés des noms et des libellés des différentes variables.

Les informations devront être enregistrées dans l'ordre prévu sur le livret ou le questionnaire.

À la fin de la saisie d’un instrument, le logiciel renvoie une demande de confirmation d’enregistrement

des données saisies. L’agent de saisie devra accepter en cliquant sur "Oui".


Lorsque l'enregistrement est accepté, le curseur se repositionne au début du masque de saisie.

L’opérateur appose son paraphe sur la couverture de l’instrument avant de passer à la saisie de

l’instrument suivant.

Différentes informations, non mentionnées dans ce manuel, peuvent être utiles pour réussir cette

mission.

5. Les types de codifications des variables

Tout au long de la saisie de données, chaque opérateur de saisie devra se rappeler des grands principes

de l’encodage des données. On lit les informations collectées dans un instrument à saisir :

D’abord de gauche à droite, puis de haut en bas ;

Les chiffres suivent la même logique de 1 à n en incrémentant chaque fois de 1 (de la

gauche à la droite et du haut vers le bas) ;

Il existe différents types de données manquantes :

o Le répondant (élève, maître ou directeur) doit répondre mais n’a pas répondu.

Si le masque de saisie autorise la saisie d’un seul chiffre, alors le code 9 est utilisé

pour ce type de donnée manquante. Si le masque de saisie autorise

deux chiffres, alors le code 99 sera utilisé.

o Le code 8 est réservé lors du nettoyage des données pour différencier les items

non atteints à la fin du test des items à données manquantes suivis d’une

réponse valide.

o Le répondant ne doit pas répondre à la question, comme dans le cas des

questions emboîtées (si oui, alors réponds à la question suivante, sinon, alors va

à la question x) ou en raison du plan d’évaluation incomplet pour les tests de

mathématiques ou de compréhension de l’écrit. Le code 7, 97, 997 et ainsi de

suite sera réservé en fonction du nombre de chiffres utilisé dans les masques de

saisie.

o Le répondant fournit une réponse invalide, soit en cochant plus d’une case alors

qu’il doit en sélectionner une seule, soit en répondant n’importe quoi à une


question ouverte. Le code 6, 96 ou 996 sera attribué selon le nombre de chiffres

autorisé par le masque de saisie.

a. Instruments de 6e année

Les réponses aux items de 6e année identifiées par les cases cochées prennent les valeurs 1, 2, 3, 4, 6

ou 9 (6=réponse non valide et 9=non-réponse).

Exemple 1 :

Le menuisier a égaré son compas sur un chantier. Peut-il demander à son voisin le cordonnier de

lui prêter un compas? (Coche la bonne réponse)

A.

(1) Oui, parce que le cordonnier a un compas dans sa boîte à outils.

B.

(2) Non, parce que le cordonnier a aussi perdu son compas.

C.

(3) Non, parce que le cordonnier n’a pas de compas dans sa boîte à outils.

D.

(4) Oui, parce que le cordonnier est le voisin du menuisier.

Le code à saisir est 2

Exemple 2 :

Thabiso a un bâton de 1,2 m de long, Jeanne en a un de 0,98 m de long et Tom en a un de 1,15 m

de long.

Quelle est la longueur totale des trois bâtons ? (Coche la bonne réponse)

A.

(1) 2,33 m

B.

(2) 3,15 m

C.

(3) 3,23 m

D.

(4) 3,25 m

Il y a non réponse. Le code à saisir est 9.


Exemple 3 :

Thabiso a un bâton de 1,2 m de long, Jeanne en a un de 0,98 m de long et Tom en a un de 1,15 m

de long.

Quelle est la longueur totale des trois bâtons ? (Coche la bonne réponse)

A.

(1) 2,33 m

B.

(2) 3,15 m

C.

(3) 3,23 m

D.

(4) 3,25 m

Il y a plusieurs réponses au lieu d’une seule réponse, donc réponse invalide. Le code à saisir est 6.

b. Instruments de 2e année

Les réponses aux items de 2e année (hors grilles de lettres ou de mots) sont entourées par

l’administrateur et prennent les valeurs 1=correct, 2=incorrect, 6=réponse invalide et 9=non réponse :

le 6 en 2e année indique que l’administrateur a entouré plusieurs réponses et le 9, que l’administrateur

n’a pas renseigné.

En lecture, les réponses aux grilles de lettres ou de mots en 2e année (exercices 6 et 8 de lecture) seront

codées en fonction des réponses sur la grille. Le premier travail des agents de saisie consiste à identifier

l’un des trois cas de figure possibles avant de commencer la saisie :

La grille est dite « cohérente » lorsqu’il y a une barre oblique sur la grille. Dans ce cas, on code chaque

lettre ou mot comme suit :

1=lettre ou mot non coché (lettre ou mot atteint et bien lu) ;

2=lettre ou mot coché (lettre ou mot atteint et mal lu) ;

3= lettre ou mot qui se trouve après la barre oblique (lettre ou mot non atteint).

Exemple 1 : Grille cohérente


Exemple 2 : Grille incohérente 1

La grille est dite « incohérente » lorsque la barre oblique est inexistante et certaines lettres sont cochées.

Dans ce cas, on code chaque lettre ou mot en 7.

Exemple 3 : Grille incohérente 2

La grille est dite aussi « incohérente » lorsque la barre oblique existante et les lettres continuent d’être

cochées après cette barre oblique. Dans ce cas, on code chaque lettre ou mot en 6.

Exemple 4 : Grille non complétée

La grille est dite « non complétée » lorsqu’il n’y a aucune information sur la grille. Dans ce cas, on code

chaque lettre ou mot en 7.

-


Pour les variables L6_1 et L8_1, saisir le nombre inscrit.

Pour les variables L6_2 et L6_3, 1=case cochée et 9=case non cochée (non-

réponse)

En mathématiques, les réponses aux grilles de nombres en 2e année (exercices 1 et 2 de mathématiques)

seront codées en fonction des réponses sur la grille. Le premier travail des agents de saisie consiste à

identifier l’un des deux cas de figure possibles avant de commencer la saisie :

1er cas : Exercice 1 de mathématiques : le code correspond uniquement au

nombre entouré. Le code doit être compris entre 1 et 100. Inscrire 996 si réponse

invalide (des nombres sont barrés alors qu’on ne barre pas les nombres dans cet

exercice, il y a des traits alors qu’on n’en demande pas ou plusieurs nombres

sont entourés) ou 999 si non-réponse (non-correction de l’administrateur).

2e cas : Exercice 2 de mathématiques : correspond à la logique suivante :

- 1 = nombre non barré (nombre atteint et bien lu)

- 2 = nombre barré (nombre atteint et mal lu)

- 6 = réponse incohérente : quand un ou des nombres sont barrés et que la

case « l’élève a lu correctement tous les nombres » est cochée

- 9 = non-réponse. Par exemple la correction de l’administrateur n’est pas

faite : aucun nombre n’est barré et la case « l’élève a lu correctement tous

les nombres » n’est pas cochée. Attention : la case à cocher « l’élève a lu

correctement tous les nombres » n’est pas codée dans le masque de saisie,

elle est là uniquement pour savoir si l’exercice a été fait ou non par l’élève.

c. Questionnaires (2e et 6e années, maîtres et directeurs)

Les modalités sont les suivantes :

oui/non : 1=oui, 2=non, 6=réponse invalide et 9=non-réponse ;

genre de l’élève, de l’enseignant et du directeur : féminin=1, masculin=2,

6=réponse invalide et 9=non-réponse ;

question à choix multiples où on demande une seule réponse : 1=1er choix de

réponse, 2=2e choix, …, n=ne choix, 96=réponse invalide ou 99=non-réponse.

Exemple : Quelle est la classe la plus élevée que vous avez atteinte ? (Veuillez ne

cocher qu'une seule case)

Inférieure à la 6 1re

6e Terminale

5e Niveau Bac +

4e Niveau Bac + 2

3e Niveau Bac + 3

2nde Niveau Bac + 4 ou plus

question à choix multiples où plusieurs réponses sont possibles : 1=case cochée

et 2=case non cochée.

Exemple : En cas d’abandon des élèves, quelles sont les 5 raisons les plus

fréquentes ? (Veuillez ne cocher que cinq cases maximum)


La santé et la nutrition de l’élève

Le travail des enfants

Le manque de motivation de l’élève pour les études

Le manque d’intérêt de la part des familles pour l’école

La trop grande distance du domicile à l’école

L’absence de cantine scolaire

Le coût de l’école

Réponse si condition : 1=oui, 2=non, 6=réponse invalide (incohérence : plusieurs

réponses entourées ou la personne a mis « non » mais répondu à la question

d’après) ou 9=non-réponse ;

Ne pas oublier les codes ou on doit reporter le nombre donné par l’interrogé,

tel que l’âge, l’expérience, le revenu, etc.

d. Contrôle de la qualité de saisie

Dès le premier jour de saisie, tout opérateur qui a un taux d’erreurs supérieur à 5 % devra le lendemain

ressaisir, sans être payé, tout le matériel qu’il a encodé le jour où le taux de 5 % ou plus a été détecté.

Les instruments ressaisis suite à un taux d’erreurs de 5 % au moins seront à nouveau contrôlés. Enfin,

un opérateur qui dépasse 10 % d’erreurs trois jours successifs sera remercié.

À partir de la deuxième semaine de saisie, le pourcentage d’instruments soumis à la double saisie

pourrait éventuellement varier selon la qualité du travail de l’opérateur. Les opérateurs dont le taux

d’erreurs est systématiquement (après deux jours successifs) inférieur à 5 % pourraient ne plus être

vérifiés qu’un jour sur deux tandis que les opérateurs dont le taux d’erreurs dépasse systématiquement

les 5 % seraient davantage contrôlés (20 % des instruments au lieu de 10 %).


Annexe 2 : Programmes élaborés par le PASEC pour le

nettoyage des données

Tableau A2.1 : Programmes élaborés par le PASEC pour le nettoyage des données

Nom du

programme

Niveau

concerné Description des grands axes du programme

PROG 1 2e et

6e années

Vérifie les données des fiches de suivi des écoles et corrige les erreurs

sur les identifiants (0 oublié au début de l’identifiant par exemple) pour

les deux niveaux. Ce programme vérifie également la cohérence du

nombre d’élèves enquêtés, qui ne doit pas être supérieur au nombre

d’élèves prévus, la cohérence du nombre d’élèves exclus et la

cohérence entre une école non participante et sa remplaçante.

PROG 2 2e et

6e années

Vérifie la cohérence entre les données des fiches de suivi des élèves

et les fiches de suivi des écoles, d’une part, et la cohérence entre les

données des fiches de suivi et les livrets, d’autre part, et corrige les

erreurs sur les identifiants (0 oublié au début de l’identifiant par

exemple) pour les deux niveaux. Ce programme vérifie également la

cohérence du nombre d’exclus et d’absents en lien avec le nombre

d’élèves effectivement enquêtés et les informations contenues dans

les heures de fin des élèves.

PROG 3 2e et

6e années

Vérifie la cohérence entre les données des fiches de suivi des écoles

et les questionnaires Maîtres et la cohérence entre les données des

fiches de suivi des écoles et les questionnaires Directeurs, et corrige

les erreurs sur les identifiants (0 oublié au début de l’identifiant par

exemple) pour les deux niveaux.

PROG 4 2e année

Vérifie la cohérence entre les données des fiches de suivi sur la

participation des élèves et les données des livrets Élèves de 2e année

et corrige les erreurs sur les identifiants (0 oublié au début de

l’identifiant par exemple). Ce programme vérifie aussi les cas de

valeurs illégales contenues dans les items et identifie les élèves

totalement absents mais qui ont été saisis dans les bases livrets.

Ce programme fait appel à un autre (CLEANING_QE2A) développé par

le PASEC et qui identifie les incohérences dans le questionnaire Élèves

de 2e année.

PROG 5 6e année

Vérifie la cohérence entre les données des fiches de suivi sur la

participation des élèves et les données des livrets Élèves de 6e année


l’identifiant par exemple). Ce programme vérifie aussi les cas de

valeurs illégales contenues dans les items et identifie les élèves

totalement absents mais qui ont été saisis dans les bases livrets.


Ce programme fait appel à un autre (CLEANING_QE6A) développé par

le PASEC et qui identifie les incohérences dans le questionnaire Élèves

de 6e année.

PROG 6 6e année Fusionne les livrets A, B, C et D de la 6e année.

PROG 7 2e année

Vérifie la cohérence des données des questionnaires Élèves de

2e année, décèle les valeurs atypiques et vérifie la cohérence entre les

questions à saut.

PROG 8 6e année

Vérifie la cohérence des données des questionnaires Élèves de

6e année, décèle les valeurs atypiques et vérifie la cohérence entre les

questions à saut.

PROG 9 2e année

Vérifie la cohérence des données des questionnaires Maîtres de

2e année, décèle les valeurs atypiques, vérifie la cohérence entre les

données de ces questionnaires et celles des fiches de suivi des écoles


l’identifiant par exemple) et les filtres.

PROG 10 6e année

Vérifie la cohérence des données des questionnaires Maîtres de

6e année, décèle les valeurs atypiques, vérifie la cohérence entre les

données de ces questionnaires et celles des fiches de suivi des écoles


l’identifiant par exemple) et les filtres.

PROG 11 2e et

6e années

Vérifie la cohérence des données des questionnaires Directeurs,

décèle les valeurs atypiques, vérifie la cohérence entre les données de

ces questionnaires et celles des fiches de suivi des écoles et corrige les

erreurs sur les identifiants (0 oublié au début de l’identifiant par

exemple) et les filtres.

PROG 12 2e et

6e années

Vérifie et corrige les incohérences dans les réponses des questions

difficiles à nettoyer.

PROG 13 2e année


et les livrets élèves de 2e année et génère pour chaque élève un statut

de participation ou de non-participation à l’évaluation.

PROG 14 6e année


et les livrets élèves de 6e année et génère pour chaque élève un statut

de participation ou de non-participation à l’évaluation.

PROG 15 2e année

Recode les items non atteints des exercices 6 et 8 des livrets élèves de

2e année et calcule ensuite des indicateurs sur les exercices 6 et 8 du

test de langue et les exercices 1 et 2 du test de mathématiques.

PROG 16 6e année Recode les items non atteints des livrets élèves de 6e année et les

données manquantes par design.

PROG 17 2e et

6e années

Redresse les incohérences entre les données contenues dans les fiches

de suivi des écoles et les livrets élèves relatives au nombre d’élèves

effectivement enquêtés.


Annexe 3 : Compléments au chapitre 7

Annexe 3.1 : Modèle multidimensionnel logit multinomial à

coefficients mixtes

Le modèle multidimensionnel logit multinomial à coefficients mixtes (MLMCM) a été exploité pour la

calibration des données PASEC sous le logiciel ACER ConQuest® (Wu, Adams et Wilson, 1997). Ce

modèle est une forme généralisée du modèle de Rasch :

Soit i=1, …, N avec chaque item ayant Ki+1 réponses possibles (k=0, 1, …, Ki). La variable aléatoire 𝑋𝑖𝑘

est telle que :

𝑋𝑖𝑘 = { 1 0

si la réponse à la catégorie i est dans l’item k

si non

La spécification du modèle MLMCM pourrait se représenter comme suit :

𝑃(𝑋𝑖𝑘 = 1; 𝐴, 𝐵, 𝛾|𝜃) =exp (𝑏𝑖𝑘𝜃 + 𝑎′𝑖𝑘𝛾)

∑ exp (𝑏𝑖𝑘𝜃 + 𝑎′𝑖𝑘𝛾)𝐾𝑖𝑘=1

Les paramètres d’item et de catégorie représentés par δik (voir modèle de Rasch) ont été regroupés

dans un vecteur 𝛾. Les matrices A et B représentent respectivement les matrices de scoring et de design

et sont utilisées pour spécifier la forme fonctionnelle du modèle relativement à l’hypothèse de

localisation des items dans la dimension (B) de paramètres (A).

Les matrices de design et de scoring offrent au modèle MLMCM la possibilité de représenter une large

variété de modèles de Rasch, incluant les formes multidimensionnelles du modèle de Rasch à variable

dichotomique, le modèle à crédit partiel, le modèle linéaire logistique, etc.

Le modèle MLMCM est une extension directe du modèle unidimensionnel logit multinomial à

coefficients mixtes (ULMCM) qui prend la même forme, à la différence que le vecteur de scoring 𝑏𝑖𝑘 et

le vecteur des compétence 𝜃 sont modélisés comme des scalaires.

Les paramètres d’item et les moyennes et variances de population des nouveaux paramètres 𝜃 dans le

modèle MLMCM sont estimés par la technique du maximum de vraisemblance marginal (marginal

maximum likelihood).


Annexe 3.2 : Paramètres des items selon la discipline et le niveau de

scolarité

Tableau A3.1 : Paramètres des items de langue en 2e année

Item Number

of cases

Facility Item-Rest

Cor

Delta Error Step1 Step2 Step3 Step4

l11 8 426 72,24 0,31 -2,04 0,028

l13 8 422 62,49 0,39 -1,462 0,026

l14 8 417 47,61 0,45 -0,51 0,026

l15 8 422 76,03 0,39 -2,221 0,028

l21 8 425 52,17 0,26 -0,821 0,025

l22 8 428 78,08 0,31 -2,436 0,029

l23 8 427 78,18 0,40 -2,534 0,03

l24 8 426 59,65 0,33 -1,205 0,025

l31 8 424 54,52 0,37 -0,989 0,025

l32 8 420 47,97 0,38 -0,644 0,025

l33 8 417 56,46 0,31 -1,049 0,025

l34 8 408 32,24 0,30 0,312 0,028

l41 8 385 46,76 0,55 -0,487 0,026

l42 8 386 39,73 0,51 -0,081 0,026

l43 8 384 34,80 0,56 0,13 0,027

l6 8 162 49,60 0,66 -0,746 0,015 -0,801 0,011 0,79

l71 8 416 68,33 0,33 -1,864 0,027

l72 8 415 52,03 0,41 -0,877 0,025

l73 8 416 65,73 0,39 -1,7 0,026

l74 8 413 54,84 0,41 -1,116 0,025

l75 8 411 52,90 0,40 -0,916 0,025

l76 8 408 54,52 0,42 -1,101 0,025

l8 8 180 38,53 0,76 -0,187 0,015 -1,502 0,12 0,125 1,257

l91 8 430 52,62 0,47 -0,896 0,025

l92 8 426 42,25 0,42 -0,264 0,026

l93 8 426 34,95 0,59 0,117 0,027

l94 8 428 43,70 0,42 -0,391 0,026

l101 8 420 70,04 0,32 -1,828 0,027

l102 8 422 34,41 0,56 0,14 0,027

l103 8 418 56,69 0,45 -1,162 0,025

l104 8 415 39,57 0,38 -0,148 0,026

l111 8 403 16,09 0,66 1,582 0,035

l112 8 376 19,87 0,66 1,273 0,033


l113 8 400 14,44 0,67 1,767 0,036

l114 8 379 18,89 0,69 1,344 0,033

l115 8 398 11,38 0,61 2,141 0,04

l116 8 377 17,06 0,66 1,562 0,035

l117 8 401 16,11 0,68 1,527 0,034

l118 8 376 22,00 0,70 1,012 0,031

l121 8 395 15,14 0,58 1,787 0,037

l122 8 397 15,59 0,64 1,666 0,036

l123 8 398 15,34 0,59 1,739 0,036

l124 8 397 5,81 0,32 3,256 0,055

l131 8 353 9,29 0,51 2,498 0,044

l132 8 346 15,88 0,59 1,668 0,036

l133 8 355 11,67 0,58 2,135 0,04

l134 8 356 12,79 0,52 2,022 0,039

Tableau A3.2 : Paramètres des items de mathématiques en 2e année

Item Number

of cases Facility

Item-Rest

Cor

Item-

Total Cor Delta Error Step1 Step2

m11 8 379 35,43 0,65 0,70 1,153 0,02 -0,185 0,185

m22 8 457 57,70 0,76 0,80 -0,198 0,019 0,385 -0,385

m31 8 425 76,34 0,35 0,39 -1,454 0,03

m41 8 447 77,19 0,42 0,46 -1,655 0,031

m42 8 447 74,61 0,42 0,46 -1,408 0,03

m51 8 449 66,15 0,66 0,69 -0,86 0,028

m52 8 444 47,26 0,58 0,62 0,371 0,027

m53 8 448 41,07 0,59 0,62 0,797 0,027

m54 8 446 46,07 0,58 0,62 0,454 0,027

m61 8 449 71,40 0,56 0,59 -1,121 0,029

m62 8 449 67,72 0,50 0,53 -0,869 0,028

m63 8 450 50,65 0,60 0,64 0,208 0,027

m71 8 447 55,93 0,67 0,70 -0,136 0,027

m72 8 449 59,33 0,69 0,72 -0,385 0,027

m73 8 447 52,95 0,66 0,69 0,066 0,027

m74 8 442 38,08 0,67 0,70 0,998 0,028

m75 8 444 29,96 0,63 0,66 1,596 0,029

m81 8 448 60,14 0,65 0,68 -0,384 0,027

m82 8 440 39,57 0,60 0,63 0,93 0,027

m83 8 437 39,29 0,66 0,69 0,863 0,027


m84 8 430 21,54 0,55 0,58 2,207 0,032

m85 8 430 29,37 0,60 0,63 1,515 0,029

m86 8 425 16,21 0,45 0,48 2,696 0,035

m91 8 448 48,12 0,64 0,67 0,35 0,027

m92 8 434 16,13 0,38 0,42 2,807 0,035

m93 8 438 43,56 0,57 0,60 0,671 0,027

m103 8 441 75,24 0,32 0,36 -1,548 0,03

m111 8 445 70,43 0,48 0,51 -1,039 0,028

m112 8 446 51,22 0,42 0,46 0,158 0,027

m113 8 444 51,92 0,39 0,43 0,14 0,027

m114 8 444 50,83 0,38 0,42 0,233 0,027

m121 8443 85,41 0,44 0,47 -2,313 0,035

m122 8445 82,77 0,35 0,38 -2,055 0,033

m123 8444 89,09 0,34 0,37 -2,786 0,039

Tableau A3.3 : Paramètres des items de lecture en 6e année

Item Number of

cases Facility Item-Rest Cor Item-Total Cor Delta Error

F1 15 062 66,62 0,49 0,53 -0,528 0,014

F2 15 062 87,66 0,42 0,45 -2,082 0,016

F3 15 062 82,79 0,47 0,50 -1,629 0,015

F4 15 062 35,12 0,36 0,41 1,121 0,014

F6 15 060 55,41 0,40 0,45 0,085 0,014

F7 15 060 49,52 0,41 0,46 0,335 0,014

F8 15 062 69,56 0,52 0,56 -0,69 0,014

F9 15 062 51,63 0,30 0,35 0,251 0,014

F12 15 062 41,44 0,41 0,46 0,788 0,014

F13 15 062 54,98 0,57 0,61 0,106 0,014

F14 15 062 59,41 0,47 0,51 -0,163 0,014

F15 15 062 43,71 0,32 0,37 0,65 0,014

F16 15 062 60,84 0,45 0,50 -0,25 0,014

F17 15 062 72,47 0,51 0,55 -0,921 0,014

F21 15 062 65,02 0,47 0,52 -0,443 0,014

F22 15 062 76,71 0,49 0,53 -1,354 0,015

F23 15 062 67,46 0,59 0,63 -0,804 0,015

F24 15 682 60,19 0,48 0,52 -0,194 0,014

F25 15 682 68,51 0,39 0,43 -0,626 0,014

F26 15 682 70,44 0,44 0,48 -0,827 0,014


F28 15 682 29,26 0,28 0,33 1,461 0,014

F29 15 682 27,46 0,26 0,31 1,593 0,014

F30 15 682 76,17 0,51 0,55 -1,124 0,015

F31 15 682 62,32 0,49 0,53 -0,333 0,014

F32 15 682 35,06 0,21 0,26 1,158 0,014

F33 15 682 52,87 0,45 0,49 0,161 0,014

F35 15 682 36,59 0,24 0,29 1,037 0,014

F36 15 682 33,84 0,23 0,28 1,233 0,014

F37 15 682 52,25 0,47 0,51 0,215 0,014

F39 15 682 67,36 0,46 0,50 -0,611 0,014

F40 15 682 41,49 0,51 0,55 0,722 0,014

F41 15 682 37,89 0,37 0,41 0,931 0,014

F42 15 682 63,42 0,54 0,58 -0,41 0,014

F43 15 682 56,63 0,59 0,63 -0,039 0,014

F44 15 682 52,63 0,48 0,52 0,136 0,014

F45 15 682 77,90 0,48 0,52 -1,321 0,015

F46 15 682 61,91 0,54 0,58 -0,304 0,014

F47 15 414 63,22 0,40 0,44 -0,405 0,014

F48 15 414 77,53 0,51 0,55 -1,266 0,015

F49 15 414 77,58 0,38 0,42 -1,293 0,015

F50 15 414 44,95 0,45 0,50 0,521 0,014

F51 15 414 47,18 0,42 0,47 0,43 0,014

F52 15 414 45,55 0,30 0,35 0,538 0,014

F53 15 414 51,41 0,39 0,44 0,189 0,014

F54 15 414 61,02 0,60 0,64 -0,278 0,014

F55 15 414 36,05 0,48 0,52 1,023 0,014

F56 15 414 34,90 0,28 0,33 1,05 0,014

F57 15 414 23,97 0,29 0,34 1,73 0,015

F58 15 414 26,87 0,23 0,27 1,531 0,014

F59 15 414 31,71 0,24 0,29 1,25 0,014

F60 15 414 67,41 0,54 0,58 -0,666 0,014

F61 15 414 52,58 0,60 0,64 0,106 0,014

F63 15 414 62,07 0,51 0,55 -0,343 0,014

F65 15 414 28,82 0,28 0,33 1,415 0,014

F66 15 414 46,59 0,28 0,33 0,451 0,014

F67 15 414 66,17 0,54 0,58 -0,583 0,014

F68 15 414 63,59 0,41 0,45 -0,473 0,014

F69 15 414 84,05 0,46 0,49 -1,858 0,016


F70 14 811 74,16 0,34 0,38 -1,128 0,015

F71 14 811 73,14 0,50 0,54 -0,991 0,014

F72 14 811 68,55 0,37 0,42 -0,684 0,014

F73 14 811 60,41 0,55 0,59 -0,223 0,014

F74 14 811 47,09 0,40 0,45 0,434 0,014

F75 14 811 57,02 0,32 0,37 -0,08 0,014

F78 14 811 36,40 0,39 0,44 1,065 0,014

F79 14 810 46,12 0,37 0,42 0,541 0,014

F80 14 810 46,45 0,47 0,51 0,506 0,014

F81 14 810 26,26 0,27 0,32 1,595 0,014

F82 14 811 52,71 0,50 0,54 0,137 0,014

F84 14 811 34,66 0,27 0,32 1,088 0,014

F85 14 811 54,19 0,55 0,59 0,058 0,014

F86 14 811 56,92 0,54 0,58 -0,09 0,014

F87 14 811 61,06 0,39 0,44 -0,324 0,014

F88 14 811 58,48 0,64 0,67 -0,181 0,014

F89 14 811 41,73 0,20 0,25 0,635 0,014

F90 14 811 68,32 0,55 0,59 -0,676 0,014

F91 14 811 76,75 0,53 0,56 -1,286 0,015

F92 14 811 69,39 0,47 0,51 -0,8 0,123

Tableau A3.4 : Paramètres des items de mathématiques en 6e année

Item Number of

cases Facility Item-Rest Cor Item-Total Cor Delta Error

m1 15 081 81,41 0,40 0,45 -1,805 0,014

m2 15 081 40,12 0,40 0,47 0,469 0,013

m3 15 081 55,11 0,31 0,38 -0,322 0,013

m4 15 081 44,21 0,25 0,32 0,211 0,013

m5 15 081 41,29 0,23 0,31 0,364 0,013

m6 15 081 46,67 0,57 0,62 0,131 0,013

m7 15 081 37,02 0,37 0,43 0,627 0,013

m9 15 081 33,47 0,38 0,44 0,816 0,013

m10 15 081 54,90 0,34 0,41 -0,252 0,013

m11 15 081 50,59 0,30 0,38 -0,087 0,013

m14 15 081 35,78 0,50 0,55 0,694 0,013

m18 15 081 33,42 0,32 0,39 0,789 0,013

m19 15 081 69,31 0,39 0,45 -1,087 0,013

m20 15 081 71,43 0,46 0,52 -1,222 0,014


m21 15 702 77,09 0,40 0,46 -1,52 0,014

m22 15 702 70,72 0,45 0,51 -1,097 0,013

m23 15 702 66,20 0,34 0,41 -0,827 0,013

m24 15 702 47,01 0,45 0,52 0,07 0,013

m25 15 702 42,64 0,30 0,38 0,348 0,013

m26 15 702 47,96 0,36 0,43 0,041 0,013

m29 15 702 40,61 0,24 0,32 0,452 0,013

m30 15 702 39,60 0,25 0,32 0,457 0,013

m31 15 702 34,06 0,48 0,54 0,785 0,013

m39 15 702 47,34 0,39 0,46 0,059 0,013

m40 15 702 39,97 0,52 0,58 0,405 0,013

m41 15 702 60,97 0,44 0,51 -0,69 0,013

m42 15 468 71,72 0,46 0,51 -1,151 0,013

m43 15 468 55,11 0,35 0,42 -0,322 0,013

m44 15 468 53,56 0,41 0,47 -0,198 0,013

m45 15 468 51,79 0,39 0,45 -0,146 0,013

m46 15 468 40,02 0,34 0,41 0,462 0,013

m47 15 468 34,52 0,38 0,44 0,748 0,013

m48 15 468 28,58 0,42 0,47 1,074 0,013

m49 15 468 39,79 0,35 0,42 0,45 0,013

m50 15 468 35,65 0,27 0,34 0,661 0,013

m51 15 468 31,63 0,33 0,39 0,908 0,013

m54 15 468 21,07 0,35 0,40 1,556 0,014

m56 15 468 47,02 0,32 0,38 0,096 0,013

m57 15 468 52,53 0,34 0,41 -0,231 0,013

m58 15 468 50,99 0,33 0,40 -0,17 0,013

m59 15 468 61,21 0,47 0,52 -0,686 0,013

m60 14 648 37,84 0,36 0,43 0,561 0,013

m61 15 468 72,00 0,47 0,52 -1,301 0,014

m62 14 847 69,87 0,49 0,55 -1,067 0,013

m63 14 847 84,00 0,35 0,40 -2,015 0,015

m64 14 847 68,81 0,38 0,44 -1,003 0,013

m65 14 847 52,70 0,43 0,49 -0,185 0,013

m66 14 847 45,43 0,40 0,46 0,238 0,013

m67 14 847 47,25 0,36 0,43 0,176 0,013

m68 14 847 48,25 0,44 0,50 0,089 0,013

m69 14 847 32,53 0,50 0,55 0,874 0,013

m70 14 847 48,95 0,46 0,51 0,03 0,013


m71 14 847 36,69 0,49 0,55 0,674 0,013

m72 14 847 36,65 0,30 0,36 0,636 0,013

m76 14 847 33,98 0,34 0,40 0,817 0,013

m77 14 847 34,99 0,42 0,47 0,759 0,013

m79 14 847 49,63 0,34 0,40 -0,019 0,013

m80 14 847 52,80 0,40 0,46 -0,196 0,013

m81 14 847 46,48 0,43 0,49 0,065 0,1


Annexe 4 : Compléments au chapitre 9

Tableau A4.1 : Liste d’items initialement exploités pour chaque indice

Indices Liste d'items des questionnaires initialement exploités

Niveau

élèves

Statut

socioéconomique

qe620, qe621a, qe621b, qe621c, qe621d, qe621e, qe621f, qe621g, qe621h,

qe621i, qe621j, qe622a, qe622b, qe622c, qe622d, qe622e, qe622f, qe622g,

qe622h, qe622i, qe623, qe624, qe625, qe626, qe627, qe628

Perception de soi dans

l’apprentissage qe630a, qe630b, qe630c, qe630d, qe630e, qe630f, qe630g

Intérêt pour les maths qe633a, qe633b, qe633c, qe633d, qe633e, qe633f, qe633g

Intérêt pour la lecture qe632a, qe632b, qe632c, qe632d, qe632e, qe632f, qe632g

Bien-être à l’école qe631b, qe631c, qe631d, qe631e, qe631f

Niveau

maîtres/

classes

Ressources

pédagogiques

qm624a, qm624b, qm625a, qm625b, qm625c, qm625d, qm625e, qm625f,

qm658d, qm658e, qm658f, qm658g, qm658h, qm658i, qm658j, qm658k,

qm658l, qm658m, qm658o, qm658a, qm658b, qm658c, qm658n

Perception des

conditions de travail

par l’enseignant

qm654a, qm654b, qm654c, qm655a, qm655b, qm655c, qm655d,

qm655e, qm655f, qm655g, qm655h, qm655i, qm655j, qm655k


l’enseignant

qm615a, qm615b, qm615c, qm615d, qm616a, qm616b, qm616c, qm616d,

qm616e, qm616f, qm616g, qm616h, qm616i, qm616j

Gestion de la

discipline qm630a, qm630b, qm630c, qm630d, qm630e, qm630f

Niveau

directeurs/

écoles

Ressources

pédagogiques dans

l’école

qd65d, qd65e, qd65p, qd65q, qd65r, qd65s, qd65t

Aménagement du

territoire

qd25a, qd25b, qd25c, qd25d, qd25e, qd25f, qd25g, qd25h, qd25i, qd25j,

qd25k, qd25l

Implication de la

communauté locale

qd29, qd40a, qd40b, qd40c, qd40d, qd40e, qd43a, qd43b, qd43c, qd43d,

qd43e, qd43f, qd43g, qd43h, qd43i, qd43j, qd43k, qd43l

Infrastructures de

l’école

qd64, qd65a, qd65b, qd65c, qd65f, qd65g, qd65h, qd65i, qd65j, qd65k,

qd65l, qd65m, qd65n, qd65o, qd66

Qualité de la gestion

administrative qd55, qd56a, qd56b, qd30a, qd28

Qualité de la gestion

pédagogique qd27, qd30b, qd50, qd37a, qd52c, qd53b

Note : Certains items ont été agrégés en un seul item à crédit partiel (exemple des items qd55a-qd55d).

Tableau A4.2 : Alpha de Cronbach des indices non retenus dans les analyses


Niveau élèves Goût lecture 0,557 0,546 0,396 0,432 0,561 0,589 0,615 0,512 0,666 0,544 0,552

Bien-être 0,352 0,400 0,318 0,376 0,332 0,174 0,324 0,451 0,440 0,406 0,364

Niveau

maîtres/classes

Gestion de la

discipline 0,371 0,364 0,394 0,314 0,387 0,440 0,555 0,454 0,425 0,472 0,334

Niveau

directeurs/écoles

Gestion

administrative 0,151 0,513 0,246 0,288 0,403 0,301 0,390 0,333 0,284 0,430 0,296

Gestion

pédagogique 0,235 0,229 0,349 0,262 0,309 0,330 0,188 0,239 0,242 0,239 0,181

Note : les codes des pays se lisent comme suit :

BEN=Bénin, BFA=Burkina Faso, BDI=Burundi, CMA=Cameroun anglophone, CMF=Cameroun francophone, COG=Congo, CIV=Côte d’Ivoire,

NIG=Niger, SEN=Sénégal, TCD=Tchad, TOG=Togo.


Liste des publications PASEC

À retrouver sur le site internet www.pasec.confemen.org

PASEC (2016). PASEC2014 – Performances du système éducatif béninois : Compétences et facteurs de réussite au primaire. PASEC,

CONFEMEN, Dakar.

PASEC (2016). PASEC2014 – Performances du système éducatif burkinabè : Compétences et facteurs de réussite au primaire.

PASEC, CONFEMEN, Dakar.

PASEC (2016). PASEC2014 – Performances du système éducatif burundais : Compétences et facteurs de réussite au primaire.


PASEC (2016). PASEC2014 – Performances du système éducatif camerounais : Compétences et facteurs de réussite au primaire.


PASEC (2016). PASEC2014 – Performances du système éducatif ivoirien : Compétences et facteurs de réussite au primaire. PASEC,

CONFEMEN, Dakar.

PASEC (2016). PASEC2014 – Performances du système éducatif nigérien : Compétences et facteurs de réussite au primaire. PASEC,

CONFEMEN, Dakar.

PASEC (2016). PASEC2014 – Performances du système éducatif sénégalais : Compétences et facteurs de réussite au primaire.


PASEC (2016). PASEC2014 – Performances du système éducatif tchadien : Compétences et facteurs de réussite au primaire. PASEC,

CONFEMEN, Dakar.

PASEC (2016). PASEC2014 – Performances du système éducatif togolais : Compétences et facteurs de réussite au primaire. PASEC,

CONFEMEN, Dakar.

PASEC (2015). PASEC2014 - Performances des systèmes éducatifs en Afrique subsaharienne francophone : Compétences et

facteurs de réussite au primaire. PASEC, CONFEMEN, Dakar.

PASEC (2015). Qualité de l’enseignement fondamental au Mali : quels enseignements ? Année scolaire 2011/2012. PASEC,

CONFEMEN, Dakar.

PASEC (2015). Performances scolaires et facteurs de la qualité de l’éducation en République démocratique populaire lao. Année

scolaire 2011/2012. PASEC, CONFEMEN, Dakar.

PASEC (2015). Performances scolaires et facteurs de la qualité de l’éducation dans l’enseignement primaire public au Royaume

du Cambodge. Année scolaire 2011/2012. PASEC, CONFEMEN, Dakar.

PASEC (2015). Performances scolaires et facteurs de la qualité de l’éducation en République socialiste du Vietnam. Année scolaire

2011/2012. PASEC, CONFEMEN, Dakar.

PASEC (2012). Améliorer la qualité de l’éducation au Tchad : quels sont les facteurs de réussite ? Année scolaire 2009/2010.


PASEC (2012). Améliorer la qualité de l’éducation au Togo : les facteurs de réussite. Année scolaire 2009/2010. PASEC,

CONFEMEN, Dakar.

PASEC (2012). Synthèse des résultats des évaluations diagnostiques du Programme d’Analyse des Systèmes Éducatifs de la

CONFEMEN, PASEC VIII IX X. PASEC, CONFEMEN, Dakar.

PASEC (2012). Évaluation diagnostique de l’école primaire en Côte d’Ivoire : pistes d’actions pour une amélioration de la qualité.

Année scolaire 2008/2009. PASEC, CONFEMEN, Dakar.

PASEC (2012). Évaluation diagnostique des acquis scolaires au Liban. Année scolaire 2008/2009. PASEC, CONFEMEN, Dakar.

PASEC (2011). L’enseignement primaire en République démocratique du Congo : quels leviers pour l’amélioration du rendement

du système éducatif ? Année scolaire 2009/2010. PASEC, CONFEMEN, Dakar.

PASEC/FAWE. (2011). Genre et acquisitions scolaires en Afrique francophone : étude sur les performances des élèves au cycle

primaire. FAWE/CONFEMEN, Dakar.


PASEC (2010). Diagnostic et préconisations pour une scolarisation universelle de qualité en Union des Comores. Année scolaire


PASEC (2010). Enseignement primaire : quels défis pour une éducation de qualité en 2015 au Burundi ? Année scolaire 2008/2009.


PASEC (2010). Évaluation PASEC Sénégal. Année scolaire 2006/2007. PASEC, CONFEMEN, Dakar.

PASEC (2009). Les apprentissages scolaires au Burkina Faso : les effets du contexte, les facteurs pour agir. Année scolaire


PASEC (2009). L’enseignement primaire au Congo : à la recherche de la qualité et de l’équité. Année scolaire 2006/2007. PASEC,

CONFEMEN, Dakar.

PASEC (2008). Diagnostic de la qualité de l’enseignement primaire au Bénin. Année scolaire 2004/2005. PASEC, CONFEMEN,

Dakar.

PASEC (2008). Vers la scolarisation universelle de qualité pour 2015. Évaluation diagnostique Gabon. Année scolaire 2005/2006.


PASEC (2008). Quelques pistes de réflexion pour une éducation primaire de qualité pour tous. Rapport Madagascar. Année

scolaire 2004/2005. PASEC, CONFEMEN, Dakar.

PASEC (2008). L’enseignement primaire à Maurice : la qualité au cœur des défis. Année scolaire 2006. PASEC, CONFEMEN,

Dakar.

PASEC (2007). Le défi de la scolarisation universelle de qualité. Rapport PASEC Cameroun 2004/2005. PASEC, CONFEMEN,

Dakar.

PASEC (2006). La qualité de l’éducation en Mauritanie. Quelles ressources pour quels résultats ? Année scolaire 2003/2004.


PASEC (2006). La qualité de l’éducation au Tchad. Quels espaces et facteurs d’amélioration ? Année scolaire 2003/2004. PASEC,

CONFEMEN, Dakar.

PASEC (2005). Le redoublement : mirage de l’école africaine ? PASEC, CONFEMEN, Dakar.

PASEC (2004). Les enseignants contractuels et la qualité de l’enseignement de base au Niger : quel bilan. PASEC, CONFEMEN,

Dakar.

PASEC (2004). Le redoublement : pratiques et conséquences dans l’enseignement primaire au Sénégal. PASEC, CONFEMEN,

Dakar.

PASEC (2004). Recrutement et formation des enseignants au Togo : quelles priorités ? PASEC, CONFEMEN, Dakar.

PASEC (2004). Enseignants contractuels et qualité de l’école fondamentale au Mali : quels enseignements ? PASEC, CONFEMEN,

Dakar.

PASEC (2003). Les programmes de formation initiale des maîtres et la double vacation en Guinée. PASEC, CONFEMEN, Dakar.

PASEC (1999). Les facteurs de l’efficacité dans l’enseignement primaire : les résultats du programme PASEC sur neuf pays d’Afrique

et de l’Océan indien. PASEC, CONFEMEN, Dakar.

PASEC (1999). Évaluation des niveaux de performance des élèves de 10e et 7e pour une contribution à l’amélioration de la qualité

de l’enseignement primaire à Madagascar. PASEC, CONFEMEN, Dakar.

PASEC (1998). L’enseignement primaire au Burkina Faso : investigations et diagnostics pour l’amélioration de la qualité du

système éducatif. PASEC, CONFEMEN, Dakar.

PASEC (1998). L’enseignement primaire au Cameroun : investigations et diagnostics pour l’amélioration de la qualité du système

éducatif. PASEC, CONFEMEN, Dakar.

PASEC (1998). L’enseignement primaire en Côte d’Ivoire : investigations et diagnostics pour l’amélioration de la qualité du système

éducatif. PASEC, CONFEMEN, Dakar

Depuis sa création en 1960, la Conférence des ministres de

l’Éducation des États et gouvernements de la Francophonie

(CONFEMEN) œuvre pour la promotion de l’éducation et de la

formation professionnelle et technique. Elle représente un espace

de valeurs partagées, d’expertise et de solidarité agissante. Elle

compte aujourd’hui quarante-quatre États et gouvernements

membres.

Le Programme d’Analyse des Systèmes Éducatifs de la CONFEMEN

(PASEC) est un outil d’appui au pilotage des systèmes éducatifs des

États et gouvernements membres de la CONFEMEN en vue de

l’amélioration de la qualité de l’éducation. Créé en 1991, il vise à

informer sur l’évolution des performances des systèmes éducatifs

afin d’aider à l’élaboration et au suivi des politiques éducatives.

Dix pays ont participé à l’évaluation internationale PASEC2014 : le

Bénin, le Burkina Faso, le Burundi, le Cameroun, la Côte d’Ivoire, le

Congo, le Niger, le Sénégal, le Tchad et le Togo. Cette évaluation a

permis la mesure du niveau de compétence des élèves en début et

en fin de scolarité primaire, en langue d’enseignement et en

mathématiques. Elle a également analysé les facteurs associés aux

performances des systèmes éducatifs des pays évalués, en

collectant des données contextuelles auprès des élèves, des

enseignants et des directeurs par le biais de questionnaires.

Bénin

• B

urk

ina F

aso

• B

uru

nd

i •

Cam

ero

un

• C

ong

o •

Cô

te d

’Ivo

ire •

Nig

er

• Sénég

al •

Tch

ad

• T

og

o

http://www.google.sn/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&uact=8&ved=0CAcQjRxqFQoTCNC76aTpmckCFQo_Ggod1EcFhQ&url=http://europa.eu/rapid/press-release_BEI-09-29_en.htm?locale=en&psig=AFQjCNF06RkodXOAShsusVaT8SlGxiYQfw&ust=1447930942222127

https://www.google.sn/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&uact=8&ved=0ahUKEwjby6y83avJAhUHvxQKHck1BNkQjRwIBw&url=https://fr.wikipedia.org/wiki/Fichier:Francophonie_logo.png&psig=AFQjCNEO5-LcRsE2J52N5N78K-PwzHsniQ&ust=1448546245262145

INTERNATIONALE PASEC2014 › wp-content › uploads › 2017 › 12 › … · 4.3.1 Codification...

Documents

Transcript of INTERNATIONALE PASEC2014 › wp-content › uploads › 2017 › 12 › … · 4.3.1 Codification...