Principes de la planification de l'éducation -...

157

Transcript of Principes de la planification de l'éducation -...

Page 1: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F
Page 2: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Principes de la planification de l'éducation - 81

Page 3: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

D a n s cette collection* : 1. Qu'est-ce que la planification de l'éducation ? P.H Coombs 2. Les plans de développement de l'éducation et la planification économique et sociale, R Poignant 3. Planification de l'éducation et développement des ressources humaines, F Harbison 4. L'administrateur de l'éducation face à la planification, CE Beeby 5. Le contexte social de la planification de l'éducation, CA. Anderson 6. La planification de l'enseignement évaluation des coûts, J Vaizey, J D Chesswas 1. Les problèmes de l'enseignement en milieu rural, V.L. Griffiths 8. Le rôle du conseiller en planification de l'enseignement, A. Curie 9. Les aspects démographiques de la planification de l'enseignement, T.N. Châu (épuisé, voir n° 72) 10. Coûts et dépenses en éducation, J Hallak 1 1. L'identité professionnelle du planificateur de l'éducation,^ Curie 12. Planification de l'éducation : les conditions de réussite, G C Ruscoe 13. L'analyse coût-bénéfice dans la planification de l'éducation, M Woodhall 14. Planification de l'éducation et chômage des jeunes, A Callaway 16. Planification de l'éducation pour une société pluraliste, C Hon-chan 17. La planification des programmes d'enseignement primaire dans les pays en voie de développement, H.W.R Hawes 18. Planification de l'aide à l'éducation pour la deuxième décennie du développement, H.M. Phillips 19. Les éludes à l'étranger et le développement de l'enseignement, WD Carter 20. Pour une conception réaliste de la planification de l'éducation, K.R. McKmnon 21. La plani fication de l'éducation en relation avec le développement rural, G . M. Coverdale 22. La planification de l'éducation options et décisions, J.D Montgomery 23. La planification du programme scolaire, A Lewy 24. Les facteurs de coûts dans la planification des systèmes de technologies éducatives, D T Jamison 25. Le planificateur et l'éducation permanente, P. Furter 26 L'éducation et l'emploi : une étude critique, M. Carnoy 27 Planification de l'offre et de la demande d'enseignants, P. Williams 28 Planification de l'éducation préscolaire dans les pays en développement. A Heron 29 Moyens de communication de masse et éducation dans les pays à faible revenu : répercussions sur la planification,

E G. McAnany, J K. Mayo 30. La planification de l'éducation non formelle, D.R Evans 31. Education, formation et secteur traditionnel, J Hallak, F. Caillods 32. Enseignement supérieur et emploi : l'expérience de l'IIPE dans cinq pays en développement, G. Psacharopoulos,

B.C. Sanyal 33. La planification de l'éducation comme processus social, T Malan 34. Enseignement supérieur et stratification sociale : une comparaison internationale, T. Husén 35. U n cadre conceptuel pour le développement de l'éducation permanente en U R S S , A. Vladislavlev 36. Education et austérité : quelles options pour le planificateur ? K.M. Lewin 37. La planification de l'éducation en Asie, R. Roy-Singh 38. Les projets d'éducation : préparation, financement et gestion, A. Magnen 39. Accroître l'efficacité des enseignants, L Anderson 40. L'élaboration des programmes scolaires à l'échelon central et à l'échelon des écoles, A Lewy 41. Planification des ressources humaines : méthodes, expériences, pratiques, O. Bertrand (épuisé, voir n° 75) 42. Redéfinition de l'éducation de base en Amérique latine : les enseignements de l'Ecole Nouvelle colombienne,

E. Schiefelbein 43. La gestion des systèmes d'enseignement à dislance, G . Rumble 44 Stratégies éducatives pour les petits Etats insulaires, D. Atchoarena 45 Evaluation de la recherche en éducation fondée sur l'expérimentation et sur les enquêtes. R M Wolf 46 Droit et planification de l'éducation, / Birch 47 Utilisation de l'analyse sectorielle de l'éducation et des ressources humaines, F Kemmerer 48. Analyse du coût de l'insertion scolaire des populations marginalisées, M.C Tsang 49 Un système d'information pour la gestion fondé sur l'efficience, W.W. MçMahon 50. Examens nationaux : conception, procédures et diffusion des résultais, J.P. Keeves 51. Le processus de planification et de formulation des politiques d'éducation théorie et pratiques.

WD. Haddad. assisté par T Demsky 52. A la recherche d'un enseignement adapté : l'orientation vers le travail dans l'éducation, W Hoppers 53. Planifier pour l'innovation en matière d'éducation, D E Inbar 54. Analyse fonctionnelle de l'organisation des ministères d'éducation, R Sack, M Saidi 55. Réduire les redoublements : problèmes et stratégies, T. Eisemon 56. Faire davantage participer les filles et les femmes à l'éducation, N P Stromquist 57. Installations et bâtiments éducatifs : ce que les planificateurs doivent savoir, J Bevnon 58. La planification de programmes d'alphabétisation des adultes centrés sur les élèves, SE Mahne, R F. Amove 59. Former les enseignants à travailler dans des établissements et/ou des classes réputés difficiles. J -L Auduc 60. L'évaluation de l'enseignement supérieur, J L Rontopoulou 61. A l'ombre du système éducatif. Le développement des cours particuliers : conséquences pour la planification de

l'éducation, M Bray 62. Une gestion plus autonome des écoles. / Abu-Duhou 63. Mondialisation et réforme de l'éducation : ce que les planificateurs doivent savoir, M Carnoy 64. La décentralisation dans l'éducation : pourquoi, quand, quoi et comment? T. Welsh, NF. McGinn 65. L'éducation préscolaire : besoins et possibilités, D. Weikari 66. La planification de l'éducation dans le contexte du VIH/sida, M.J. Kelly 67. Aspects légaux de la planification et de l'administration de l'éducation, C Durand-Prinborgne 68. Améliorer l'efficacité de l'école, J Scheerens 69. La recherche quantitative au service des politiques éducatives : le rôle de l'analyse de la littérature, S.J.Hite 70 La cyberformation dans l'enseignement supérieur : développement de stratégies nationales, T. Butes 71 L'évaluation pour améliorer la qualité de l'enseignement, T. Kellaghan, V. Greanev 72. Les aspects démographiques de la planification de l'éducation, T.N. Châu 73. Planifier l'éducation en situation d'urgence et de reconstruction, M. Sinclair 74 La privatisation de l'éducation : causes, effets et conséquences pour la planification, CR. Belfield, H M Levin 75. Planification des ressources humaines : méthodes, expériences, pratiques, O. Bertrand 76. Les classes mulugrades : une contribution au développement de la scolarisation en milieu rural africain °

E Brunswic, J Valerien 77. Les TIC et l'éducation dans le monde - tendances, enjeux et perspectives, WJ Pelgrum, N Law 78. Inégalités sociales à l'école et politiques éducatives, M Duru-Bellat 79. Accroître l'efficacité des enseignants, L. W. Anderson 80 L'analyse coùt-bénéfice dans la planification de l'éducation, M Woodhall

* Série publiée également en anglais. Autres titres à paraître.

Page 4: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

L e pilotage des résultats des élèves

T . Neville Postlethwaite

Paris 2005 U N E S C O : Institut international de planification de l'éducation

Page 5: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

L'Agence suédoise d'aide au développement international (ASDI) a fourni une aide financière pour la publication de cette brochure.

Les idées et les opinions exprimées dans ce volume sont celles de l'auteur et ne représentent pas nécessairement celles de l ' U N E S C O ou de l'IIPE. Les appellations employées dans ce volume et la présentation des données qui y figurent n'impliquent de la part de l ' U N E S C O ou de l'IIPE aucune prise de position quant au statut juridique des pays, territoires, villes ou zones, ou de leurs autorités, ni quant à leurs frontières ou limites.

La publication de ce document a été financée grâce à la subvention de l ' U N E S C O et aux contributions de plusieurs États membres de l ' U N E S C O dont la liste figure à la fin de ce document.

Titre de l'original :

Monitoring educational achievement

Publié en 2005 par l'Organisation des Nations Unies pour l'éducation, la science et la culture 7, place de Fontenoy, 75007 Paris

Maquette de couverture : Pierre Finot Composition : Linéale Production Imprimé en France par S T E D I

I S B N 92-803-2275-3 © UNESCO 2005

Page 6: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Principes de la planification de l'éducation

Les brochures de cette collection sont destinées principalement à deux catégories de lecteurs : ceux qui occupent déjà des fonctions dans l'administration et la planification de l'éducation, dans les pays en développement c o m m e dans les pays industrialisés ; et d'autres, moins spécialisés - hauts fonctionnaires et h o m m e s politiques, par exemple - qui cherchent à connaître de façon plus générale le mécanisme de la planification de l'éducation et les liens qui la rattachent au développement national dans son ensemble. Ces brochures sont, de ce fait, destinées soit à l'étude individuelle, soit à des cours de formation.

Depuis le lancement de cette collection en 1967, les pratiques et les concepts de la planification de l'éducation ont subi d'importants changements. Plusieurs des hypothèses qui étaient sous-jacentes aux tentatives antérieures de rationaliser le processus du développement de l'éducation ont été critiquées ou abandonnées. Toutefois, si la planification centralisée, rigide et obligatoire, s'est manifestement révélée inadéquate, toutes les formes de planification n'ont pas été abandonnées. L a nécessité de rassembler des données, d'évaluer l'efficacité des programmes en vigueur, d'entreprendre des études sectorielles et thématiques, d'explorer l'avenir et de favoriser un large débat sur ces bases s'avère au contraire plus vive que jamais, pour orienter la prise de décisions et l'élaboration des politiques éducatives.

La planification de l'éducation a pris une envergure nouvelle. Outre les formes institutionnelles de l'éducation, elle porte à présent sur toutes les autres prestations éducatives importantes dispensées hors de l'école. L'intérêt consacré à l'expansion et au développement des systèmes éducatifs est complété, voire parfois remplacé, par le souci croissant d'améliorer la qualité du processus éducatif dans son ensemble et de contrôler les résultats obtenus. Enfin, planificateurs et administrateurs sont de plus en plus conscients de l'importance des stratégies de mise en œuvre et du rôle joué à cet égard par les divers

5

Page 7: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Principes de la planification de l'éducation

mécanismes de régulation : choix des méthodes de financement, d 'examen et de délivrance des certificats et diplômes, ou d'autres structures de régulation et d'incitation. La démarche des planificateurs répond à une double préoccupation : mieux comprendre la valeur et le rôle de l'éducation par l'observation empirique des dimensions particulières qui sont les siennes, et contribuer à définir des stratégies propres à amener le changement.

Ces brochures ont pour objet de refléter l'évolution et les changements des politiques éducatives et de mesurer leurs effets sur la planification de l'éducation ; de mettre en lumière les questions qui se posent actuellement en la matière et de les analyser dans leur contexte historique et social ; et de diffuser des méthodes de planification pouvant s'appliquer aussi bien aux pays en développement qu'aux pays industrialisés.

Afin d'aider l'Institut à bien identifier les préoccupations actuelles dans les domaines de la planification et de l'élaboration des politiques de l'éducation dans diverses parties du monde , un Comité de rédaction a été mis en place. Il comprend deux rédacteurs en chef et cinq rédacteurs associés, venus de différentes régions, tous éminents spécialistes dans leurs domaines respectifs. Lors de la première réunion de ce nouveau Comité de rédaction en janvier 1990, ses membres ont défini les sujets les plus importants à traiter dans les numéros ultérieurs sous les rubriques suivantes :

1. L'éducation et le développement. 2. L'équité. 3. La qualité de l'éducation. 4. Structure, administration et gestion de l'éducation. 5. Les programmes d'enseignement. 6. Coût et financement de l'éducation. 7. Techniques et approches de la planification. 8. Systèmes d'information, suivi et évaluation.

Chaque rubrique est confiée à un ou deux rédacteurs.

La collection correspond à un plan d'ensemble soigneusement établi, mais aucune tentative n'a été faite pour éliminer les divergences,

6

Page 8: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Principes de la planification de l'éducation

voire les contradictions, entre les points de vue exposés par les auteurs. L'Institut, pour sa part, ne souhaite imposer aucune doctrine officielle. S ' il reste entendu que les auteurs sont responsables des opinions qu ' ils expriment- et qui ne sont pas nécessairement partagées par l ' U N E S C O et l'IIPE - , elles n'en sont pas moins dignes de faire l'objet d 'un vaste débat d'idées. Cette collection s'est d'ailleurs fixé c o m m e objectif de refléter la diversité des expériences et des opinions en donnant à des auteurs venus d'horizons et de disciplines très variés la possibilité d'exprimer leurs idées sur l'évolution des aspects théoriques et pratiques de la planification de l'éducation.

Maints gouvernements de par le m o n d e reconnaissent que l'éducation a u n rôle central à jouer dans la construction d 'une nation et dans le progrès économique, social et culturel d 'un pays. L'objectif n'est cependant pas d'accroître les taux de scolarisation, mais plutôt de permettre aux enfants d'acquérir un niveau de compétences suffisant pour pouvoir devenir des citoyens responsables et actifs dans la société. U n autre but important est de situer les divers niveaux de performances scolaires atteints par les enfants, et d'identifier le profil de ceux qui obtiennent des résultats satisfaisants, ainsi que les raisons de tels écarts. C o m m e n t expliquer les différences de résultats entre les élèves ? Sont-elles liées à leurs enseignants, aux écoles qu'ils ont fréquentées, à la possibilité d'accéder à des matériels pédagogiques ? Quel est le meilleur indicateur prévisionnel de la réussite scolaire d 'un élève : le contexte familial vraisemblablement, mais la formation des enseignants peut-elle avoir une incidence? Réduire les effectifs d'une classe a-t-il un impact ? Les s o m m e s énormes investies par les pouvoirs publics dans l'enseignement sont-elles justifiées ? Dans quels domaines les ministères devraient-ils investir pour améliorer les résultats scolaires des élèves ?

C'est afin de répondre à quelques-unes de ces questions que les gouvernements et divers organismes internationaux s'intéressent de plus en plus à l'évaluation des résultats scolaires des élèves.

Dans cet ouvrage, Neville Postlethwaite, l'un des meilleurs spécialistes de la question, explique en quoi consiste le pilotage des résultats des élèves et quels sont les traits permettant de distinguer une évaluation bien conduite d'une autre qui l'est moins. À quel type de questions une évaluation permet-elle de répondre ? À quel type

7

Page 9: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Príncipes de la planification de l'éducation

de difficultés est-on confronté ? Face au foisonnement d'évaluations nationales et internationales auquel on assiste aujourd'hui, cet ouvrage arrive particulièrement apropos. Tous ceux qui souhaitent découvrir, comprendre ou approfondir ce que signifie le pilotage des acquis scolaires trouveront, à n'en pas douter, beaucoup d'intérêt à le lire.

L'Institut exprime sa vive reconnaissance à Neville Postlethwaite, Professeur émérite d'éducation comparative à l'Université de Hambourg, pour cette monographie d'une grande richesse. Elle permet à tous, y compris à ceux qui ne sont pas des spécialistes de la question, de mieux comprendre la portée des études sur la qualité de l'éducation, les informations qu'elles peuvent fournir et la contribution qu'elles peuvent apporter dans le cadre de l'analyse politique.

G u d m u n d Hernes Directeur, IIPE

8

Page 10: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Composition du Comité de rédaction

Président : G u d m u n d H e m e s Directeur, IIPE

Rédacteurs en chef: Françoise Caillods Directrice adjointe, IIPE

T. Neville Postlethwaite (Professeur émérite) Université de Hambourg Allemagne

Rédacteurs associés : François Orivel I R E D U , Université de Bourgogne France

Jacques Hallak Consultant France

Eric Hanushek Université de Stanford Etats-Unis

Claudio de Moura Castro Faculdade Pitágoras Brésil

Fernando Reimers Université de Harvard États-Unis

Kenneth N . Ross IIPE France

9

Page 11: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préface

L'un des principaux changements qui sont intervenus dans les systèmes éducatifs au cours des 20 dernières années dans le monde concerne l'analyse comparative de la qualité de ces systèmes sur la base d 'une évaluation de leurs performances. O n ne dit plus aujourd'hui d'une école qu'elle est « bonne » parce qu'elle possède un haut niveau de ressources scolaires, c'est-à-dire un corps enseignant nombreux, qualifié et correctement rémunéré, des classes à petits effectifs, des installations et des bâtiments en nombre suffisant et en b o n état, des matériels pédagogiques diversifiés, des bibliothèques bien fournies, des m o y e n s d'accès aux nouvelles technologies de l'information et au réseau Internet, ainsi que des équipements sportifs. D e nos jours, ce qui fait qu'une école est « bonne », ce ne sont plus ses intrants, mais ses résultats.

Sans aller jusqu'à dire qu'auparavant, les résultats des écoles n'entraient pas en ligne de compte, il était couramment admis que, dans les écoles où les intrants scolaires n'étaient pas limités par des contraintes budgétaires, les performances suivraient automatiquement. Les écoles les mieux dotées en termes d'intrants avaient ainsi toutes les chances d'obtenir de meilleurs résultats que les écoles plus démunies. Or, de nombreuses études réalisées dans les années 1980 par des économistes de l'éducation obligent à remettre en cause cette idée. Elles démontrent en effet l'absence de corrélation positive entre la variabilité des ressources scolaires et la variabilité de la réussite scolaire dans les pays industrialisés. L a corrélation entre ces deux catégories de variables (intrants et résultats) est en réalité généralement voisine de zéro dans la plupart des pays développés.

Il s'ensuit trois grandes conséquences. La première est que, dans le secteur de l'éducation c o m m e dans tout secteur d'activité économique, le taux de rendement des intrants scolaires diminue. L'exemple classique est celui des manuels scolaires : lorsque les élèves ne disposent pas de manuel scolaire dans leur école, leur niveau de lecture demeure faible ; lorsqu'ils ont accès à leur premier manuel, leur niveau de lecture augmente sensiblement ; mais, plus le nombre

11

Page 12: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préface

de manuels disponibles dans l'école croît, plus l'impact marginal est faible, et ce, jusqu'au m o m e n t où la mise à disposition d 'un manuel supplémentaire cesse tout simplement d'avoir un impact mesurable. Dans les pays développés, la grande majorité des écoles disposent ordinairement du m i n i m u m de ressources requis pour que le processus d'apprentissage puisse avoir lieu ; la variabilité des résultats scolaires des élèves est donc imputable à d'autres facteurs ; ces facteurs peuvent n o t a m m e n t être liés au fonctionnement de l'école ou aux caractéristiques des élèves.

E n second lieu, il apparaît que, à ressources égales, les écoles n'ont pas la m ê m e efficience. Plusieurs explications sont possibles. Certaines écoles sont mieux gérées ou bien elles n'accueillent pas le m ê m e type d'élèves. Certains enfants sont plus aptes que d'autres à apprendre. D'autres enfants ont des difficultés d'apprentissage pour différentes raisons : une mauvaise santé, moins de facilité pour apprendre (aptitudes innées), une langue maternelle différente de la langue de travail utilisée à l'école, une famille peu sensibilisée aux valeurs de l'éducation scolaire ou encore un temps plus réduit à consacrer à l'étude, que ce soit à l'école ou à la maison. Qui plus est, les bons élèves ont la possibilité d'améliorer leurs compétences scolaires par le biais d'autres intrants extrascolaires, tels que cours particuliers, aide active des parents, séjours linguistiques à l'étranger ou activités culturelles extrascolaires. L'incidence du facteur social est en l'occurrence particulièrement forte : ces intrants occasionnent un surcoût qui est financé par les ménages et sont par conséquent hors de portée des familles issues d'un milieu socioéconomique modeste. La variabilité des résultats entre les écoles selon les caractéristiques des élèves qu'elles accueillent (forte proportion de bons élèves dans les unes et, à l'inverse, forte proportion d'élèves en difficulté dans les autres) peut donc être considérable, quelle que soit la qualité de leur gestion.

Troisième conséquence : évaluer la qualité d'une école d'après ses résultats implique une nouvelle approche de la conception des politiques éducatives. Jusqu'à présent, les responsables politiques avaient l'habitude de définir leur politique en fonction de leurs propres opinions, valeurs et engagements. Aujourd'hui, la tendance est à définir une politique éducative en s'appuyant sur des éléments factuels,

12

Page 13: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préface

notamment l'efficacité réelle des écoles, et à promouvoir les réformes destinées à améliorer le processus d'apprentissage chez un nombre croissant d'élèves. L e modèle idéal n'est plus l'égalité de traitement des élèves, mais la discrimination positive visant à améliorer les compétences des élèves moins performants.

Il n'existe pas encore de consensus universel sur la nature des résultats des écoles, dans la mesure où les objectifs de l'enseignement, c o m m e les programmes scolaires, varient parfois d 'un établissement à l'autre ou d'un système éducatif à l'autre. Néanmoins, un certain nombre de points c o m m u n s apparaissent, notamment pour ce qui est des principes de base : tous les systèmes éducatifs sont censés enseigner la lecture, l'écriture et le calcul. E n outre, ils ont pour mission de favoriser la socialisation des enfants de chaque communauté , de leur apprendre à vivre ensemble et, enfin, de les aider à devenir des adultes actifs et responsables, capables de s'adapter à l'environnement qui est le leur.

Les améliorations notables qui ont été introduites dans l'évaluation de la réussite scolaire ont essentiellement porté sur les performances cognitives des enfants en lecture, en mathématiques et en sciences. Toutefois, un système éducatif peut poursuivre une multitude d'autres objectifs dans des domaines, tels que les langues étrangères, les sciences humaines, l'art, l'éducation physique, l'éducation civique, la technologie, etc. Il est par ailleurs des objectifs qui ne relèvent pas du domaine cognitif : développer le respect de soi, la socialisation, l'esprit d'initiative et la créativité par exemple. D'aucuns critiquent les initiatives actuelles en faveur de l'évaluation des résultats des élèves, arguant du fait que la plupart des tests utilisés visent une cible beaucoup trop restreinte, qu'ils tendent à négliger une part importance des acquis et qu'ils incitent parfois à concentrer les programmes scolaires sur des domaines où des tests sont déjà régulièrement pratiqués. Leur argumentation est parfaitement recevable. Pour autant, elle ne doit pas conduire à rejeter les nouvelles approches de l'évaluation. L a seule solution qui permette d'éviter ces inconvénients consiste à étendre progressivement les nouvelles pratiques d'évaluation à des domaines jusqu'à présent négligés.

13

Page 14: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préface

D e plus en plus de pays participent à des études sur le pilotage des résultats des élèves. Mais il s'agit surtout de pays développés et plus rarement de pays en développement. L 'un des objectifs de cet ouvrage est précisément d'aider les pays en développement à entrer dans une démarche plus systématique de pilotage des acquis scolaires afin d'orienter leur politique éducative et de promouvoir des réformes susceptibles d'améliorer les performances de leur système éducatif.

Neville Postlethwaite est l'un des rares grands spécialistes internationaux de la question. Il figure parmi les pionniers qui ont, les premiers, développé des méthodes, des outils et des procédures analytiques d'enquête utilisables à l'échelon national et international. A v e c sa connaissance des pays développés et des pays en développement, nul mieux que lui ne pouvait rédiger un ouvrage sur ce sujet.

François Orivel Professeur, Université de Bourgogne

14

Page 15: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préambule

Les ministères de l'Éducation ont de plus en plus tendance à réaliser des enquêtes par échantillonnage sur le pilotage des résultats des élèves et leur évolution. Ces enquêtes accompagnent généralement une étude internationale : une étude d'une telle portée est, en effet, l'occasion de rassembler un grand nombre d'éminents experts internationaux spécialisés dans ce domaine et leur offre par là m ê m e la garantie d 'un haut niveau de qualité technique des recherches. Mais certains ministères choisissent parfois d'organiser de façon autonome leur propre étude nationale.

C e petit fascicule introductif s'adresse à de hauts responsables des ministères de l'Éducation et à tous ceux qui, sans disposer de compétences particulières en statistiques ou en enquêtes par échantillonnage, n'en ont pas moins besoin de connaître les différents types d'études qui existent et les méthodes à appliquer pour en apprécier la qualité technique. Q u ' o n ne s'attende donc pas à trouver dans cet ouvrage la description d'une méthode détaillée pour conduire ce genre d'études.

Ces études suscitent néanmoins un certain nombre de questions fréquentes auxquelles je m e suis efforcé d'apporter des réponses :

• Pour quelles raisons le pilotage des résultats des élèves est-il important ?

• Quels exemples d'études (nationales et internationales) peut-on donner ?

• Quelles sont les critiques qui sont faites à l'égard de ces études et comment y répondre ?

• Quels aspects techniques importants faut-il prendre en compte dans ces études pour garantir la fiabilité de leurs résultats ?

• Quelles sont les conséquences de ces études pour les responsables chargés de la planification au sein d'un ministère de l'Éducation ?

15

Page 16: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préambule

U n chapitre important est consacré aux aspects techniques cruciaux à prendre en compte dans ces études. Il arrive en effet que des enquêtes comportent de nombreuses imperfections techniques, au point de compromettre la validité de leurs résultats. Il est donc essentiel d'y être particulièrement attentifs lors de la lecture des comptes rendus de recherche.

Les études internationales de l'IEA, du PISA et du S A C M E Q choisies ici c o m m e exemples d'évaluations internationales offrent l'avantage d'être solidement documentées et aisément accessibles à l'auteur. Mais il existe également d'autres études internationales. C'est le cas d'une étude sur les systèmes scolaires en Amérique du Sud, qui a débuté en 1997 à l'initiative du bureau régional de l ' U N E S C O à Santiago du Chili. Les recherches en la matière ont été menées par le Laboratoire latino-américain d'évaluation de la qualité de l'éducation (LLECE) , mais c'est le Bureau régional de l ' U N E S C O pour l'éducation en Amérique latine et dans les Caraïbes ( O R E A L C ) qui en a assuré la coordination. Mention doit aussi être faite de deux autres programmes : le programme de l ' U N E S C O sur le suivi permanent des acquis scolaires {Monitoring of Learning Achievement, M L A ) qui a débuté en 1992, et le Programme d'analyse des systèmes éducatifs de la C O N F E M E N (PASEC) , conduit dans les pays africains francophones. Il n'a toutefois pas été possible de faire figurer ces études dans le présent ouvrage faute de pouvoir obtenir les diverses informations à caractère technique nécessaires.

D e toutes ces études, la première en date est celle de l'IEA qui, depuis 1958 jusqu'à ce jour, organise régulièrement des enquêtes. Les études du PISA et du S A C M E Q ne datent que du début des années 1990. Il est à ce titre intéressant de souligner que, d'une certaine manière, le PISA et le S A C M E Q sont des produits dérivés de l'IEA. B o n nombre de chercheurs du PISA et du S A C M E Q sont par exemple issus du groupe d'experts internationaux créé par l'IEA.

À l'échelon international, Andreas Schleicher, directeur du projet PISA, a travaillé à l'IEA à Hambourg. Il est, avec John Keeves, l'auteur des premiers calculs sur l'évolution des résultats des élèves dans le temps, effectués lors de la deuxième étude de l'IEA sur les

16

Page 17: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Préambule

sciences. Il a par ailleurs été directeur exécutif du Progress in International Reading Literacy Study ( P I R L S , P r o g r a m m e international de recherche en lecture scolaire) de l'IEA (1989-1992). J'ai, pour m a part, été associé aux recherches de l'IEA à partir de 1962 lorsque j'y ai pris mes fonctions en qualité de premier directeur exécutif et j'ai également participé activement au PIRLS. Le spécialiste en statistiques de sondage responsable de la qualité des échantillonnages aléatoires pour ce m ê m e programme était Kenneth Ross. Kenneth Ross a rejoint l'Institut international de planification de l'éducation et y a dirigé l'équipe chargée du pilotage de la qualité de l'éducation. Tous ont apporté leur contribution à l'étude S A C M E Q jusqu'en 2004.

À l'échelon national, de nombreux directeurs nationaux de projet du PISA sont d'anciens coordinateurs de la recherche nationale de l'IEA (et quelques-uns d'entre eux continuent de participer aux études du PISA et de l'IEA).

Dans le cadre de la rédaction de cet ouvrage, j'ai bénéficié des suggestions et conseils de plusieurs personnes que je souhaite ici remercier : Alerta Grisay (Belgique), François Orivel ( IREDU, Dijon, France), Miyako Ikeda ( O C D E ) , R . Murray Thomas (États-Unis), Pierre Foy, Dirk Hastedt et Heiko Sibberns (Data Processing Centre de l'IEA, à Hambourg), Cordula Artelt (Max-Planck Institut für Bildungsforschung, Berlin) et Maria Teresa Siniscalco (France).

T. Neville Postlethwaite Baigts-de-Béarn, France

Octobre, 2004

17

Page 18: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Table des matières

Préface

Préambule

Liste des abréviations

Liste des tableaux

Liste des figures

Glossaire

Introduction

11 15 23 25 27 29 33

Évaluation nationale ou évaluation internationale : pour quelles raisons ?

Les principales raisons

Les premières questions qu'un ministère doit se poser

L a seconde série de questions qu 'un ministère doit se poser

Aperçu rapide de deux études nationales

Étude réalisée au Viet N a m

Étude réalisée au Kenya

Quelques études internationales

SACMEQ PISA IEA

Questions fréquentes, critiques et réponses

39 39

42

45

49 49 61

71 71 79 89

97 1. Si les tests sont établis à partir d 'un programme

scolaire c o m m u n à tous les pays, les évaluations internationales ne risquent-elles pas, à terme, d'imposer un m ê m e programme scolaire international à tous les pays ? 97

19

Page 19: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Table des matières

2. Les tests internationaux permettent-ils d'évaluer toutes les compétences ? Ces tests comportent-ils une mesure de la confiance en soi des élèves ou de leur aptitude à vivre ensemble ? Se pourrait-il que des pays négligent ces aspects si les études internationales s'intéressent seulement à la lecture et aux mathématiques ? 99

3. Les élèves qui n'ont pas l'habitude des questionnaires à choix multiple ne sont-ils pas défavorisés dans les tests qui utilisent ce format de questions ? 100

4 . Dans des systèmes éducatifs où le taux de redoublement est élevé, est-il équitable d'évaluer les résultats des élèves en se fondant sur l'âge plutôt que sur l'année d'études ? 101

5. Que se passe-t-il si les résultats d'une étude nationale et d'une étude internationale diffèrent dans des proportions significatives ? 102

6. Quel est le coût de ces études ? 102

7. Quelle est la périodicité idéale d'une enquête nationale portant sur une année d'études ou une tranche d'âge donnée ? 103

8. Quel est l'impact de ces études sur le processus décisionnel dans le secteur éducatif ? 104

V . Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves 107 Les objectifs de l'étude sont-ils explicitement énoncés ? 107

La population cible qui a été définie est-elle appropriée (et comparable) ? 108

A-t-on utilisé une procédure d'échantillonnage correcte? 110

20

Page 20: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Table des matières

A-t-on correctement conçu les tests et les a-t-on préalablement expérimentés ? 113

A-t-on correctement conçu les questionnaires et les échelles d'attitude et les a-t-on préalablement expérimentés ? 120

Dans le cas d'études internationales, a-t-on vérifié les traductions qui ont été faites de la langue source vers les autres langues cibles ? 121

A-t-on correctement réalisé la collecte des données ? 122

A-t-on appliqué les bonnes procédures en matière de saisie et de nettoyage des données, de codage du test et de pondération d ' échantillonnage ? 124

A-t-on correctement réalisé l'analyse des données ? 126

La rédaction du rapport de recherche est-elle de bonne qualité ? 127

V I . Conclusion et conséquences pour la planification

de l'éducation 129

Le personnel 129

Dans le cas d'une étude internationale, la rédaction d'un rapport national reste nécessaire 131 Le lien entre bases de données E M I S et

bases de données de l'enquête par échantillonnage 131

Quelques risques politiques à prendre en compte 131

L'importance des variables malléables 132

La diffusion des résultats 133

Dernière remarque 135

Références 137

Annexes 147

Annexe 1. Questions d'ordre général extraites de l'étude sur le Viet N a m 149

21

Page 21: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Table des matières

Annexe 2 . Viet N a m , élèves de cinquième année : pourcentages et erreurs d'échantillonnage d'élèves atteignant différents niveaux en lecture, par province et par région 151

Annexe 3. Pays participants aux évaluations de l'IEA, du PISA et du S A C M E Q 153

Annexe 4 . Questions de politique générale posées dans le cadre de l'étude S A C M E Q II 155

Annexe 5. Items relatifs aux caractéristiques indiquées sur les échelles d'apprentissage dans PISA 159

Annexe 6. Pourcentage de réponses correctes à l'ensemble du test et à des sous-ensembles d'items pour une sélection de pays o u territoires 162

Annexe 7. Corrélations entre les divers scores TRI (théorie de la réponse d'item) en lecture estimés à partir des items considérés c o m m e « essentiels » dans le programme scolaire de chacun des pays participants 163

22

Page 22: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Liste des abréviations

E T S Educational Testing Service [Service d'examen de l'éducation]

E M I S Système d'information pour la gestion de l'éducation

IEA Association internationale pour l'évaluation du rendement scolaire

IIPE Institut international de planification de l'éducation

N A E P National Assessment of Educational Progress [Évaluation nationale du progrès éducatif]

N F E R National Foundation for Educational Research in England and Wales [Fondation nationale pour la recherche éducative en Angleterre et au Pays de Gales]

N R C National Research Co-ordinator [Coordonnateur de la recherche nationale]

O C D E Organisation de coopération et de développement économiques

PIRLS Progress in International Reading Literacy Study [Programme international de recherche en lecture scolaire]

PISA Programme international pour le suivi des acquis des élèves

S A C M E Q Consortium de l'Afrique australe et orientale pour le pilotage de la qualité de l'éducation

23

Page 23: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Liste des abréviations

S A S Système d'analyse statistique

S P S S Statistical Package for the Social Sciences [Ensemble des programmes statistiques relatif aux sciences sociales]

S S E Statut socio-économique

T I M S S Troisième enquête internationale sur les mathématiques et les sciences

24

Page 24: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Liste des tableaux

Tableau 2.1 Pourcentage d'élèves de cinquième année ayant atteint différents niveaux de compétences en lecture et en mathématiques, Viet N a m , 2001

Tableau 2.2 Pourcentages et erreurs types relatifs à la proportion d'élèves de cinquième année atteignant différents niveaux fonctionnels de lecture et de mathématiques, Viet N a m , 2001

Tableau 2.3 Pourcentages et erreurs d'échantillonnage relatifs à des élèves de sixième année atteignant différents niveaux de compétences, par province, au Kenya, 2000

Tableau 2.4 Pourcentages et erreurs d'échantillonnage d'élèves atteignant le niveau min imum et le niveau souhaitable de maîtrise en lecture ( S A C M E Q I et S A C M E Q II), par province, au Kenya

Tableau 2.5 Pourcentages et erreurs d'échantillonnage d'élèves de sixième année atteignant le niveau minimum et le niveau souhaitable de maîtrise en lecture, par sous-groupes d'élèves ( S A C M E Q I et S A C M E Q II), au Kenya

Tableau 2.6 Variables importantes permettant d'expliquer les résultats en lecture et en mathématiques d'élèves de sixième année au Kenya ( S A C M E Q II)

Tableau 3.1 Évolution entre S A C M E Q I et S A C M E Q II des moyennes ou des pourcentages pour une sélection de variables

Tableau 3.2 Pourcentage d'élèves ayant accès, dans leur classe, aux items indiqués, au Malawi

25

Page 25: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Liste des tableaux

Tableau 3.3 Pourcentage d'élèves disposant des fournitures indiquées entre S A C M E Q II et S A C M E Q I

Tableau 3.4 Extrait des résultats PISA sur le rapport entre le S S E et les compétences en lecture

Tableau 3.5 Exemple du poids relatif des variables (coefficients de régression) sur les compétences en lecture, étude PISA, 2000

Tableau 3.6 Valeurs de corrélations intra-classes, étude PIRLS, 2001

Tableau 3.7 Valeurs de corrélations intra-classes, études S A C M E Q , 1995-2002

Tableau 5.1 Niveaux de compétences en lecture et en mathématiques établis dans le cadre de l'étude S A C M E Q

26

Page 26: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Liste des figures

Figure 2.1 Rapport entre la zone d'implantation de l'école et le niveau fonctionnel de compétences au Viet N a m , 2001

Figure 2.2 Moyennes obtenues en lecture par les filles et les garçons, par région au Viet N a m , 2001

Figure 2.3 Relation entre les moyennes obtenues en lecture par les enseignants et les élèves, par province au Viet N a m , 2001

Figure 2.4 Relation entre les moyennes obtenues en mathématiques par les enseignants et les élèves, par province au Viet N a m , 2001

Figure 3.1 Évolution des scores obtenus en lecture/écriture entre S A C M E Q I et S A C M E Q II

Figure 3.2 Évolution des scores obtenus en lecture entre S A C M E Q I et S A C M E Q II

Figure 3.3 Relations entre le SSE et les compétences en lecture

Figure 3.4 Comparaison des scores en mathématiques par sous-domaine, dans les divers pays participants (TIMSS)

Figure 3.5 Évolution du niveau moyen de lecture des garçons et des filles (PIRLS)

27

Page 27: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Glossaire

Nettoyage de données : processus informatisé consistant à éliminer les erreurs et incohérences contenues dans des fichiers de données d'enquêtes à grande échelle avant analyse.

Matrice : tableau dans lequel sont indiqués les variables et le type d'analyse de données à appliquer pour compléter les cases vides.

Score aléatoire : dans le cas d'une épreuve à choix multiple, score qu'obtiendrait un étudiant s'il « devinait » la réponse à chacune des questions du test.

Analyse de modélisation linéaire hiérarchique : méthode d'analyse qui permet aux chercheurs de formuler et de tester des modèles statistiques explicites de processus survenant à plusieurs niveaux des structures éducatives. U n modèle élève-école est un modèle à deux niveaux ; un modèle élève-classe-école ou élève-école-région est un modèle à trois niveaux.

Échantillon au jugé : échantillon non aléatoire que le chercheur choisit en se référant à l'idée qu'il se fait d 'un « bon » échantillon ou d 'un échantillon « représentatif» de la population. C e type d'échantillon non aléatoire ne permet pas de calculer les erreurs types des valeurs obtenues (moyennes ou pourcentages).

Variable de résultat (de critère) : dans la plupart des cas, il s'agit de la variable mesurant les performances scolaires ; il peut aussi s'agir d'une variable d'attitude.

Échantillons aléatoires : échantillons composés d'éléments qui ont une probabilité connue et non nulle d'être sélectionnés parmi une population.

29

Page 28: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Glossaire

Propriétés psychométr iques des items : ces propriétés comprennent notamment les indices de difficulté, de discrimination (corrélations bisériales de point) et de fonctionnement différentiel des items. Pour des groupes d'items, on parle de propriétés psychométriques en faisant référence à la validité et à la fiabilité du test.

Analyse de Rasch : utilisation du modèle de Rasch (conçu par le statisticien danois Georg Rasch) c o m m e outil de diagnostic dans le cadre de la conception et de l'amélioration de tests.

Coefficients de régression : coefficients affectés à des variables particulières dans le but de définir une combinaison linéaire de variables présentant une corrélation optimale avec une autre variable clé (variable de critère).

S A M D E M (Sample Design Manager Software) : logiciel conçu par l'IIPE pour la sélection d'échantillons aléatoires d'écoles.

Erreur d'échantillonnage : pour un échantillon donné, erreur liée à la sélection d ' un échantillon déterminé parmi un nombre , par hypothèse, infini d'échantillons équivalents issus d'une population cible. Pour mesurer l'erreur d'échantillonnage d'un résultat statistique donné (moyenne ou pourcentage par exemple), on utilise son erreur type. L'erreur type est égale à la racine carrée de la variance ; elle permet de calculer l'intervalle de confiance à l'intérieur duquel on s'attend à trouver la valeur vraie du paramètre étudié pour l'ensemble de la population.

Pondération d'échantillonnage : méthode permettant de corriger les biais dus à d'inégales probabilités de sélection des éléments d'échantillon. Elle consiste ordinairement à affecter à chaque élément un coefficient de pondération qui est inversement proportionnel à la probabilité qu'a eu l'élément d'être inclus dans l'échantillon.

S A S (Système d'analyse statistique) : logiciel utilisé pour la gestion et l'analyse de fichiers de données en sciences humaines.

30

Page 29: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Glossaire

S P S S {Statistical Package for the Social Sciences) : série de progiciels destinés à réaliser différents types d'analyses statistiques.

W I N D E M : système logiciel conçu pour obtenir une meilleure précision lors de la transformation des données collectées au m o y e n de questionnaires et de tests en des informations lisibles par des ordinateurs.

Corrélation zéro : absence de relation entre deux variables.

31

Page 30: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Introduction

Dans le présent ouvrage, l'auteur se fixe c o m m e objectif d'expliquer ce que désigne le « pilotage des résultats scolaires », d'exposer les différentes définitions qui sont données de ces acquis dans les études nationales et internationales, de répondre aux questions les plus fréquentes que suscitent ces études, d'exposer les critères qui permettent d' évaluer leur qualité et, enfin, de décrire quelques-unes des questions soulevées dans le cadre de la planification de l'éducation.

L'ouvrage porte sur les types d'études conçues pour effectuer un pilotage des résultats des élèves. Il ne traite pas des examens ordinaires, ni d'autres types d'évaluation constituant des enjeux importants dans la carrière scolaire des élèves - ce thème a déjà été abordé dans un précédent ouvrage de la collection (Kellaghan et Greaney, 2001). Cette monographie n'est pas non plus un manuel sur la manière de réaliser de telles études : plusieurs volumes seraient nécessaires.

Les exemples utilisés sont tirés d'une enquête effectuée au Viet N a m sur la cinquième année de scolarité (ministère de l'Éducation et de la Formation, sous presse), ainsi que d'autres études menées par l'Association internationale pour l'évaluation du rendement scolaire (IEA), le Programme international pour le suivi des acquis des élèves (PISA) et le Consortium de l'Afrique australe et orientale pour le pilotage de la qualité de l'éducation ( S A C M E Q ) . Il s'agit en effet d'études bien documentées auxquelles l'auteur avait facilement accès. Les archives du S A C M E Q (Ross, Saito, Dolata et Ikeda, 2004) constituent une autre source de données à laquelle l'auteur a fait appel pour les calculs relatifs à certains résultats. Les études internationales sont, pour bon nombre de systèmes éducatifs, le seul outil d'analyse des résultats des élèves à l'échelon national ; c'est la raison pour laquelle elles occupent une place importante dans l'ouvrage. C o m m e on l'a indiqué dans le Préambule, d'autres études existent également.

33

Page 31: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Introduction

D e nombreux systèmes éducatifs sont dotés d 'un système d'information pour la gestion de l'éducation (EMIS) , que ce soit au plan national ou au plan régional. Ils recensent à intervalles réguliers - en général une fois par an - le nombre d'élèves inscrits dans chaque année de scolarité et dans chaque école et recueillent, sur chaque élève, divers renseignements complémentaires. Ils collectent également des informations sur les enseignants de chaque année de scolarité, ainsi que sur les chefs d'établissement. Ils rassemblent toutes ces données pour chaque école, puis les analysent afin d'établir des comparaisons entre régions, entre localités et m ê m e entre écoles au sein de ces entités. Ils utilisent ces résultats pour permettre la conception de nouveaux moyens d'améliorer leur système. Certains systèmes scolaires réalisent également des audits dans les écoles sur les ressources qui leur sont affectées et, plus généralement, sur les ressources dont elles disposent. L'analyse de ces données permet, là encore, d'identifier les éventuels manques des écoles ou les inégalités entre régions et de définir les mesures à prendre pour y remédier.

E M I S et audits d'école font partie des mécanismes de pilotage utilisés dans le secteur de l'éducation. Le pilotage consiste à observer l'évolution de la situation dans le temps et à repérer les changements qui interviennent au sein d'un système, que ce soit sur le plan des ressources affectées aux écoles ou des acquis des élèves. Il y a naturellement toujours une première fois et cela fait aussi partie du mécanisme de pilotage.

Bref rappel historique

Lorsque, en 1867, le Président des États-Unis de l'époque a n o m m é le premier Secrétaire d'État à l'éducation, on a annoncé qu'un rapport sur la situation de l'éducation et son évolution serait établi chaque année (De Landsheere, 1994, p. 8). Il s'agissait d'habitude de rapports présentant un certain nombre d'indicateurs, c o m m e les effectifs scolaires, l'âge des élèves, etc. À la fin du X X e siècle, entre 60 et 70 indicateurs de l'éducation étaient répertoriés dans ces rapports. C'est surtout aux États-Unis que des tests ont été mis au point. Plusieurs États ont instauré des tests obligatoires dans certaines matières fondamentales pour tous les élèves. Des organismes ont

34

Page 32: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Introduction

été créés pour organiser ces tests, parmi lesquels le plus connu est le Educational Testing Service (ETS) situé à Princeton, dans le N e w Jersey. Toutefois, ce n'est qu 'à partir de 1969 qu'ont été instaurées, à intervalles réguliers, des enquêtes nationales par échantillonnage destinées à évaluer les résultats des élèves.

Les deux premières grandes enquêtes nationales par échantillonnage ont été réalisées en Ecosse (Scottish Council for Research in Education) en 1932 et en 1947, mais elles étaient fondées sur des tests d'intelligence. À noter aussi la célèbre étude longitudinale qui a débuté en 1948 et se poursuit encore actuellement en Angleterre et qui porte sur tous les enfants nés durant la première semaine de mars 1948 (Douglas, 1964), ainsi que l'étude suédoise qui concerne tous les enfants nés à M a l m ö en 1946 (Fägerlind, 1975). E n Angleterre, plusieurs tentatives d'enquêtes à petite échelle ont été faites pour collecter des données en vue de rapports d'analyse particuliers. Pidgeon (1958) a mené une petite étude comparative entre l'Angleterre et le Queensland en Australie, mais les échantillons d'écoles et d'élèves prélevés dans les populations cibles n'étaient pas totalement aléatoires. Les enquêtes internationales sur les résultats des élèves sont donc les premières grandes études de suivi des acquis scolaires réalisées simultanément dans plusieurs pays.

Vers le milieu des années 1950, un petit groupe d'éducateurs prit l'habitude de se réunir à l'Institut de ¿'UNESCO pour l'Éducation de H a m b o u r g , en Allemagne. L'instigateur de ces rencontres était Bill Wall, directeur de la National Foundation for Educational Research in England and Wales ( N F E R ) , et ancien directeur du Secrétariat de l ' U N E S C O à Paris. Ces éducateurs, originaires d'Europe et des États-Unis pour la plupart, estimaient essentiel de disposer d'informations sur les acquis réels des élèves à certains stades de la scolarité. Jusqu'alors, de nombreux économistes avaient utilisé la proportion d'élèves d'une tranche d'âge donnée qui étaient parvenus en douzième année d'études pour donner une mesure approchée de la qualité de l'éducation. Mais ce critère était à l'évidence de médiocre qualité. Le groupe d'éducateurs de Hambourg a donc décidé de se lancer dans une tentative d'évaluation des performances cognitives. Ils ont m e n é une étude pilote dans 12 pays

35

Page 33: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Introduction

et en ont publié les résultats (Foshay, 1962). Cela a donné naissance à une première, puis à de nombreuses autres études de l'IEA au cours des quarante et quelques années qui ont suivi. Il s'agissait cette fois d'études internationales sur le rendement des élèves, et de nombreux pays ont demandé à y participer, non seulement pour disposer d'un outil d'évaluation nationale, mais aussi pour se situer par rapport aux autres pays.

C'est également au début des années 1960 qu'ont été lancées les recherches du rapport Plow den (Peaker, 1971) et que Coleman a entrepris sa célèbre étude sur l'égalité des chances scolaires, intitulée « Equality of educational opportunity » (Coleman et al. 1966). Le programme américain d'évaluation des progrès dans l'éducation, National Assessment of Educational Progress ( N A E P ) , parfois appelé « bulletin scolaire du pays », a été créé en 1969 pour obtenir des données fiables sur la situation et l'évolution des performances scolaires en mettant en oeuvre des procédés scientifiques standardisés (Tyler, 1985). Néanmoins, c o m m e on vient de l'indiquer, de nombreux pays ont rejoint les enquêtes internationales et ce, aussi bien pour disposer d'une évaluation nationale des résultats d'apprentissage que pour se situer par rapport à d'autres pays comparables au leur.

Qu'il s'agisse de lancer une enquête nationale ou de s'associer à une enquête internationale, les conditions requises sont globalement les m ê m e s . Elles sont toutefois un peu plus nombreuses dans le cas d'une enquête internationale, ainsi qu 'on le verra dans la suite de l'ouvrage.

Cet ouvrage comporte six chapitres. Le premier expose les raisons qui peuvent inciter un ministère de l'Éducation à entreprendre une étude sur les résultats des élèves. Le deuxième analyse le cas de deux pays en développement qui ont réalisé une telle enquête, le Viet N a m et le Kenya, en insistant sur la méthodologie utilisée et quelques résultats importants. Le troisième porte sur divers aspects spécifiques des études internationales, telles que celles conduites par l'IEA, le PISA et le S A C M E Q . Le quatrième porte sur les questions les plus fréquemment posées sur ce type d'études et propose des réponses. Le cinquième décrit un certain nombre de règles minima à

36

Page 34: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Introduction

respecter pour réaliser ce type d'études. Enfin, le dernier chapitre tire une brève conclusion et suggère quelques pistes de réflexion pour les planificateurs de l'éducation.

37

Page 35: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

I. Évaluation nationale ou évaluation internationale : pour quelles raisons ?

Les principales raisons

Plusieurs raisons peuvent expliquer la décision d 'un ministère de l'Éducation d'entreprendre une évaluation des résultats des élèves. Les deux raisons principales sont :

1. d'identifier les forces et les faiblesses de son système éducatif à un m o m e n t donné ;

2 . de suivre la façon dont ce système évolue avec le temps.

Si c'est la première fois qu'une évaluation est faite, il s'agira simplement de déterminer le niveau de performances des élèves. Si la principale raison est d'identifier les forces et les faiblesses du système éducatif à un m o m e n t donné, le ministère s'intéressera plus particulièrement aux performances mesurées dans chacune des provinces (régions ou localités) de son pays. O n trouvera ci-dessous quelques exemples de questions qui peuvent intéresser un ministère dans ce cas. Si la première série de questions concerne toujours les performances scolaires, l'étude permet aussi de recueillir parallèlement des informations sur d'autres aspects de l'éducation qui n'ont pas directement de lien avec les résultats scolaires. Là encore, quelques exemples de questions sont proposés.

a) Quelle est, dans chaque province, la proportion d'enfants qui obtiennent des résultats suffisants pour pouvoir passer dans la classe supérieure ?

b) Quelle est la proportion d'enfants qui atteignent le niveau de compétences considéré c o m m e souhaitable pour pouvoir mener une vie autonome dans la société ?

c) Quels sont les points faibles relevés en termes de performances scolaires ?

39

Page 36: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

d) Quelles sont les erreurs les plus fréquentes que les élèves font en répondant aux questions du test ?

e) Existe-t-il des écarts de résultats scolaires entre garçons et filles ? f) Existe-t-il des écarts de résultats scolaires d ' une catégorie socio-

é c o n o m i q u e à l'autre ? g) Quels sont les principaux facteurs qui sont liés à des écarts de

résultats scolaires d ' u n élève à l'autre et d ' u n e école à l'autre ?

D'autres questions, qui n 'ont pas directement de lien avec les résultats scolaires, peuvent également être posées. E n voici quelques exemples :

a) L a proportion de garçons et de filles parmi les élèves dans chaque province est-elle acceptable ?

b) L a distribution des élèves par âge dans chaque province est-elle acceptable ?

c) S o u s quelle forme et à quel rythme l'élève reçoit-il u n éventuel soutien scolaire de la part de sa famille ?

d) Quelle est la distribution des enseignants par type de formation d'une province à l'autre ?

e) Toutes les écoles de toutes les provinces ont-elles reçu la visite d'inspecteurs scolaires en accord avec le calendrier officiel ?

f) L e pourcentage d'enseignants qui fréquentent les centres de ressources éducatives est-il le m ê m e dans chaque province ?

g) Toutes les salles de classe de chaque province disposent-elles de la quantité requise de fournitures et d 'équipements ?

h) T o u s les enfants de chaque province disposent-ils d u n o m b r e requis de manuels et de matériels scolaires ?

Si la principale raison est de suivre l'évolution d u système en fonction d u temps, le ministère prêtera plus particulièrement attention aux performances scolaires :

a) L e niveau scolaire des élèves s'est-il amélioré, dégradé ou est-il resté constant ?

b) L'écart des résultats (d'un élève à l'autre et d'une école à l'autre) a-t-il diminué ?

40

Page 37: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Évaluation nationale ou évaluation internationale : pour quelles raisons ?

Parallèlement, il est important d'évaluer les variations des autres facteurs d'apprentissage qui sont susceptibles d'être liés à des variations de performances scolaires. Les questions peuvent alors être formulées c o m m e suit :

a) La composition des effectifs scolaires a-t-elle varié ? La proportion d'une certaine tranche d'âge scolarisée a-t-elle augmenté ou diminué ?

b) Les ressources disponibles dans les écoles ont-elles augmenté ? c) Les ressources disponibles dans les classes ont-elles augmenté ? d) Le taux de redoublement a-t-il diminué ? e) Les conditions familiales se sont-elles améliorées ? f) L e corps enseignant est-il m i e u x formé ? g) Les écoles sont-elles plus souvent inspectées qu'elles ne l'étaient

auparavant ?

Il incombe à chaque ministère de définir sa propre problématique, c'est-à-dire les questions qu'il se pose et les réponses qu'il recherche. Dans le cas d'une étude internationale, il incombe à chaque ministère de s'assurer qu'elle peut apporter des réponses à ses questions. À cet égard, il est à noter que chaque ministère a toujours la possibilité d'ajouter des questions supplémentaires de portée nationale (désignées sous le n o m d '« options nationales » dans une étude internationale). Le choix du type d'évaluation - nationale ou internationale - appartient à chaque ministère. La décision dépend dans une large mesure du savoir-faire dont dispose le pays concerné ou du concours technique extérieur auquel il peut faire appel. Il est en général préférable de participer à une étude internationale, qui permet d'obtenir plus facilement de l'aide en termes de savoir-faire. Mais l'inconvénient est que les résultats de chaque pays sont diffusés dans le m o n d e entier. O r certains ministères ne sont pas favorables à une telle publicité. Il serait incorrect vis-à-vis des autres pays de retirer ses données (ne serait-ce qu'en partie) avant la fin du projet. À titre d'exemple, les scores et les échelles sont établis à partir des items de tous les élèves et de tous les pays. Si un pays décide ensuite de retirer ses données, il faut recalculer l'ensemble des scores et des échelles. Cela représente un travail énorme, long et coûteux. Il est donc essentiel que les

41

Page 38: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

ministères évaluent avec attention le coût politique de l'opération avant d'entreprendre une étude.

Les premières questions qu 'un ministère doit se poser

Qu'il s'agisse d'une enquête ponctuelle ou d'une enquête répétée, il appartient au ministère de définir :

i) les niveaux de scolarité sur lesquels portera l'évaluation ; ii) les matières sur lesquelles portera l'évaluation ; iii) les autres variables qu'il souhaiterait recueillir à cette occasion.

Quels niveaux de scolarité ?

Le plus souvent, l'évaluation porte sur la dernière ou l'avant-dernière année du cycle primaire. Cela correspond en général à la cinquième ou sixième année d'études. Certains pays choisissent de préférence la dernière année de primaire, mais, lorsqu'il existe déjà un examen en fin de cycle primaire et que la conjonction des deux soulève des difficultés, l'évaluation a lieu durant l'avant-demière année de primaire. U n e évaluation peut aussi être organisée durant les premières années de primaire, par exemple en deuxième ou en troisième année d'école. La collecte des données est toujours un poste budgétaire important dans une évaluation. L e coût varie selon qu'il s'agit d 'un test collectif ou individuel. U n test collectif est, c o m m e son n o m l'indique, administré simultanément et collectivement à plusieurs élèves. E n première et deuxième années, parfois m ê m e en troisième année de scolarité, les élèves sont trop jeunes et n'ont pas suffisamment l'habitude des évaluations pour être capables d'effectuer un test collectif. Seul un test individuel est envisageable. Mais c'est une solution qui peut s'avérer très coûteuse, puisqu'elle nécessite de disposer d'un personnel beaucoup plus nombreux pour recueillir les données et de lui dispenser une formation spéciale. Avant de lancer une évaluation portant sur les premières années de cycle primaire, un ministère doit donc prendre en compte la complexité et le coût d'une telle opération.

42

Page 39: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Évaluation nationale ou évaluation internationale : pour quelles raisons ?

Il arrive aussi qu'un ministère s'intéresse aux premières années de cycle secondaire, en général la septième, huitième ou neuvième année d'études. À une époque, c'est m ê m e sur la dernière année d'études secondaires que s'est concentré l'intérêt des évaluateurs. Mais ce n'est plus guère le cas aujourd'hui dans les études internationales ; il est en effet très difficile de comparer des systèmes où un fort pourcentage d'élèves poursuit sa scolarité jusqu'en fin de cycle secondaire avec des systèmes où un faible pourcentage seulement d'une tranche d'âge y parvient.

Quoi qu'il en soit, chaque ministère doit décider du ou des niveaux de scolarité qu'il souhaite évaluer. Si le coût d'une évaluation est élevé lorsqu'un seul niveau de scolarité est concerné, il a toutes les chances d'être prohibitif si plusieurs niveaux sont envisagés.

D'aucuns font observer qu'il est injuste de comparer, dans les études internationales, des degrés d'étude où se trouvent des tranches d'âge très différentes d 'un système scolaire à un autre. O n a donc souvent privilégié une comparaison par tranche d'âge, ce qui permet de déterminer, pour chaque système scolaire, jusqu'à quel degré d'études sont parvenus les enfants nés durant une année donnée, puis d'étudier séparément, pour chaque degré de scolarité, le rapport existant entre les caractéristiques du contexte familial, de la classe et de l'école, d'une part, et les résultats scolaires, d'autre part (cette question est abordée plus en détail au chapitre V).

Quelles matières ?

Dans l'ensemble, les ministères de l'Éducation s'intéressent aux performances des élèves en lecture, en mathématiques et en sciences, y compris à l'issue du cycle primaire. Les études de l'IEA qui, dans les premiers temps, couvraient plusieurs matières (lecture, compréhension, littérature, sciences, français et anglais c o m m e langues étrangères et éducation civique) semblent désormais avoir adopté une structure cyclique où la lecture, les mathématiques et les sciences constituent les matières de base. L ' I E A réalise aussi occasionnellement des études sur l'éducation civique et la technologie dans l'éducation. Le S A C M E Q a c o m m e n c é par des tests de lecture, avant d 'y ajouter

43

Page 40: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultais des élèves

les mathématiques. Quant au programme PISA, il porte sur des tests de lecture, de mathématiques et de sciences.

Pour l'heure, o n ne saurait dire si les grandes études internationales seront étendues ou non à d'autres matières. Les ministères de l'Éducation des différents pays semblent acquis à l'idée que ces autres matières ne seront évaluées qu'à l'échelon national, dans leurs propres centres d 'examen.

Quelles autres variables faut-il mesurer ?

Les variables à mesurer dépendent de la nature des informations recherchées. Ainsi, si un ministère s'intéresse plus particulièrement aux écarts de résultats scolaires entre les autochtones et les immigrants, il convient d'intégrer une question afin de savoir de quel pays étranger les immigrants sont originaires et depuis combien de temps ils vivent dans le pays d'accueil. Si un ministère s'intéresse aux écarts de résultats scolaires des élèves selon le niveau de ressources dont disposent les écoles qu'ils fréquentent (pour déterminer s'il existe un seuil au-delà duquel un apport de ressources supplémentaires ne se traduit plus par de meilleures performances scolaires), il convient de prévoir une question pour le chef d'établissement : il sélectionnera, dans la liste des ressources indiquées, celles qui sont ou ne sont pas disponibles dans son école. Si un ministère s'intéresse au degré de satisfaction des enseignants, il convient d'intégrer une ou plusieurs questions pour mesurer cet indice de satisfaction, et ainsi de suite. Chaque ministère peut choisir les variables qu'il souhaite ajouter dans une enquête nationale ou internationale. Il est parfois difficile, dit-on, d'obtenir un consensus entre les ministères sur ces « autres variables ». Mais, de l'avis de l'auteur, l'expérience montre que tous les ministères s'intéressent au niveau de performance des élèves et à sa variance, ainsi qu'au rapport de ces deux indicateurs avec d'autres variables. Dans certain cas, il peut être intéressant de connaître le rapport entre une variable et les résultats des élèves lorsqu'une ou plusieurs autres variables sont tenues sous contrôle. U n cas de figure est le rapport entre rendement et groupement des élèves par niveaux d'aptitudes lorsque l'on tient sous contrôle le statut socio-économique des élèves (SSE). E n pareil cas, il faut inclure aussi une variable mesurant le

44

Page 41: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Évaluation nationale ou évaluation internationale : pour quelles raisons ?

S S E . M ê m e dans les études internationales, une rubrique réservée aux options nationales est prévue : chaque ministère peut ajouter des questions de portée nationale dans les instruments d'évaluation internationale (en général après la partie internationale du questionnaire). Ces autres variables sont définies à partir de la liste de thèmes de recherche qui ont été retenus pour l'étude. C e sont les ministères qui doivent dresser ces listes et, s'il s'agit d'une étude internationale, chacun doit s'efforcer de faire adopter ses propositions dans le questionnaire général c o m m u n à tous les pays. Si cela ne peut se faire, ils doivent alors recourir aux options nationales. Tous les instruments doivent être soumis à un test pilote afin de s'assurer qu'ils ne comportent pas d'erreur et que les procédures de collecte des données sont correctement appliquées. U n délai suffisant est à prévoir entre la phase d'expérimentation (test pilote) et la phase principale de collecte des données. Habituellement, ministères et chercheurs élaborent ensemble le calendrier.

Le personnel du ministère a également pour tâche de conseiller les personnes chargées de l'étude sur les sources d'informations les plus pertinentes : parents, élèves, enseignants, chefs d'établissement, inspecteurs et autres intervenants, ou une combinaison des uns et des autres.

La seconde série de questions qu 'un ministère doit se

poser

Après avoir défini les niveaux de scolarité et les matières sur lesquelles portera l'évaluation, ainsi que sa liste de thèmes de recherche, le ministère doit concentrer ses efforts sur la mise en œuvre correcte de l'étude dans le pays. Il doit ainsi veiller à disposer de personnes compétentes en matière d'élaboration de tests et de questionnaires, non seulement à l'échelon national, mais aussi dans le cadre de la coopération avec les autres concepteurs participant à une étude internationale. Si une enquête d'attitudes est prévue, des personnes qualifiées dans ce domaine sont indispensables.

E n second lieu, il faut s'assurer de la disponibilité d'experts en échantillonnage, de préférence des statisticiens spécialisés en

45

Page 42: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

échantillonnage. L a mise au point d 'un échantillon est une activité extrêmement complexe, pour laquelle il serait dangereux de faire appel à des personnes à demi compétentes. À défaut de posséder des spécialistes de cette technique, un ministère devra recourir aux services d'experts étrangers. C'est là un autre avantage de participer à une enquête internationale : la garantie du respect des procédures d'échantillonnage aléatoire et la possibilité pour les chercheurs nationaux de bénéficier de l'expérience d'experts internationaux. Les trois grandes études internationales - I E A , P ISA et S A C M E Q - font appel à des spécialistes de haut niveau, riches d'une longue pratique des techniques d'échantillonnage aléatoire dans de nombreux systèmes scolaires différents. Il revient à chaque ministère de définir l'échelon de diffusion des résultats (local, régional ou uniquement national) et d'en aviser le statisticien chargé de l'échantillonnage, ainsi que de lui indiquer le degré de précision des résultats requis pour chaque échelon retenu, dans la mesure où ces informations conditionnent la taille de l'échantillon à prélever.

E n troisième lieu, il faut faire appel à des personnes spécialisées dans la collecte des données. L a collecte est en général la tâche la mieux réalisée. Elle consiste à :

• imprimer les instruments et vérifier qu'ils ne comportent pas d'erreur ;

• attribuer un numéro d'identification personnel à chaque élève, enseignant et chef d'établissement et veiller à ce que ces numéros soient clairement indiqués sur les instruments (afin de pouvoir ensuite associer les élèves, les enseignants et les écoles) ;

• préparer les lots d'instruments pour chaque école ; • former les personnes chargées de recueillir les données et rédiger

les guides explicatifs relatifs à la collecte des données et à l'administration des tests ;

• organiser la visite des écoles et les déplacements des personnes chargées de collecter les données ; prévoir les formulaires de demande d'indemnités journalières si ces personnes doivent séjourner plus d'une journée dans une école ;

• prévoir des dispositifs destinés à éviter la fraude durant les épreuves qui se déroulent dans les écoles ;

46

Page 43: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Évaluation nationale ou évaluation internationale : pour quelles raisons ?

• vérifier que les instruments ont été intégralement remplis avant qu'ils ne quittent l'école, notamment que toutes les réponses aux questionnaires ont été remplies ;

• prévoir le retour et l'archivage des instruments relatifs à chaque école dans un lieu central.

E n quatrième lieu, une équipe compétente pour la saisie et le nettoyage des données, ainsi que pour le calcul des pondérations d'échantillonnage, est également nécessaire.

Enfin, il faut disposer de personnes formées à l'analyse des données, à leur interprétation et à la rédaction de rapports. Il n 'en existe pas toujours, ou pas suffisamment, dans les ministères. L'avantage de participer à une étude internationale est là encore d'offrir aux chercheurs nationaux la possibilité de bénéficier de l'expérience d'experts internationaux.

Avant de conclure sur les raisons pour lesquelles un pays décide d'entreprendre une étude sur le pilotage des résultats des élèves, il faut préciser qu'il reste de nombreux pays qui ne participent pas à de telles études : soit parce qu'ils ne disposent pas de personnes possédant les connaissances théoriques et pratiques suffisantes pour les réaliser, soit parce qu'ils en ignorent les avantages, soit - s'agissant d'études internationales -parce qu'ils redoutent la comparaison avec d'autres pays. C e sont là de réelles difficultés. Mais, dans l'ensemble, nombreux sont les pays qui prennent part à des évaluations internationales pour pouvoir appliquer des techniques de recherche fiables et obtenir des informations exactes dans la perspective d'améliorer leur système et l'efficacité de leurs investissements dans l'éducation.

47

Page 44: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

II. Aperçu rapide de deux études nationales

D e u x études menées dans des pays en développement ont été choisies pour illustrer le pilotage des résultats des élèves. L a première étude, réalisée au Viet N a m en 2001 , est une étude nationale. L a seconde, qui concerne le K e n y a , est une étude nationale, mais qui a été réalisée dans le cadre de l'étude internationale du S A C M E Q .

Etude réalisée au Viet Nam

Vers la fin de l'année 1999, le ministère de l'Éducation du Viet N a m a décidé d'évaluer les résultats des élèves en fin de primaire. L'objectif n'était pas d'évaluer exclusivement les performances scolaires, mais couvrait aussi d'autres domaines (voir annexe 1). Pour ce qui est des performances scolaires, les principales questions étaient les suivantes :

Quel est le niveau des élèves de cinquième année en lecture et en mathématiques, ainsi que dans les divers sous-domaines de ces deux matières ?

a) Quel est le niveau des enseignants de cinquième année en lecture et en mathématiques ?

b) Quels sont les pourcentages d'élèves ayant atteint les différents niveaux de compétences en lecture et en mathématiques ?

c) Quels sont les pourcentages d'élèves ayant atteint les différents niveaux de référence en lecture et en mathématiques ?

d) Quels sont les scores globaux par région et par province ? e) Quels sont les écarts de résultats : i) entre des élèves fréquentant

des écoles isolées, rurales ou urbaines ; ii) entre garçons et filles ; iii) entre des catégories socio-économiques différentes ?

f) Est-ce que les performances des élèves « les plus brillants » (les premiers 5 °/o) sont similaires d'une région à l'autre et d'une catégorie socio-économique à l'autre ? Dans quelle

49

Page 45: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

mesure les performances des élèves « les plus faibles » (les derniers 5 %) diffèrent-elles d'une région à l'autre et d'une catégorie socio-économique à l'autre ?

g) Quel rapport y a-t-il entre les performances des enseignants et les performances des élèves aux tests de lecture et de mathématiques ?

A u Viet N a m , la scolarité en primaire dure cinq ans. Le vice-ministre de l'Éducation a constitué une équipe de 36 personnes appartenant à son ministère et occupant des postes de responsabilité en relation avec l'enseignement primaire. Cette équipe a élaboré une liste de plus de 100 questions auxquelles l'étude devait s'efforcer de répondre. La lecture et les mathématiques ont été retenues c o m m e variables de résultats. À l'époque, 68 % seulement des enfants d'une cohorte d'âge parvenaient en cinquième année d'études, mais, c o m m e il s'agissait de la dernière année de primaire, le choix s'est porté sur ce niveau de scolarité plutôt que sur un niveau antérieur. Par ailleurs, plusieurs changements importants étaient en cours à cette période, notamment la mise en place d 'un nouveau programme scolaire en primaire. La question s'est donc posée de savoir à quel programme scolaire se référer pour élaborer les tests. L'équipe chargée de cette mission a choisi de s'appuyer sur les deux programmes, sachant qu'une nouvelle évaluation serait organisée cinq ans plus tard et que les écoles n'utiliseraient alors plus que le nouveau programme. Les principaux participants ont estimé que le test était équitable pour tous les enfants. Le nombre d'heures d'enseignement était variable : entre une journée entière et deux ou trois heures seulement d'école selon les endroits. Telle était la réalité. Les enseignants de primaire, formés pour la plupart dans l'institut régional de formation des maîtres, exerçaient ensuite leur métier dans la m ê m e province. Les provinces étaient au nombre de 61 ; on a donc décidé de tester aussi les enseignants sur les m ê m e s matières que leurs élèves.

L'étude a repris point par point les questions formulées par le ministère. L'élaboration des questions à intégrer dans les tests et les questionnaires, suivie de leur expérimentation dans cinq provinces et leur mise en forme définitive, a débuté en 2000. La phase principale de collecte des données s'est déroulée les 11 et 12 avril 2001. L'échantillon était constitué de 3 660 écoles soit, à raison de 20 élèves

50

Page 46: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

pris au hasard dans chaque école, un échantillon prévu de 73 200 élèves au total. Le ministère souhaitait avoir une estimation précise du niveau scolaire dans chaque province et dans les huit régions du pays. O n a donc pris 60 écoles dans chaque province, sur la base d'une probabilité de sélection proportionnelle aux effectifs d'élèves inscrits en cinquième année. Des pondérations ont été appliquées pour tenir compte des différences d'effectifs d'une province à l'autre. La collecte de données a été une gigantesque entreprise à laquelle plus de 4 000 personnes ont participé. Il a fallu désigner un responsable de la collecte dans chaque école, ainsi que quelque 4 0 0 agents supplémentaires pour remplacer les éventuels absents ou surveiller le bon déroulement de la collecte. Deux équipes ont été constituées pour réaliser la saisie des données et ont reçu une formation spéciale en la matière. U n e autre équipe l'a été pour le nettoyage des données et, enfin, une dernière équipe pour l'analyse des données. Vingt ordinateurs (PC) ont été mis à la disposition des personnes affectées à cette étude. L'équipe vietnamienne a pu obtenir l'aide de l'équipe responsable du pilotage de la qualité de l'éducation à l'Institut international de planification de l'éducation (IIPE) à Paris pour l'échantillonnage, le calcul des pondérations et des erreurs types d'échantillonnage, et le nettoyage des données.

Quelques résultats

Il existe plusieurs manières d'utiliser les résultats d 'un test pour analyser des performances. S'agissant de l'étude effectuée au Viet N a m , trois approches différentes ont été employées. La première a consisté à fixer des niveaux de compétences, la seconde à fixer des seuils fonctionnels - pour pouvoir passer dans la classe supérieure ou mener une vie autonome dans la société - et la troisième à utiliser des moyennes et des écarts-types pour représenter les performances scolaires. O n trouvera ci-dessous des exemples pour les trois approches.

Exemple de niveaux de compétences

La première approche a consisté à classer les degrés de difficulté des items et à identifier des grappes d'items de façon à établir une hiérarchie de compétences. E n décrivant les compétences requises dans chaque grappe, on a pu définir six niveaux de compétences

51

Page 47: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

dans chaque matière. Le tableau 2.1 reproduit les pourcentages d'élèves ayant atteint les différents niveaux de compétences, ainsi que l'erreur type d'échantillonnage correspondante. L'intérêt de cette approche vient du classement hiérarchique des niveaux, qui permet de connaître le nombre et les caractéristiques des élèves qui ont ou n'ont pas acquis telles ou telles compétences en lecture. O n constate qu'il y a davantage d'élèves qui ont de très grandes difficultés en lecture que d'élèves qui ont de très grandes difficultés en mathématiques. Les niveaux 1 et 2 correspondent en effet au stade préliminaire de la lecture, dit de pré-lecture, et le fait que 19 % des élèves n'en sont qu'à ce stade en cinquième année de scolarité est préoccupant. Les pourcentages d'élèves et les erreurs d'échantillonnage correspondantes par province et par région sont présentés à / 'annexe 2.

O n constate que la distribution des élèves situés au plus bas niveau de compétences est inégale : dans certaines provinces, le nombre de ces élèves est élevé, alors qu'il est faible dans d'autres. Ces données sont d'une grande utilité pour ceux qui cherchent à mettre en place des programmes d'intervention ciblés, notamment sur certains groupes d'élèves qui présentent des manques bien identifiés dans certains domaines de compétences. À titre d'exemple, plus de 10 % d'élèves se situent au niveau 1 (le plus bas) de compétences en lecture à C a o Bang, Tuyen Quang , H o a Binh, K o n T u m , Tra Vinh et Bac Lieu. Face à la prévalence de ces faibles compétences en lecture en fin de primaire, il est manifestement nécessaire de réagir avant que ces élèves n'aient l'âge de participer, en tant que citoyens autonomes, à la vie de leur communauté ou d'entamer des études secondaires dans l'espoir de devenir des apprenants autonomes. L'incidence de ces compétences médiocres en lecture est particulièrement marquée dans quatre régions : le Nord-Ouest, le Nord-Est, les régions montagneuses du centre et la région du delta du Mékong . Par ailleurs, dans certaines provinces, plus de 20 % des élèves se situent au niveau le plus élevé en lecture et plus de 35 % des élèves au niveau le plus élevé en mathématiques. Il s'agit des provinces de Hanoi, Hai Duong, H u n g Yen, Thai Binh, Bac Ninh, Quang Ninh, D a Nang et H o Chi Minh, c'est-à-dire de régions urbaines du Viet N a m fortement industrialisées.

52

Page 48: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

Tableau 2.1 Pourcentage d'élèves de cinquième année ayant atteint différents niveaux de compétences en lecture et en mathématiques, Viet N a m , 2001"

Niveaux de compétences en lecture % Erreur type

Niveau 1 Effectue des liaisons avec des mots 4,6 0,17 ou des phrases en s'aidant d'images. Restreint à un vocabulaire limité en lien avec des images.

Niveau 2 Situe un texte composé de phrases courtes 14,4 0,28 et répétitives et peut traiter un texte sans l'aide d'images. Type de texte limité à des phrases et propositions courtes et de structure répétitive.

Niveau 3 Lit et comprend des passages plus longs. 23,1 0,34 Peut parcourir le texte en aval et en amont pour y rechercher des informations. Comprend la paraphrase. U n vocabulaire élargi permet de comprendre des phrases dont la structure est relativement complexe.

Niveau 4 Relie des informations figurant en différents 20,2 0,27 endroitsd'un texte. Sélectionne et relie des passages pour en déduire ou inférer les différents sens possibles.

Niveau 5 Relie des inferences et comprend les intentions 24,5 0,39 de l'auteur à partir d'informations présentées sous différentes formes, dans différents types de texte et dans des documents où le message n'est pas explicite.

1. Dans le cas du Viet N a m , l'analyse des questions et des réponses données par les élèves et les enseignants a permis de définir six niveaux de compétences en lecture et en mathématiques. Le nombre de niveaux peut varier d'une étude à l'autre. O n trouvera dans les tableaux 2.3 et 3.7 de cet ouvrage un exemple de test sur huit niveaux réalisé par le S A C M E Q .

53

Page 49: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Tableau 2.1 (suite)

Niveau 6 Combine un texte avec des connaissances 13,1 0,41 extérieures à ce texte afin de tirer des inferences, et notamment pour comprendre un sens caché. Saisit les intentions de l'auteur (attitudes, valeurs, convictions, motifs, hypothèses non formulées et arguments).

Niveaux de compétences en mathématiques % Erreur type

Niveau 1 Lit, écrit et compare des nombres naturels, 0,2 0,02 des fractions et des nombres décimaux. Utilise les opérations simples d'addition, soustraction, multiplication et division de nombres entiers. Peut travailler en utilisant des mesures simples, c o m m e le temps. Reconnaît des formes simples en 3 D .

Niveau 2 Convertit des fractions avec un dénominateur 3,5 0,13 de 10 en nombres décimaux. Résout des problèmes simples (à une seule étape) nécessitant d'effectuer des calculs avec des nombres entiers en appliquant une seule opération (addition, soustraction, multiplication et division). Reconnaît des formes en 2 D et 3 D .

Niveau 3 Identifie la valeur de la position de la décimale. 11,5 0,27 Détermine la valeur d'une série simple de nombres. Comprend les fractions équivalentes ; additionne et soustrait des fractions simples. Effectue des opérations multiples dans le bon ordre. Convertit et estime des unités de mesure courantes et usuelles pour résoudre des problèmes.

Niveau 4 Lit, écrit et compare des nombres élevés ; résout 28,2 0,37 des problèmes de dates, d'argent, de superficies et de volumes. Utilise des graphiques et des tableaux pour faire des estimations. Résout des inégalités. Transformations avec des chiffres en 3 D . Connaît les angles de figures classiques. Comprend des transformations simples de formes en 2 D et 3 D .

54

Page 50: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

Tableau 2.1 (suite)

Niveaux de compétences en mathématiques % Erreur

type

Niveau 5 Effectue des calculs en utilisant des opérations 29,7 0,41 multiples et variées. Reconnaît des règles et des régularités dans des séries de nombres. Calcule le périmètre et la superficie de formes irrégulières. Mesure des objets irréguliers. Reconnaît l'image réfléchie d'une figure. Résout des problèmes avec des opérations multiples portant sur des unités de mesure, des pourcentages et des moyennes.

Niveau 6 Résout des problèmes portant sur des durées, 27,0 0,6 des longueurs, des superficies et des volumes. Utilise des structures de nombres imbriqués et dépendants. Développe des formules. Reconnaît des figures en 3 D après rotation et réflexion. Reconnaît des figures imbriquées et des angles droits dans des formes irrégulières. Interprète les données lues sur des graphiques et des tableaux.

Source : Ministère de l'Éducation et de la Formation, sous presse, tableau 2.1.

Exemple de niveaux fonctionnels

Outre des informations sur les groupes d'élèves qui atteignent ou n'atteignent pas certains niveaux de compétence, certains pays veulent aussi savoir dans quelle mesure les élèves sont à m ê m e d'affronter les exigences de la vie à l'école ou dans la société. La deuxième approche adoptée dans l'étude du Viet N a m répond à cette demande. Les équipes en charge de la lecture et des mathématiques ont classé les items du test en trois catégories : les items pré­fonctionnels (se situant en dessous du niveau minimal permettant une participation active à la société vietnamienne), les items considérés c o m m e fonctionnels et les items qui se situent à un niveau permettant aux élèves d'être autonomes dans leur apprentissage en sixième année. Les résultats sont indiqués au tableau 2.2.

55

Page 51: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Tableau 2.2 Pourcentages et erreurs types relatifs à la proportion d'élèves de cinquième année atteignant différents niveaux fonctionnels de lecture et de mathématiques, Viet N a m , 2001

Fonctionnalité

Autonome

Fonctionnel

A atteint un niveau de compétences en lecture et en mathématiques permettant un apprentissage autonome en sixième année

A atteint un niveau de compétences permettant une participation effective à la vie de la société vietnamienne.

Lecture

%

51,3

38,0

Erreur type

0,58

0,45

Ma th

% Erreur type

79,9 0,41

17,3 0,36

Pré-fonctionnel N ' a pas atteint le niveau de 10,7 03 2,8 0,13 compétences considéré c o m m e m i n i m u m pour permettre une participation effective à la vie de la société vietnamienne.

Source : Ministère de l'Éducation et de la Formation, sous presse, tableau 2.6.

Ces résultats ont été établis pour chaque province. O n pourrait également les classer par zone d'implantation urbaine/rurale, par catégorie socio-économique, etc. ha figure 2.1 donne un exemple de niveaux fonctionnels en lecture et en mathématiques relatifs à des élèves vivant dans des régions isolées, en zone rurale ou en zone urbaine.

Exemple de scores générés à partir de l'ensemble des items

U n e troisième approche applicable pour traiter des items consiste à générer un score à partir de tous les items du test. O n calcule la moyenne et l'écart type de ces scores et on donne en général à la moyenne une valeur égale à 500 et à l'écart type une valeur égale à 100. Cette approche a été appliquée dans l'étude sur le Viet N a m .

56

Page 52: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

Ces scores permettent d'effectuer des comparaisons entre des groupes ou de rechercher des corrélations. Les scores obtenus par les filles et les garçons dans différentes régions du Viet N a m et sur l'ensemble du pays sont présentés à la figure 2.2. Les scores sont portés en ordonnée, les provinces en abscisse. O n constate qu'au Viet N a m , les filles ont de meilleurs résultats que les garçons, que ce soit sur l'ensemble du pays ou par région.

Figure 2.1 Rapport entre la zone d'implantation de l'école et le niveau fonctionnel de compétences au Viet N a m , 2001

100,0

D Pré-fonctionnel • Fonctionnel D Autonome

Isolée Rurale Urbaine Isolée Rurale Urbaine Lecture Mathématiques

Matière et région d'implantation

Source : Ministère de l'Education et de la Formation, sous presse, figure 2 .4 .

Cette approche permet aussi d'analyser le rapport entre les scores des enseignants et les scores des élèves. C o m m e on l'a évoqué, le fait que des enseignants soient formés dans leur province d'origine et enseignent par la suite dans les écoles de cette m ê m e province peut être source de difficulté. E n effet, il n 'y a aucun moyen de garantir l'uniformité des normes d'apprentissage appliquées sur l'ensemble du territoire vietnamien dans les différentes matières.

57

Page 53: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Figure 2.2 Moyennes obtenues en lecture par les filles et les garçons, par région au Viet N a m , 2001

560

540

520

500

460

440

420 Delta Nord-est Nord-ouest Centre- Centre- Centre- Sud-est Delta Viet N a m

Tonkin région région région Mékong

nord c o l e montagne

Source : Ministère de l'Éducation et de la Formation, sous presse, figure 2.10

Figure 2.3 Relation entre les moyennes obtenues en lecture par les enseignants et les élèves, par province au Viet N a m , 2001

S 580 r

¡560

540

IE Z. 460 I

I:

i^\f** *

• ***

^**^ *

400 420 560 580 440 460 480 500 520 540

Moyenne des élèves par province

Source : Ministère de l'Education et de la Formation, sous presse, figure 2.13.

600

58

Page 54: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

Figure 2.4 Relation entre les moyennes obtenues en mathématiques par les enseignants et les élèves, par province au Viet N a m , 2001

g 390 e >, g 340 J 1 ^ 1 1 1 1 1 1 1

400 420 440 460 480 500 520 540 560 580 600

Moyenne des élèves par province

Source : Ministère de l'Education et de la Formation, sous presse, figure 2.14.

Le rapport entre les performances moyennes des enseignants par province et celles des élèves par province est également illustré dans les figures 2.3 et 2.4. C'est dans la province de Lang Son que les résultats sont particulièrement médiocres, chez les élèves c o m m e chez les enseignants : les enseignants ont un faible niveau de compétences en mathématiques et en lecture et c'est également le cas des élèves. Les corrélations entre les scores moyens par province des élèves et les scores des enseignants sont égales à 0,82 en lecture et à 0,78 en mathématiques. Les élèves dont les enseignants sont peu compétents en mathématiques et en lecture ont un sérieux handicap qu'il convient de surmonter. Les écarts importants qui existent d'une province à l'autre entre les compétences des enseignants dans leur matière sont très probablement imputables au fait que ces enseignants ont été formés dans une école normale de province. À défaut d'examen national d'habilitation à enseigner dans les différentes matières (comme c'était le cas auparavant), chaque province a élaboré

59

Page 55: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

ses propres normes. L'impact d 'un tel système sur les écarts de résultats des élèves d'une province à l'autre est démontré et les pouvoirs publics devraient sans doute réfléchir aux moyens de remédier à ce problème. Il apparaît également nécessaire de revoir les normes de compétences en lecture et en mathématiques requises des enseignants, notamment dans les provinces ayant enregistré des résultats médiocres.

U n e partie seulement des résultats de l'étude sur le Viet N a m (ministère de l'Éducation et de la Formation, sous presse) est présentée ici à titre d'exemple. Mais elle permet néanmoins de se faire une idée de la tâche qui a été accomplie et de percevoir l'intérêt que représentent ces données tant pour les autorités nationales que pour certaines autorités locales.

C e compte rendu contient d'autres analyses sur les intrants scolaires et les modes de fonctionnement des écoles. Les variations « entre écoles », non seulement en termes de performances scolaires, mais aussi en termes de ressources matérielles et humaines, ont également été répertoriées. Enfin, un modèle linéaire hiérarchique a été conçu et calculé pour décrire l'effet de plusieurs variables sur les résultats scolaires.

Cette enquête est la première jamais réalisée par le ministère de l'Éducation au Viet N a m . Elle a été financée par un emprunt souscrit auprès de la Banque mondiale. Les équipes locales - principalement issues du National Institute for Educational Sciences (NIES), qui n'existe plus aujourd'hui - ont bénéficié du concours d'une petite équipe de spécialistes étrangers qui a contribué à la conception du test et à la réalisation de l'échantillonnage, ainsi qu'aux phases de saisie, de nettoyage et d'analyse des données. Malheureusement, pour des raisons que l'on ignore, ces équipes qui avaient acquis un bon niveau de compétences se sont dispersées à la fin de l'opération. Constituer et former de bonnes équipes de chercheurs prend du temps. U n e fois que leurs membres se sont dispersés, il est très difficile de les recréer ou de les reconstituer. D ' o ù la nécessité de les maintenir.

60

Page 56: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

Étude réalisée au Kenya

Quatorze pays ont participé à l'étude S A C M E Q II (voir annexe 3), parmi lesquels le Kenya . O n trouvera au chapitre III des informations plus détaillées sur le S A C M E Q . Mais, pour les besoins de ce chapitre, on se contentera d'indiquer que les instruments d'évaluation ont été mis au point collectivement et que les pays participants ont reçu l'aide de l'équipe chargée du pilotage de la qualité de l'éducation de l'IIPE pour la phase d'échantillonnage, ainsi que pour les phases de saisie, de nettoyage et d'analyse des données.

Chaque pays a communiqué sa liste de propositions de questions et, très rapidement, un consensus a été atteint sur les thèmes de recherche à inclure dans l'étude. O n en trouvera la liste à / 'annexe 4. À partir de cette liste, une série de maquettes (c'est à dire de « tableaux à compléter ») ont été produites pour guider l'ensemble des analyses. À la première réunion de tous les coordonnateurs de la recherche nationale ( N R C ) , deux groupes d'étude ont été créés pour travailler en parallèle, l'un sur le test et l'autre, sur le questionnaire. L e premier groupe, chargé de la conception du test, a mené une analyse exhaustive des programmes scolaires officiels, des référentiels mis au point par les écoles, des manuels et des examens pratiqués dans les pays participant au S A C M E Q . Cette analyse a servi de base à l'élaboration des plans d'évaluation utilisés par les concepteurs du test pour développer une vaste batterie d'items de lecture et de mathématiques à l'intention des élèves et des enseignants. Quant au second groupe, en charge du questionnaire, il s'est employé à dériver, à partir des maquettes « vides » mentionnées ci-dessus, le contenu des questionnaires à remplir par les élèves, les enseignants et les chefs d'établissement.

À l'issue de cette réunion, des versions provisoires des divers instruments de collecte de données ont été produites : tests de lecture et de mathématiques destinés aux élèves, questionnaire de l'élève, tests de lecture et de mathématiques destinés aux enseignants, questionnaire de l'enseignant et questionnaire du chef d'établissement. U n premier jet des guides explicatifs à l'usage des N R C et des collecteurs de données a par ailleurs été rédigé. Les items de test ont été

61

Page 57: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultais des élèves

expérimentés dans tous les pays, sur des échantillons au jugé d'écoles et d'élèves en cinquième année de scolarité, puis soumis à des analyses d'items (analyses classiques et analyses utilisant le modèle de Rasch). Enfin, une version finale des tests a été produite.

La population cible définie pour le projet S A C M E Q II incluait « Tous les élèves scolarisés en sixième année en 2000 (la première semaine du huitième mois de l'année scolaire) dans des écoles primaires ordinaires et reconnues par les autorités du pays. » Chaque N R C a créé une base d'échantillonnage et l'équipe chargée du pilotage de la qualité de l'éducation à Paris a dispensé à tous les N R C une formation sur l'utilisation du programme d'échantillonnage S A M D E M . Le Kenya y a participé. Ont été exclues de l'échantillon, pour le Kenya, les écoles comptant moins de 15 élèves en sixième année, ainsi que les écoles d'enseignement spécial, soit 3,7 % du nombre total d'élèves dans ce pays. L'échantillon prévu comportait 185 écoles et 3 700 élèves et l'échantillon effectivement obtenu 185 écoles et 3 299 élèves (soit un taux global de réponses égal à 89 % ) . L'écart entre le nombre d'élèves prévu et le nombre effectivement obtenu provient du fait que, dans quelques régions isolées, certains des enfants sélectionnés au sein des écoles n'étaient en fait pas scolarisés. Le Kenya ayant déjà utilisé les instruments de l'étude S A C M E Q I en 1998, il a été possible d'analyser l'évolution des résultats scolaires dans le temps. A u Kenya, la corrélation intra-classe (part de variance des résultats en lecture et en mathématiques se situant entre écoles par rapport à la variance totale entre élèves) est relativement forte (0,45 pour la lecture et 0,38 pour les mathématiques). Il a donc fallu inclure un nombre suffisamment élevé d'écoles dans l'échantillon pour pouvoir couvrir l'ensemble de la variation entre écoles. Quelque 200 personnes ont été affectées à la collecte des données avant de procéder à la phase de saisie, de nettoyage et d'analyse des données. L'évolution des scores au cours du temps est évoquée dans le chapitre suivant. Le présent chapitre expose les principaux résultats de l'étude réalisée en 2000.

Exemple de niveaux de compétences

Le tableau 2.3 montre tout d'abord les pourcentages d'élèves atteignant différents niveaux de compétences, par province. Huit

62

Page 58: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu

rapid

e de d

eux

études

natio

nales

E

'QJ

X

• PN

<u

TS

V

i

Ol

>

•V

M eny

-¿

s et ^ O

l u

e

r*

o

b

ifs

-*-* «

01

b.

V

eu

«

c

n

o

^ B

c. éch

•o

E

B

Ol

-OJ

a

F

o

u

ai •a

* s M

ai AIU eren

eu

v¡ ai

es ent u L. S

o a. fn

»s 3 C« ai

-Q

M

H

5 «3 B

.SP

O

) att

o>

*<u o

S o

S O

« «

s

s; 3

C

<o

^ £

•5.

§

-a

,(-j i ux de a

^ .6

S

a c

•ë

1

i & 1

a

s

-s

--ü

•*

? ! <Sj ourc

a.

oo

(

«5

<T

ï

•*

r<>

ri

w t

W

à?

'*""' ti ta

ti w

"*-• fc

Ü

J

à?

*-¿ u

o

^

•"

fc

*-H

m

<U

ç

> o

£

r-* fi

<N

\0_

*fr

»ri —

i

d

*fr *fr"

OO

r-CN

o

_. (N

Tf

OO

(N

00

o fi

n

m

NO

ON

'

o

n

°\ «rî"

•r

vi

fi'

NO

~ o

(N

o 0>

c

u

•*

r—

*~' f

irT

oo

(N

1-

f>

o'

(N

«n

ON

m

r-—

es

00

0

0

n

vi

ON

"

ON

T i

oo' —

O

0

0

(N

P^

oo'

in

ri

<N

ON

TT

-'

r O

N

O

m

""

O

<J

00

00

~" (S

N

O"

in

r-m

°V

©"

(N

00

o

fi

ON

f) (N

fi

TT

ri

O^

es

r

f)

fi

O^

NO

"

,__ ri

vO

NO

"

NO

m

fi

o

•*

*

o w

W

<N

O

>

vo

oo'

ON

f>

fi

ri m

«n

00

Cs)

^O

—.

n

ON

•o

CN

»4

^

Cl

^ t

r~-ON

(N

f

r-o

rn

00

V

)

O

00

o

'M

g cd

2

ON

O

N

^ r

«¡t

-n

o

rn

^O

.-T

i—"

oo

(N

(N

«r »n

o

ri rí

m

ON

"

ON

O

m

r-o'

CN

_ N

D

(N

t~~

"Ti

00

O

0

n

ri t—

r-o"

m

"S

ë

r-Tf

o t

m

»ri

fN

OO

oC

"Tí

r-rí

ON

f

ON

O

rn

oo' (N

ON

O

fi

(N

in

ri

__ 0

0

ri

00

(N

m

NO

r-vO

o'

"~

cd

N

cd

2

o

o

n

O0_

t

^,

(N

ri

rj

o'

'—'

r-r-rj

'O

oo

m

m

n

oo

o ri

o

«n

n

00

oo' •—

' O

N

ON

ri

ri r

^H

O

n

r-'

n

ON

O

rj

n

•^

c2

iTi

NO

~™

t>

ri

n

00

oo

NO

'

** IT

)

n

o o

o o

ri

ON

o'

fi

r-n

«n

r-' n

NO

O

N

OO

o

m

>r>

TT

-'

n

Tf

o*

oo

o in

O

_ oo

o

_ "T

i'

00

"—

I

*—

NO

^

m

oo

—,

n

ON

ON

O

fi

«rT n

f n

t o

n

CN

o

00

o

VO

\0

o

NO

TT

r-°i o

'

o

' '

«

c

^

o

ci

63

Page 59: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

niveaux ont en l'occurrence été définis pour les élèves et pour les enseignants. O n constate qu'en général, les enseignants se situent aux niveaux 7 et 8 ; c'est également le cas de quelques élèves. C o m m e dans l'étude sur le Viet N a m , l'intérêt des autorités kenyanes a également porté sur le pourcentage d'élèves atteignant chaque niveau.

O n constate que 5,6 % seulement des élèves sur l'ensemble du Kenya se situent aux niveaux 1 et 2 , mais que ce chiffre est beaucoup plus élevé dans la province du nord-est (12,5 % ) . Pour ce qui est du niveau 3, ce sont les provinces du nord-est, de Nyanza et de la Rift Valley qui enregistrent les plus hauts pourcentages. D'autre part, les élèves des écoles de Nairobi réussissent mieux que dans d'autres provinces. Ces chiffres sont utiles aux planificateurs pour mieux cibler les points où il faut porter des efforts supplémentaires.

Exemple de niveau minimum et souhaitable de maîtrise

U n e deuxième méthode d'analyse des scores a été adoptée. Pour l'étude S A C M E Q I, des spécialistes de la lecture ont défini deux niveaux de maîtrise. L a moyenne de ces niveaux S A C M E Q I (Kenya inclus) a servi de base au calcul des résultats des études S A C M E Q I et S A C M E Q II. Les items correspondant au niveau m i n i m u m de maîtrise désignent les acquis requis pour mener une vie autonome dans la société kenyane. Les items correspondant au niveau souhaitable de maîtrise désignent les acquis requis pour passer en septième année et être capable de suivre. Les pourcentages d'élèves atteignant respectivement les niveaux m i n i m u m et souhaitable de maîtrise de la lecture, tels qu'ils ressortent des études S A C M E Q I et II, sont indiqués au tableau 2.4.

L e pourcentage d'élèves atteignant le niveau m i n i m u m de maîtrise a apparemment diminué, passant de 69,7 % en 1998 à 65,5 % en 2000. Toutefois, cet écart de 4,2 % n'est pas statistiquement significatif (pour un intervalle de confiance de 95 % ) , pas plus d'ailleurs que ne l'est l'augmentation du pourcentage d'élèves atteignant le niveau souhaitable de maîtrise. Cela implique qu'en 2000, 34,5 % des élèves de sixième année n'atteignaient pas le niveau m i n i m u m de maîtrise et que 79,1 % n'atteignaient pas le niveau souhaitable de maîtrise. Néanmoins, dans six provinces sur huit, le pourcentage

64

Page 60: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

d'élèves atteignant le niveau souhaitable de maîtrise avait progressé. Il est possible que le niveau souhaitable ait été fixé trop haut par les spécialistes du S A C M E Q I ; le niveau m i n i m u m , en revanche, correspondait à des compétences vraiment rudimentaires. Il appartiendra aux spécialistes kenyans de la lecture de réexaminer le classement des items correspondant à ces deux niveaux de maîtrise et d'analyser les raisons de ces mauvais résultats. Ils devront aussi réfléchir à des stratégies qui permettraient à une plus grande proportion d'élèves de sixième année de parvenir jusqu'au niveau m i n i m u m de maîtrise. L'objectif à long terme est que 100 % d'élèves atteignent ce niveau min imum.

Tableau 2.4 Pourcentages et erreurs d'échantillonnage d'élèves atteignant le niveau minimum et le niveau souhaitable de maîtrise en lecture ( S A C M E Q I et S A C M E Q II), par province, au Kenya

Région

Centre

Côte

Est

Nairobi

Nord-Est

Nyanza

Rift Valley

Ouest

Kenya

SACMEQ 1(1998)

Élèves atteignant le niveau m i n i m u m

de maîtrise

%

84,1

72,8

70,1

88,7

49,8

50,1

76,6

61,8

69,7

Err. t

3,00

5,42

6,17

2,48

8,91

6,41

4,90

6,51

2,29

Élèves atteignant

le niveau souhaitable de maîtrise

%

18,6

21,5

18,5

53,8

12,8

7,0

25,2

13,6

18,5

Err.t

2,93

5,14

5,20

6,62

4,13

1,95

5,85

3,08

1,86

SACMEQ II (2000)

Élèves atteignant le niveau m i n i m u m

de maîtrise

%

74,3

69,4

74,0

88,7

54,1

60,2

56,8

58,6

65,5

Err.t

4,14

7,70

5,61

2,44

5,13

5,55

5,87

4,56

2,25

Élèves atteignant le niveau

souhaitable de maîtrise

%

20,6

27,3

30,9

54,5

18,6

15,1

17,3

10,8

20,8

Err.t

5,18

6,33

5,67

6,01

4,07

4,02

4,08

3,46

1,92

Source : Ross, sous presse.

65

Page 61: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

U n e autre manière d'analyser les performances scolaires consiste à étudier les disparités entre des sous-groupes d'élèves. L e tableau 2.5 reproduit les pourcentages et les erreurs d'échantillonnage de sous-groupes d'élèves atteignant chacun de ces niveaux.

Tableau 2.5 Pourcentages et erreurs d'échantillonnage d'élèves de sixième année atteignant le niveau minimum et le niveau souhaitable de maîtrise en lecture, par sous-groupes d'élèves ( S A C M E Q I et S A C M E Q II), au Kenya

SACMEQ I (1998) SACMEQ II (2000)

Elèves Elèves Elèves Élèves atteignant atteignant atteignant atteignant le niveau le niveau le niveau le niveau m i n i m u m souhaitable m i n i m u m souhaitable

de maîtrise de maîtrise de maîtrise de maîtrise

Sous-groupes

Sexe

Garçons

Filles

%

69,2

70,2

Statut socio-économique

SSEbas

S S E élevé

66,1

74,9

Zone d'implantation de l'école

Isolée/rurale

Petite ville

Grande ville

Kenya

64,6

75,9

88,5

69,7

Erreur type

2,65

2,47

2,79

2,58

2,99

4,84

2,10

2,29

%

19,8

17,1

14,6

24,1

12,8

21,5

48,6

18,5

Erreur type

2,35

1,94

1,80

2,90

1,73

4,41

6,59

1,86

%

64,3

66,7

57,9

76,6

60,2

71,6

82,9

65,4

Erreur type

2,46

2,48

2,57

2,30

2,76

5,96

3,46

2,26

%

21,9

19,6

12,7

32,5

13,8

26,6

47,8

20,9

Erreur type

2,22

2,09

1,56

3,02

1,99

4,17

6,13

1,93

Source : Ross, sous presse.

66

Page 62: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

II apparaît que, sur l'une et l'autre période, l'écart entre le pourcentage de garçons et celui de filles situés aux deux niveaux de maîtrise étudiés n'est pas significatif. D e plus, le pourcentage de garçons atteignant le niveau minimal de maîtrise ne varie pas de façon sensible entre l'étude S A C M E Q II et l'étude S A C M E Q F . Les écarts entre les pourcentages d'élèves issus de catégories socioéconomiques différentes et situés aux deux niveaux de maîtrise étudiés sont en revanche relativement marqués. Si l'on compare les écarts entre les élèves vivant dans des régions isolées ou des villages et ceux vivant dans des petites ou des grandes villes, on note que les pourcentages tendent à augmenter à mesure que le degré d'urbanisation s'accroît.

Exemple d'analyse multivariée

O n constate néanmoins des variations d'une province à l'autre ou d'une école à l'autre d'une m ê m e province, non seulement pour ce qui est des compétences de l'enseignant dans sa matière, mais aussi pour d'autres variables. Les analyses multivariées sont d'une grande utilité pour des planificateurs qui cherchent à déterminer sur quels domaines faire porter les efforts pour améliorer le système scolaire. Elles permettent en effet de distinguer les variables qui sont fortement corrélées aux performances scolaires de celles qui le sont moins. Dans maints pays, les parents ont tendance à envoyer leurs enfants dans des écoles fréquentées par d'autres enfants issus de la

2. Plusieurs méthodes permettent de calculer la signification de l'écart entre deux moyennes. O n a présenté ici un m o d e de calcul rapide de l'écart entre deux pourcentages ( S A C M E Q I et S A C M E Q II, deux échantillons indépendants) relatifs à des garçons : dans cet exemple, l'écart est égal à 4,9 (69,2 - 64,3). Il faut ensuite élever au carré l'erreur d'échantillonnage de la première moyenne, puis l'ajouter au carré de l'erreur d'échantillonnage de la deuxième moyenne. O n obtient 13,075. O n en extrait la racine carrée, ce qui donne 3,61. C e chiffre représente l'erreur d'échantillonnage de l'écart entre ces deux moyennes. Pour garantir un intervalle de confiance de 95 %, il faut multiplier 3,61 par 2, ce qui donne 7,22. Ce chiffre étant supérieur à la différence entre les deux moyennes, on en conclut que l'écart n'est pas significatif dans un intervalle de confiance de 95 %. Dans le cas d'échantillons non indépendants (par exemple des garçons et des filles - étude S A C M E Q II - parce qu'ils fréquentent souvent les m ê m e s écoles), il faut alors appliquer une technique spéciale dite « Jacknife » pour obtenir une estimation satisfaisante de l'erreur type de cette différence.

67

Page 63: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

m ê m e classe sociale que la leur. Les écoles aisées possèdent habituellement davantage de ressources matérielles et, souvent aussi, davantage d'enseignants qualifiés. Les écoles fréquentées par les enfants issus de familles démunies sont en général plus pauvres en ressources et leurs enseignants sont moins qualifiés. Pour le chercheur qui s'intéresse au rapport entre ressources et performances, il est ordinairement préférable d'éliminer au préalable l'effet lié au contexte familial des élèves. D ' o ù l'intérêt de procéder à une analyse multivariée. L'équipe kenyane a utilisé un modèle linéaire hiérarchique pour analyser les données et elle a constaté que certaines variables étaient plus étroitement liées que d'autres aux résultats scolaires. C'est ce que montre le tableau 2.6.

Tableau 2.6 Variables importantes permettant d'expliquer les résultats en lecture et en mathématiques d'élèves de sixième année au K e n y a (SACMEQ II)

Variables

Entre provinces

Entre écoles

Entre élèves

Lecture

R E E (négatif) Contexte familial Comportement de l'élève

Age Contexte familial Manque de matériels Redoublement

Mathématiques

Score des enseignants en maths

R E E (négatif) Contexte familial Comportement de l'élève Formation des enseignants

Age Contexte familial Manque de matériels Sexe

R E E = rapport élèves/enseignant.

Source : Ross, sous presse.

Il apparaît que les résultats obtenus en mathématiques par les enseignants varient d'une province à l'autre et que ces différences sont associées à des variations des performances des élèves.

68

Page 64: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Aperçu rapide de deux études nationales

Les variables liées aux différences entre écoles sont plus ou moins les m ê m e s pour les deux matières. Les écoles où le rapport élèves/enseignant est plus faible3 obtiennent des scores meilleurs que celles où le rapport élèves/enseignant est plus élevé. Les écoles qui accueillent des élèves issus d 'un milieu familial aisé sont plus performantes que celles qui accueillent des élèves issus d'un milieu familial défavorisé. Par ailleurs, les écoles qui enregistrent peu de problèmes de comportement des élèves (de l'avis du chef d'établissement) sont plus performantes que celles où ces problèmes sont plus fréquents. Ces variables ont une grande importance dans la mesure où elles sont liées à des différences de scores d'une école à l'autre dans les deux matières. Puisque les écoles fréquentées par des élèves issus d'un milieu familial aisé ont également tendance à obtenir de meilleurs résultats (corrélation de niveau école égale à 0,566), la ségrégation sociale entre les écoles constitue un problème auquel les autorités doivent faire face. D'après les estimations, les écoles où les enseignants ont bénéficié d'une formation professionnelle plus poussée ont un meilleur niveau en mathématiques (mais non en lecture) que les écoles où les enseignants n'ont pas ou ont peu reçu de formation professionnelle.

Les différences de performances entre élèves d'une m ê m e école sont liés à l'âge (les plus jeunes ont de meilleurs résultats), au contexte familial là encore et au manque ou non de matériel (crayons, stylos, livres d'exercices, cahiers, g o m m e s et règles). Les élèves qui disposent de moins de matériel ont de moins bons scores que les élèves mieux dotés en fournitures scolaires. Depuis la collecte de ces données, en 2000, le ministère kenyan de l'Éducation a pris les mesures nécessaires pour que tous les élèves disposent d'un matériel scolaire suffisant. E n ce qui concerne la lecture, les élèves ayant redoublé

3. Il ne faut pas confondre le rapport élèves/enseignant (ou taux d'encadrement) avec les effectifs d'une classe. Le rapport élèves/enseignant est égal au nombre total d'élèves d'une école divisé par le nombre d'enseignants (équivalent plein temps). En un sens, il donne une indication sur le niveau de ressources de l'école en termes d'enseignants. Les effectifs d'une classe correspondent au nombre d'élèves dans une classe ou au nombre moyen d'élèves par classe dans une école. Dans une m ê m e école, il peut ainsi y avoir sept enseignants et seulement six classes.

69

Page 65: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

réussissent moins bien que les élèves n'ayant jamais redoublé. E n mathématiques, les filles ont de moins bons résultats que les garçons.

C e sont là les conclusions qui se dégagent des analyses, et dont le ministère doit être informé. Les chercheurs kenyans ont soumis un certain nombre de propositions sur les actions à engager, mais les mesures que prendra le ministère en vue d'améliorer le système scolaire à l'issue du cycle primaire dépendent des crédits disponibles. Il conviendra d'élaborer des politiques qui soient acceptables par les syndicats d'enseignants et par les électeurs et de les mener de manière à éviter toute grave perturbation du fonctionnement des écoles.

70

Page 66: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

III. Quelques études internationales

Trois grandes organisations internationales sont bien connues par les études internationales sur les résultats des élèves qu'elles réalisent4. Il s'agit du S A C M E Q , du PISA et de l'IEA.

SACMEQ

Le S A C M E Q a été créé pour développer un programme de renforcement des capacités dans le domaine des techniques d'évaluation (visée formative). Il s'est appuyé sur un ensemble coordonné d'études nationales afín d'offrir à ses stagiaires une formation pratique. Les recherches ainsi conduites ont porté sur l'évolution des acquis scolaires ainsi que sur l'identification des points faibles des systèmes d'enseignement en termes d'intrants ou de processus éducatifs. Elles ont permis de formuler des propositions sur les politiques et actions que les différents services des ministères de l'Éducation pourraient engager aux fins d'améliorer le système. La spécificité des études S A C M E Q tient aux efforts mis en œuvre pour discerner les préoccupations majeures des ministères participants et les principales questions auxquelles ils souhaitent que la recherche apporte des réponses. Ces questions émanant des ministères constituent le fondement des études S A C M E Q . Chaque ministère joue un rôle important, d'une part, en formulant les questions auxquelles la recherche aura à répondre et, d'autre part, lors de l'élaboration finale des politiques, en fournissant des suggestions pour améliorer le système. La population cible retenue pour l'étude S A C M E Q concerne les élèves en sixième année de scolarité. La raison de ce choix est qu'il s'agit de la dernière année d'enseignement primaire dans plusieurs pays ou de l'avant-dernière année dans d'autres. Dans maints

4. C o m m e mentionné dans le Préambule, il existe d'autres études. Toutefois l'auteur a choisi les exemples de l'IEA, du PISA et du S A C M E Q avec lesquels il est le plus familier.

71

Page 67: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

pays africains, le taux de redoublement est à l'évidence élevé ; les enfants vont ou non à l'école selon le contexte familial et selon que les parents peuvent ou non payer les frais de scolarité. Les écarts d'âge en sixième année sont donc très marqués. Mais, pour la majorité des enfants, il s'agit de leur sixième année de scolarité, m ê m e si certains d'entre eux ont mis plus de six ans pour parvenir à ce stade. Le principal axe de recherche concerne les acquis fonctionnels des élèves (et des enseignants) en lecture et en mathématiques. Sept pays ont pris part à la première vague d'enquêtes ( S A C M E Q I) qui s'est déroulée en 1995 ; ce nombre s'est élevé à 14 pays en 2000 ( S A C M E Q II). Le Zimbabwe, quinzième membre du S A C M E Q , n'a pas participé à l'étude en 2000. L 'une des caractéristiques remarquables de la gouvernance du S A C M E Q est que l'Assemblée des ministres, qui est en quelque sorte le comité de direction et de coordination du S A C M E Q , est composée des ministres de l'Éducation des pays participants.

Exemple de variation des performances scolaires avec le temps

Deux exemples d'évolution des performances scolaires par rapport aux niveaux minimum et souhaitable de maîtrise au Kenya ont été présentés ci-dessus {tableaux 2.4 et 2.5). U n e autre illustration est fournie par la comparaison des scores obtenus par les pays ayant participé aux deux études S A C M E Q I et S A C M E Q II. La moyenne pour tous les pays a été fixée à 500 et l'écart type à 100. L'étude S A C M E Q I s'est déroulée en 1995/1996 mais, au Malawi et au Kenya, les tests n'ont eu lieu qu'en 1998. L'étude S A C M E Q II date de l'an 2000, à l'exception de Maurice et du Malawi, où les tests ont été réalisés respectivement en 2001 et 2002. D e nombreux items étaient communs aux deux épreuves, ce qui a permis de calibrer les deux séries de données sur une m ê m e échelle et de générer un barème unique. Seuls six pays ont participé aux deux études S A C M E Q I et S A C M E Q II. L'auteur a pu accéder aux fichiers de données (Ross et al. 2004) et en présente ici les résultats détaillés. La figure 3.1 donne une vue d'ensemble des résultats par pays.

72

Page 68: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques eludes internationales

Figure 3.1 Évolution des scores obtenus en lecture/ écriture entre S A C M E Q I et S A C M E Q II

Évolution des résultats en lecture

S A C M E Q I SACMKQ H

Source : Ross et al., 2004.

C o m m e on peut le constater, le Kenya et Maurice enregistrent des résultats très voisins. D'autre part, à cinq ans d'intervalle, les scores ont diminué dans tous les pays, à l'exception du Kenya. Le trait épais en rouge correspond au score global des six pays. Mais, si l'on tient compte des erreurs types d'échantillonnage, le recul n'est significatif que pour le Malawi, la Namibie, la Zambie et Zanzibar. Il est à noter que, dans le cas du Kenya, deux ans seulement se sont écoulés entre les études S A C M E Q I et II, alors que, dans le cas de Maurice, les deux études se sont déroulées à six ans d'intervalle (1995-2001). Il est par ailleurs important d'indiquer les taux nets de scolarisation dans les six pays en 2000 : Kenya = 68 ; Malawi = 81 ; Maurice = 93 ; Namibie = 68 ; Zambie = 66 ; et Zanzibar = 50 (Institut de statistique de l ' U N E S C O , 2004). U n autre mode de présentation des données est également possible (won figure 3.2).

Cette figure illustre l'évolution des moyennes relevées entre les études S A C M E Q I et S A C M E Q II, ainsi que l'erreur d'échantillonnage relative à l'écart entre les deux moyennes. Les segments de droite représentant les intervalles de confiance

73

Page 69: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultais des élèves

correspondent à deux erreurs type d'échantillonnage. En d'autres termes, on pourra rejeter l'hypothèse nulle avec un intervalle de confiance de 95 % (c'est-à-dire en ayant 19 chances sur 20 de ne pas se tromper si on affirme qu'il y a bien eu évolution entre les deux dates) dans tous les cas où le point 0 (indiquant l'absence d'évolution) n'est pas compris dans l'intervalle de confiance. Ainsi, au Kenya, la différence s'avère non significative. A u Malawi, l'évolution est importante. À Maurice, la différence n'est pas significative. En Namibie, en Zambie et à Zanzibar, les différences sont de forte ampleur. Dans quatre pays sur dix, les scores en lecture ont diminué. L'écart type des scores étant égal à 100, les variations sont comprises entre un dixième d'écart type pour un des pays et près de quatre dixièmes d'écart type pour un autre. O n peut s'interroger sur les raisons de cette diminution. Pour les identifier, il faudrait disposer d'informations sur l'évolution dans le temps d'autres variables. O n ne dispose pas d'informations fiables sur la hausse des effectifs scolarisés, ou sur le nombre d'enseignants de primaire dans chaque école qui sont décédés à cause du VIH/sida, par exemple, et qui n'ont pas été remplacés. Par contre, d'autres changements ont pu être mesurés.

Figure 3.2 Évolution des scores obtenus en lecture entre S A C M E Q I et S A C M E Q II

Source : Ross et al., 2004.

74

Page 70: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

Exemples d'autres variables associées à une évolution des performances

Le tableau 3.1 montre les écarts constatés entre l'étude S A C M E Q I I et l'étude S A C M E Q I pour certaines variables au Malawi, en Namibie, en Zambie et à Zanzibar. La présence de deux astérisques correspond à des différences significatives pour un intervalle de confiance de 95 %. Les moyennes effectives calculées dans le cadre des études S A C M E Q I et II ne figurent pas sur le tableau. Seules sont présentées les différences entre les deux moyennes et et les erreurs types de ces différences.

Tableau 3.1 Évolution entre S A C M E Q I et S A C M E Q II des moyennes ou des pourcentages pour une sélection de variables

Variable

Age des élèves en mois

% d'élèves de sexe féminin

Biens disponibles chez l'élève

Éducation des parents

% d'élèves disposant de places pour s'asseoir

% d'élèves disposant de places pour écrire

Livre de lecture personnel

Âge des enseignants en années

% d'enseignants de sexe féminin

Malawi

-7,1**

1,3

-0,04

0,2

21,4**

26,0**

-5,6

1,7

1,8

Nombre d'années 0,9 d'expérience des enseignants

Namibie

-11,9**

0,7

-0,04**

0,1

-2,0

1,4

-5,9

1,5

-8,6

0,7

Zambie

_4 9**

2,6

-0,07**

0,2

5,4**

32,2**

0,7

4,0**

13,5*

3,8*

Zanzibar

7,1**

1,8

0,8**

0,3

0,2

16,9**

-6,7**

2,2**

2,4**

2,7**

75

Page 71: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Tableau 3.1 (suite)

Variable

Ressources disponibles dans l'école (22)

Ressources disponibles dans la classe (8)

Malawi

-0,42

0,7

Namibie

0,10

-0,3

Zambie

0,15

0,0

Zanzibar

1,7**

0,3**

** = Probabilité de 95 % de dépassement du seuil de signification.

Source : Ross et al., 2004.

Les élèves de sixième année évalués lors de l'étude S A C M E Q II sont plus jeunes, sauf dans le cas de Zanzibar. La raison tient peut-être au fait que les élèves ont commencé l'école plus tôt, ce qui, de l'avis des ministères, constitue un succès. L e taux de scolarisation des filles a progressé. U n e mesure indirecte de la situation financière des familles a été obtenue en demandant aux élèves de cocher les biens qui étaient disponibles dans leur foyer parmi une liste de 14 items : journal quotidien, revue hebdomadaire ou mensuelle, poste de radio, poste de télévision, magnétoscope, téléphone, réfrigérateur, table pour écrire, bicyclette, mobylette, voiture, eau courante, électricité (alimentation générale, générateur, énergie solaire). O n a ensuite calculé le nombre total de biens disponibles au foyer pour chaque élève, soit un nombre compris entre zéro (valeur minimale) et 14 (valeur maximale). U n e légère baisse du nombre de biens disponibles dans les foyers a été observée entre l'étude S A C M E Q I et l'étude S A C M E Q II, sauf à Zanzibar où ce nombre a légèrement a u g m e n t é . O n peut supposer que cette évolution est due au développement de la scolarisation chez les familles les plus pauvres, qui est l'un des objectifs poursuivis par les ministères.

Concernant les ressources disponibles dans l'école, les élèves devaient préciser s'ils étaient assis par terre, sur un rondin de bois ou sur une pierre, ou s'ils étaient assis sur une chaise, une banquette ou un siège associé à un banc, ce dernier cas correspondant alors à une « place pour s'asseoir ». D e m ê m e , les élèves devaient indiquer s'ils écrivaient sur un banc, une table ou autre chose, le premier cas correspondant alors à une « place pour écrire ». Selon les pays, on observe soit une stagnation, soit une augmentation du pourcentage

76

Page 72: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

d'élèves disposant d'une place pour s'asseoir et pour écrire. Aucune évolution significative des pourcentages d'élèves possédant leur propre livre de lecture ou manuel scolaire (c'est-à-dire n'ayant pas besoin de le partager avec d'autres) n'est à constater entre les deux études S A C M E Q I et II, hormis à Zanzibar où le nombre d'élèves devant partager leur livre ou manuel avec d'autres a baissé. L'âge des enseignants est pratiquement le m ê m e entre l'étude S A C M E Q I et l'étude S A C M E Q II, saufen Zambie où il tend à croître. La proportion d'enseignantes reste constante, saufen Zambie une nouvelle fois, où elle a progressé. Quant au nombre d'années d'expérience des enseignants, les observations sont les m ê m e s que pour leur âge.

Les chefs d'établissement ont été interrogés sur les ressources disponibles dans leur école. La liste comportait 22 items : bibliothèque scolaire, réfectoire, salle réservée au personnel, bureau du chef d'établissement, réserve, trousse de première urgence, cafétéria, terrain de sports/terrain de jeu, jardin, eau courante/puits ou forage, électricité, poste de radio, magnétophone à ruban, téléphone, télécopieur, machine à écrire, duplicateur, rétroprojecteur, poste de télévision, magnétoscope, photocopieuse et ordinateur. Dans les trois pays où les scores aux tests ont baissé de façon sensible, aucune évolution significative des ressources disponibles à l'école n'a été relevée entre les études S A C M E Q I et II. Mais le nombre réel de ces ressources relevé dans le cadre de l'étude S A C M E Q II est : pour le M a l a w i = 4,33 ; pour la Namibie = 9,91 ; pour la Zambie = 6,87 et pour Zanzibar = 6,30. Ces chiffres signifient que, au Malawi par exemple, l'école que fréquente l'élève lambda possède 4,33 items. C'est un chiffre extrêmement faible. Toujours pour le Malawi, à l'époque de l'étude S A C M E Q I, l'école que fréquente l'élève lambda disposait de 4,75 items.

Les enseignants ont été interrogés sur les ressources disponibles dans leur classe : tableau pour écrire utilisable, craie, carte géographique ou toute autre affiche didactique , placard ou armoire, une ou plusieurs étagères, bibliothèque propre à la classe (ou coin à livres ou coffre à livres), table et chaise pour l'enseignant - soit neuf items au total. Il n 'y a pratiquement aucune variation entre l'étude S A C M E Q I et l'étude IL À titre d'exemple, le tableau 3.2 indique, pour les deux études S A C M E Q , le pourcentage d'élèves au Malawi ayant accès dans leur classe aux ressources énumérées ci-dessus.

77

Page 73: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Tableau 3.2 Pourcentage d'élèves ayant accès, dans leur classe, aux items indiqués, au Malawi

Ressources disponibles dans une classe

Tableau pour écrire

Craie

Affiche murale

Placard

Une ou plusieurs étagères

Bibliothèque dans la classe

Bureau pour l'enseignant

Chaise pour l'enseignant

SACMEQI

%

84,8

95,2

56,6

17,8

14,7

13,3

40,7

43,3

Erreur type

2,95

1,73

4,19

3,23

3,06

3,00

4,22

4,20

SACMEQ II

%

94,5

96,4

58,2

51,2

17,6

20,4

47,9

50,5

Erreur type

1,99

1,57

4,54

4,65

3,32

3,85

4,48

4,65

Différence

%

9,3**

1,2

2,2

33,4**

2,9

7,1

7,2

7,2

Erreur type

*2

7,12

4,67

12,35

11,32

9,03

9,76

12,45

12,53

** = Probabilité de 95 % de dépassement du seuil de signification.

Source : Ross et ai, 2004.

Les seuls écarts significatifs concernent le pourcentage d'élèves dont les classes possèdent un tableau pour écrire ou un placard. A u Malawi, à l'époque de l'étude S A C M E Q II, le pourcentage d'élèves dont les classes disposent d'une ou plusieurs étagères, d'une bibliothèque, d'un bureau et d'une chaise pour l'enseignant demeure très faible.

Enfin, les élèves ont été interrogés sur les matériels utilisés en classe. Les chiffres obtenus pour le Malawi, la Namibie, la Zambie et Zanzibar sont reportés dans le tableau 3.3.

D ' u n e manière générale, la situation matérielle s'est dégradée au Malawi et à Zanzibar, mais s'est en revanche améliorée en Namibie. S'agissant de la Zambie, il n 'y a guère de différence entre les résultats des deux études, m ê m e si la tendance est à la baisse (c'est-à-dire que la situation s'est dégradée). Globalement, on ne

78

Page 74: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

dispose d'aucun élément permettant d'expliquer la baisse des performances scolaires dans ces quatre pays.

Tableau 3.3 Pourcentage d'élèves disposant des fournitures indiquées entre S A C M E Q II et S A C M E Q I

Pays Livre d'exercices

Malawi

Namibie

Zambie

Zanzibar

-1,6

0,6

-4,1

3 g**

Cahier

1,4

-4,3

-11,2**

18,7**

Crayon

-13,8

31,0**

-3,1

-0,3

Gomme

-6,9

28,7**

-5,1

_9 1 **

Stylo

-2,6

26,4**

-5,6

_2 4**

Règle

11,3**

20,0**

2,9

-3 5**

** = Probabilité de 95 % de dépassement du seuil de signification.

Source : Ross et al., 2004.

PISA

Les objectifs du PISA étaient - et sont encore - définis c o m m e suit : « Le PISA fournira régulièrement des informations à caractère pratique sur le rendement cumulatif des systèmes éducatifs à l'issue de la scolarité obligatoire et ce, sur la base d'une évaluation de l'aptitude des élèves à appliquer les connaissances théoriques et pratiques qu'ils ont acquises dans des matières clés. En outre, l'étude PISA collectera des informations à caractère pratique susceptibles d'aider les responsables des politiques à analyser les écarts de performances constatés entre les écoles et les pays. En particulier, le PISA portera son attention sur les différences :

• d'un pays à l'autre concernant le rapport entre des facteurs spécifiques aux élèves (comme le sexe et la condition sociale) et les performances ;

• d 'un pays à l'autre concernant le rapport entre des facteurs spécifiques aux écoles et les performances ;

• d'une école à l'autre (et non plus au sein d'une école) et d'un pays à l'autre, concernant le degré de variation des performances ;

79

Page 75: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

• d 'un pays à l'autre concernant l'impact plus ou moins fort des écoles sur les facteurs spécifiques à chaque élève et sur les performances scolaires ;

• entre les systèmes éducatifs et le contexte national des pays et qui sont associées à des différences de performances scolaires entre ces pays ; et

• d'évolution de tel ou tel de ces rapports qui sont susceptibles d'apparaître avec le temps. » (Communication personnelle de A . Schleicher, chef du département de l'Organisation de coopération et de développement économiques, O C D E , en charge du PISA, à l'auteur.)

Le groupe de pays participant au PISA a fait le choix d'une tranche d'âge déterminée, les élèves âgés de 15 ans, quel que soit leur niveau d'études. À l'époque où le PISA a été lancé, la quasi-totalité des enfants scolarisés dans les pays de l ' O C D E poursuivaient leurs études jusqu'à l'âge de 16 ans. La répartition des jeunes de 15 ans entre les différents degrés d'études s'étend sur plusieurs degrés dans un certain nombre de pays et sur deux degrés seulement dans d'autres. Les enquêtes P ISA ont lieu tous les trois ans. En l'an 2000, l'évaluation PISA a porté sur trois domaines - lecture, mathématiques et sciences - avec la lecture c o m m e domaine majeur. En 2003, l'accent principal a été placé sur les mathématiques et, en 2006, sur les sciences. Ce système de roulement permet d'analyser l'évolution des résultats des élèves successivement dans les trois domaines. Trente-deux pays ont participé à l'évaluation PISA 2000 ( O C D E , 2001a) et 11 autres pays ont réalisé cette m ê m e évaluation deux ans plus tard ( O C D E , 2003a).

Les évaluations PISA font appel à des techniques extrêmement pointues, pour tous les aspects de ces études.Les personnes qui entreprennent des études de pilotage de systèmes scolaires s'intéressent également aux facteurs qui déterminent les acquis scolaires ou qui y sont associés. Trois exemples issus des études PISA sont présentés ci-après : le premier concerne le rapport entre le S S E et les performances ; le second, le rapport entre un certain nombre de caractéristiques des élèves et des écoles et les performances ; le troisième, le rapport entre démarches d'apprentissage et performances.

80

Page 76: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

Exemple de rapport entre le SSE et les performances

Les chercheurs responsables du PISA ont calculé la relation directe entre le S S E et les compétences en lecture de l'élève, puis la relation entre l'indice S S E agrégé au niveau de l'école et les compétences en lecture de ces m ê m e s écoles. Cela a permis alors de calculer « l'effet net » du S S E individuel des élèves sur leurs compétences en lecture, en tenant sous contrôle l'effet du S S E moyen de leur école (c'est-à-dire l'effet lié au groupe de pairs, voir figure 3.3). U n extrait des résultats du PISA en la matière est présenté sur le tableau 3.4 ci-dessous.

Tableau 3.4 Extrait des résultats PISA sur le rapport entre le S S E et les compétences en lecture

Pays

Argentine

Australie

Belgique

Chili

Allemagne

Islande

Suède

Thaïlande

États-Unis d'Amérique

Effet global

Points de score

en lecture

37,5

31,7

38,2

39,1

45,3

30,3

27,1

21,2

33,5

Erreur type

2,6

2,1

2,2

1,8

2,1

1,8

1,5

2,6

2,7

Effet individuel

Points de score

en lecture

4,9

12,2

6,5

7,0

3,7

10,5

14,1

3,8

9,9

Erreur type

1,9

1,9

1,3

1,2

1,5

1,5

1,5

1,6

2,0

Effet du statut socio-économique

spécifique à l'école

Points de score

en lecture

53,6

42,7

61,1

42,2

63,7

7,5

20,6

13,0

52,8

Erreur type

3,2

3,2

2,6

1,9

2,7

3,9

3,2

2,7

4,3

Erreur type = erreur d'échantillonnage. SSE = statut socio-économique

Source : Extrait O C D E , 2003a, tableau 7.15.

81

Page 77: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

L'effet global (parfois appelé « effet brut ») représente l'augmentation du niveau de lecture par unité de variation sur l'échelle du milieu socio-économique. Il dérive de deux sources : (i) les différences de S S E entre des élèves fréquentant la m ê m e école ont un impact sur les différences de compétences en lecture des élèves de l'école (impact individuel) ; (ii) les différences d'une école à l'autre de la moyenne des indices S S E des élèves qui les fréquentent ont un impact sur les moyennes des scores en lecture des diverses écoles (c'est ce qu 'on appelle 1'« effet lié aux caractéristiques socio-économiques du recrutement des écoles » ou « impact de la variable S S E de niveau école »). Prenons l'exemple de l'Argentine. Le tableau montre que si on s'intéresse à l'effet global, une différence d'une unité de S S E est associée à une différence de 37,5 points du score de compétences en lecture. Dans cet effet global, on peut distinguer deux composantes : une composante liée à l'indice S S E de l'élève (4,9 points par unité SSE) et une composante liée à l'indice S S E moyen de l'école (53,6 points par unité S S E de l'école). Autrement dit, en Argentine, l'effet du S S E m o y e n de l'école est bien supérieur à l'effet individuel : pour l'élève, le fait de fréquenter une école plutôt qu'une autre a un impact tout à fait considérable, en raison des différences entre écoles du statut social de la population d'élèves. E n Thaïlande, par contre, l'effet global est relativement faible (21,2 points par unité S S E ) ; l'effet du S S E moyen de l'école y est également plus marqué que l'effet individuel, mais ni l'une ni l'autre de ces composantes ne sont très accentuées. E n d'autres termes, le type d'école que fréquente un élève thaïlandais influe sur ses résultats, mais dans des proportions moindres que dans d'autres pays.

Là figure 3.3 illustre, pour tous les pays participant au PISA, le rapport entre le S S E et les compétences en lecture (effets globaux, effets individuels et effets liés au S S E de l'école). Il en ressort que, dans maints pays, l'impact du S S E sur les compétences en lecture ne s'exerce pas uniquement au travers de l'élève, mais aussi et surtout au travers de l'école (effets liés au S S E moyen de l'école). E n général, dans les pays où les effets liés à l'école sont marqués, les effets globaux (effets bruts) le sont aussi. Ceci montre que, lorsque les disparités sociales entre les écoles (« effet de ségrégation sociale ») sont importants, ils sont liés à l'effet global sur le rendement et, donc, à l'équité des résultats scolaires.

82

Page 78: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

Figure 3.3 Relations entre le SSE et les compétences en lecture

0 effet brut de l'amélioration d ' u n e unité dans le statut socioéconomique d 'un élève (effet global)

• effet net de l'amélioration d ' u n e unité dans le statut socioéconomique d ' u n élève (effet individuel)

l effet net de l'amélioration d ' u n e unité dans le statut socio-économique m o y e n des élèves d ' u n e m ê m e école (effet du groupe de pairs)

I I I I I I

I I

I I I I

I I

I I i i I I

i i

i i

I I i i

i i

i i i v

ÏSS mmsm&ssms^S

Rép. de Corée

Islande

Hong-Kong Chine

Finlande

Thaïlande

Indonésie

Canada

Espagne i

Suède

Albanie

Grèce

Danemark

Norvège

France

Australie

Mexique

Nouvelle-Zélande

îiats-Unis d'Aménque

Israël

Autriche

Pologne

Pérou

Argentine

Belgique

Royaume-Uni

Portugal

Chili

Bulgane

Hongrie

Suisse

Rép. tchèque

Allemagne

^

H ^ * ^

-

~ i i i ^^^y^r^^^

^ 1 1 l l 1 1

—Hf —U

- h - i i i i |

*-u-i

" 90 80 70 60 50 40 30 20 10 0

Nombre de points

0 10 20 30 40 50 60 70

Nombre de

80 90

points

Source : O C D E , 2003a, figure 7.17.

83

Page 79: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Certains systèmes scolaires cherchent à privilégier l'homogénéité au sein des écoles ou au sein de différents types d'écoles, de façon à s'adapter aux besoins des diverses catégories de population scolaire. Ces pays ont souvent des programmes scolaires diversifiés. D'autres systèmes scolaires souhaitent que les écoles soient aussi polyvalentes que possible et suivent toutes le m ê m e programme scolaire. Pour faire leur choix entre ces deux « philosophies », les responsables politiques doivent disposer d'informations relatives à l'impact des écarts entre écoles sur l'inégalité des performances scolaires. Les études de pilotage permettent de quantifier les effets relatifs. La prochaine étude PISA offrira l'occasion de constater si des évolutions des effets relatifs sont intervenues dans certains pays.

Exemple de rapport entre des caractéristiques des élèves et des écoles, et les performances

U n deuxième exemple des analyses menées dans le cadre de l'étude PISA concerne la relation entre les compétences en lecture et divers facteurs liés à la scolarité et aux compétences en lecture. Les variables prises en compte sont le S S E de l'élève, le S S E de l'école, un indice mesurant l'engagement de l'élève à l'égard de la lecture (ainsi que la moyenne par école de cet indice), l'incitation au rendement, le sentiment d'appartenance, la communication culturelle, le climat de discipline, le sexe de l'élève, le degré d'études (grade) où se trouve l'élève, les ressources éducatives disponibles au foyer, le temps consacré aux devoirs à la maison, le statut d'immigrant, la structure familiale, les livres disponibles au foyer, les relations élèves-enseignants et les effectifs des classes. Les résultats varient d 'un pays à l'autre. Ces variables expliquent néanmoins la plus grande partie de la variance entre écoles (plus de 70 % ) et seulement 25 % environ de la variance entre élèves. Les résultats obtenus pour chacun des pays sont reproduits au tableau 7.16 extrait du rapport P ISA ( O C D E , 2003a). O n pourra se reporter directement à l'ouvrage concerné pour connaître la signification exacte des variables utilisées. Pour illustrer l'analyse, les résultats de l'Allemagne et du Royaume-Uni sont présentés au tableau 3.5.

O n constate qu'en Allemagne l'effet du S S E de l'école (effet de ségrégation sociale) est le facteur le plus fort. L'engagement à l'égard

84

Page 80: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

de la lecture (indice de l'élève et moyenne de l'école) est également en relation étroite avec les compétences en lecture. Parmi les autres coefficients importants figurent le degré d'études de l'élève (une différence d'un an de scolarité se traduit par une différence de 35 points du score en lecture, soit près de la moitié d 'un écart type) et le statut d'immigrant (les immigrants obtiennent en moyenne 23,5 points de moins que les autochtones). S'agissant du Royaume-Uni, les variables importantes sont le S S E (notamment le S S E moyen de l'école), le statut d'immigrant et l'engagement (de l'élève en particulier) à l'égard de la lecture (indice de niveau individuel). Ces résultats donnent aux autorités scolaires une vision précise des principaux problèmes relevés au m o m e n t de la collecte. Il appartiendra aux autorités d'amorcer le débat sur les mesures à prendre pour résoudre ces difficultés. Les actions engagées dans les différents pays pour ce faire pourraient faire l'objet d'un autre ouvrage.

Tableau 3.5 Exemple du poids relatif des variables (coefficients de régression) sur les compétences en lecture, étude P I S A , 2000

Pays

SSE de l'élève

Engagement de l'élève à l'égard de la lecture

Incitation au rendement

Sentiment d'appartenance

Communication culturelle

Climat de discipline

Sexe de l'élève

Degré d'études de l'élève

Ressources éduc. au foyer

Allemag

Coeff. de régression

3,7

17,9

-1,5

-0,5

-0,1

-0,5

4,3

35,0

5,0

ne

Erreur type

1,5

1,6

1,2

1,2

1,3

1,4

2,3

1,8

2,2

Royaume-

Coeff. de régression

16,7

19,8

-1,8

-1,8

3,3

7,4

13,8

10,5

3,6

•Uni

Erreur type

1,3

1,2

1,2

1,2

1,3

1,5

2,3

2,1

1,3

85

Page 81: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Tableau 3.5 (suite)

Pays

Temps consacré aux devoirs à

Statut d'immigrant

Structure familiale

Livres disponibles au foyer

Relations élèves-enseignants

S S E spécifique à l'école

Engagement (de l'école) à l'égard de la lecture

Allemagne

Coeff. de régression

la maison -2,3

-23,5

-4,6

3,9

0,6

46,8

44,8

Erreur type

1,2

6,3

2,6

1,1

1,2

2,6

3,1

Royaume-

Coeff. de régression

8,1

-31,1

13,6

5,6

3,2

44,5

11,0

•Uni

Erreur type

1,5

8,9

2,6

1,0

1,3

3,0

5,6

Source : Extrait O C D E , 2003a, tableau 7.15.

Exemple de rapport entre les démarches d'apprentissage de l'élève et les performances

Enfin, un troisième exemple est proposé pour illustrer les relations entre les compétences en lecture et un certain nombre de démarches d'apprentissage de l'élève, ainsi que d'autres caractéristiques connexes (Artelt, Baumert, Julius-McElvany et Peschar, 2003). Ces démarches d'apprentissage et caractéristiques connexes sont les suivantes :

Stratégies d'apprentissage :

• stratégies d'élaboration ; • stratégies de mémorisation ; • stratégies d'autonomie.

Motivation :

• motivation de type instrumental ; • intérêt pour la lecture ;

86

Page 82: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

• intérêt pour les mathématiques ;

• efforts et persévérance investis dans l'apprentissage.

Image de soi :

• confiance dans ses capacités ;

• perception de ses aptitudes verbales ; • perception de ses aptitudes en mathématiques ; • perception de ses aptitudes scolaires.

Préférences en matière de contexte d'apprentissage :

• préférence pour l'apprentissage en collaboration ; • préférence pour l'apprentissage compétitif.

Le détail des questions posées pour évaluer ces caractéristiques figure à / 'annexe 5. Les élèves étaient invités à cocher, pour chaque question, l'une des quatre réponses suivantes :

pas d'accord, plutôt pas d'accord, plutôt d'accord, d'accord.

O n trouvera ci-après le résumé d'une partie des résultats de l'étude.

L'analyse montre que la manière dont les élèves abordent l'apprentissage a un impact sur leurs performances. Les élèves qui sont capables de mettre en œuvre des stratégies d'apprentissage autonomes et efficaces se fixent des objectifs réalistes, choisissent des techniques d'apprentissage adaptées à la tâche à accomplir et conservent leur motivation durant la phase d'apprentissage. Le lien entre une approche positive de l'apprentissage et de bons résultats scolaires ressort nettement dans tous les pays. À cet égard, les attitudes de l'élève (confiance en soi et degré de motivation) jouent un rôle majeur, de m ê m e que l'adoption de stratégies d'étude efficaces. Il apparaît que des attitudes fortement positives sont un facteur important de réussite, d'une part parce qu'elles accroissent la probabilité que l'élève adopte des stratégies de travail efficaces, d'autrepart parce qu'elles ont un effet propre, indépendamment du fait que l'élève applique ou non les stratégies les meilleures.

87

Page 83: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Les démarches d'apprentissage mises en oeuvre par l'élève ont sur les performances un effet propre, qui va au-delà de l'impact de la situation familiale. C e constat est particulièrement net pour les variables de motivation, c o m m e l'intérêt pour la lecture, et, dans certains pays aussi, pour les variables concernant l'image de soi. Il est par ailleurs à noter qu'une part importante des différences de résultats liées au milieu dont l'élève est issu a également un rapport avec le fait que, dans l'ensemble, les élèves issus de milieux plus favorisés ont plus souvent un profil d'apprenants efficaces. Les auteurs soulignent le fait que, pour atténuer l'effet des disparités sociales sur la réussite scolaire, il faudrait réduire les différences entre les démarches d'apprentissage adoptées par les élèves, différences qui sont, semble-t-il, à l'origine d'une grande partie des écarts observés entre les performances des élèves issus de milieux favorisés ou défavorisés.

U n cinquième environ de la variance de rendement entre des élèves est associé à des différences liées aux démarches d'apprentissage que l'on vient d'évoquer. O n peut supposer que les aptitudes ainsi évaluées dépendent aussi d'autres facteurs, tels que les connaissances acquises antérieurement, la capacité de mémorisation et la faculté de raisonnement. Tous ces facteurs facilitent la compréhension par l'élève de ce qu'il lit, dans la mesure où ils libèrent des ressources cognitives que l'élève peut mettre au service d'un traitement plus approfondi de l'information. Cela signifie que l'élève pourra intégrer plus facilement de nouvelles connaissances dans son schéma de connaissances préexistant et, partant, de mieux les assimiler.

Les résultats par pays figurent dans le rapport P ISA ( O C D E , 2003a). Il appartient aux décideurs et aux planificateurs de chaque pays d'interpréter les résultats qui les concernent et de décider, s'il y a lieu, des actions à engager. Si ces résultats sont évoqués dans le présent ouvrage, c'est parce que les stratégies d'apprentissage (et autres facteurs connexes, tels que l'image de soi et l'intérêt pour la matière évaluée) rendent compte d 'un cinquième de la variance de rendement entre élèves, ce qui est impressionnant et constitue un résultat de recherche d'une importance majeure. Il convient de rappeler que les élèves ciblés par les études P I S A sont âgés de 15 ans. Habituellement, à

88

Page 84: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

cet âge, les stratégies d'apprentissage sont devenues des automatismes. Elles sont donc d'une très grande importance pour tout apprentissage futur.

IEA

L ' I E A a débuté ses travaux en 1958. En 1960, elle a réalisé une étude expérimentale dont les résultats ont été publiés en 1962 (Foshay, Thorndike, Hotyat, Pidgeon et Walker, 1962). Elle a ensuite effectué une première étude axée sur les mathématiques (Husén, 1967), puis s'est engagée dans une étude couvrant plusieurs matières scolaires (étude dite « Six subjects »). O n se reportera aux références situées à la fin de l'ouvrage, où figure, à la rubrique I E A , la liste des publications de cet organisme. L ' I E A a eu la chance de bénéficier, dès le début, du concours d'éminents chercheurs qui se sont intéressés à la contribution que pourraient apporter des études internationales à l'amélioration de l'éducation dans les pays participants. Les critères fixés par l'IEA pour la réalisation de ces diverses études ont toujours été particulièrement rigoureux. L'étude portant sur l'évaluation de six matières a été suivie d'une deuxième étude sur les mathématiques et d'une deuxième étude sur les sciences. L ' I E A a également m e n é des études sur l'environnement scolaire en classe, sur l'enseignement préscolaire et sur la technologie à l'école. Elle a ensuite réalisé une troisième enquête internationale sur les mathématiques et les sciences (TIMSS) . Là encore, on se reportera aux publications citées dans les références.

Quels sont les traits marquants des études de l'IEA ? Le choix de la matière à évaluer fait l'objet d'une grande attention, de m ê m e que la rédaction et l'expérimentation des items de test. L'échantillonnage aléatoire est effectué dans les règles et les pays qui ne satisfont pas aux normes minima sont éliminés ou identifiés par un code spécial. La saisie et le nettoyage des données, l'affectation des coefficients de pondération et le calcul des erreurs types d'échantillonnage sont soumises à des règles précises tant en ce qui concerne les méthodes de calcul que la rigueur dans la présentation. O n se reportera au chapitre K d e ce document où l'auteur explique le pourquoi de ces règles. Les premières études de l'IEA comportaient

89

Page 85: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

des analyses répliquées pour chacun des pays participants, ainsi que des analyses internationales. Les analyses par pays sont importantes, dans la mesure où elles permettent de savoir s'il est possible d'établir des généralisations sur les relations existant entre les performances des élèves et des écoles, d'une part, et les variable ou les ensembles de variables décrivant les intrants scolaires ou le m o d e de fonctionnement des écoles, d'autre part. Ces dernières années, les études T I M S S , bien que de très haute qualité technique, ont eu tendance à produire en premier lieu des rapports, où les données sont agrégées à l'échelon national, en remettant à plus tard les publications contenant des analyses, mais parfois sans qu'il y ait une véritable cohérence entre les thèmes abordés.

Exemple de disparités de performances d'une école à l'autre

L'un des aspects de l'évaluation des résultats des élèves consiste à examiner l'ampleur des disparités de performances d'une école à l'autre. D e nombreux systèmes scolaires s'enorgueillissent de « l'égalité » qui règne entre leurs écoles, voulant signifier par là que, quelle que soit l'école fréquentée par un enfant, ses chances de réussite seront les m ê m e s . U n paramètre statistique, appelé « corrélation intra-classe » (ou « rhô »), représente le pourcentage de variance (dans le cas présent, entre les scores aux tests) entre écoles, par rapport à la variance totale (c'est-à-dire la s o m m e des parts de variance au sein des écoles et entre écoles)5. Dans la dernière enquête de l'IEA sur la lecture (PIRLS, Progress in International Reading Literacy Study), les valeurs de rhô obtenues par des élèves en quatrième année d'études sont les suivantes {tableau 3.6).

5. Il est à noter que cette statistique est d'une grande importance pour le prélèvement d'échantillons. Il est clair que, plus l'écart d'une école à l'autre est important, plus il faut augmenter le nombre d'écoles contenues dans l'échantillon pour pouvoir couvrir toute la variance.

90

Page 86: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

Tableau 3.6 Valeurs de corrélations intra-classes, étude P I R L S , 2001

Pays

Allemagne

Angleterre

Argentine

Belize

Bulgarie

Canada (Ontario, Québec)

Chypre

Colombie

Ecosse

États-Unis

Fédération de Russie

France

Grèce

Hong-Kong (RAS)

Hongrie

Islande

Israël

Rhô

0,141

0,179

0,418

0,348

0,345

0,174

0,105

0,459

0,179

0,271

0,447

0,161

0,221

0,295

0,222

0,084

0,415

Pays

Italie

Koweït

Lettonie

Lituanie

Macédoine (ex-Rép. yougoslave)

Maroc

Norvège

Nouvelle-Zélande

Pays-Bas

R é p . islamique d'Iran

Rép . de Moldova

Rép. tchèque

Slovaquie

Roumanie

Singapour

Slovénie

Suède

Turquie

Rhô

0,198

0,334

0,213

0,214

0,424

0,554

0,096

0,250

0,187

0,382

0,395

0,157

0,249

0,351

0,586

0,087

0,132

0,271

R A S = Région administrative spéciale

Source : Communication personnelle de Pierre Foy, statisticien chargé de l'échantillonnage dans l'étude PIRLS.

91

Page 87: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

À titre de comparaison, il est intéressant de connaître également les valeurs de rhô obtenues dans le cadre de l'étude S A C M E Q et relatives aux compétences en lecture d'élèves de sixième année {tableau 3.7). E n effet, quelques pays africains qui n'ont pas participé à l'étude PIRLS font partie du S A C M E Q .

Tableau 3.7 Valeurs de corrélations intra-classes, études S A C M E Q , 1995-2002

SACMEQ

Pays

Afrique du Sud

Botswana

Kenya

Lesotho

Malawi

Maurice

Mozambique

Namibie

Lecture

n/a

n/a

0,42

n/a

0,24

0,25

n/a

0,65

I S A C M E Q II

Lecture

0,70

0,26

0,45

0,39

0,29

0,26

0,30

0,60

Maths

0,64

0,22

0,38

0,30

0,15

0,25

0,21

0,53

S A C M E Q I

Pays Lecture

Ouganda n/a

Seychelles n/a

Swaziland n/a

Rép.-Unie n/a de Tanzanie

Zambie 0,27

Zanzibar 0,17

Zimbabwe 0,27

S A C M E Q 0,33

S A C M E Q II

Lecture

0,57

0,08

0,37

0,34

0,32

0,25

n/a

0,37

Maths

0,65

0,08

0,26

0,26

0,22

0,33

n/a

0,32

n/a = non applicable, car données non disponibles pour l'étude en question.

Source : Communication personnelle de Kenneth Ross, chef de l'équipe de PIIPE chargée du pilotage de la qualité de l'éducation.

Pour ce qui est de l'étude PIRLS , les pays où les valeurs de rhô sont les plus élevées sont Singapour et le Maroc. Ainsi, dans le cas de Singapour, 59 % de la variation totale sont imputables à une variation entre écoles ; au Maroc, ce pourcentage est de 55 %. Les disparités entre écoles sont importantes et le choix de l'école a un impact fort sur les performances d'un enfant. E n Islande, en Slovénie et en Norvège, par contre, il n'y a guère de différence selon qu'un enfant fréquente telle école ou telle autre.

L'étude S A C M E Q montre qu'en Namibie, en Afrique du Sud et en Ouganda, les valeurs de rhô sont très élevées. Dans ces pays -

92

Page 88: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

mais surtout en Afrique du Sud - les écarts entre écoles sont très marqués, signe de grandes inégalités entre les écoles. Cette manière d'analyser les résultats des élèves aux tests peut s'avérer très utile pour déterminer le degré d'égalité des chances qu'offrent les différents systèmes éducatifs à leurs élèves.

Exemple de scores intermédiaires obtenus dans divers sous-domaines d'une matière

Le rapport de l'étude internationale sur les mathématiques T I M S S (Martin, Mullis, Gonzales, Smith et Kelly, 1999) contient une analyse comparative intéressante des scores mesurés dans différents domaines des mathématiques. La. figure 3.4 en offre un aperçu. Dans l'étude T I M S S , les chercheurs ont veillé à ce qu'un nombre suffisant d'items soient disponibles pour évaluer divers sous-domaines des mathématiques : fractions/nombres, unités de mesure, représentation des données, géométrie et algèbre. Les résultats, exprimés sous forme de scores réduits, sont portés en ordonnée. Le point origine correspond à la moyenne obtenue par le pays. Par contre, les différences globales entre pays n'apparaissent pas sur la figure.

S'agissant de l'Australie, par exemple, on constate que, concernant les fractions et les nombres, la représentation de données et l'algèbre, les élèves se situent dans la moyenne ; en revanche, en géométrie, leurs scores sont inférieurs à la moyenne et, dans le domaine des mesures, ils sont supérieurs à la moyenne.

Dans maints pays, les élèves obtiennent, dans certains sous-domaines des mathématiques, des scores légèrement supérieurs ou inférieurs à leur moyenne générale dans cette matière. E n Australie, par exemple, les élèves obtiennent de meilleurs résultats dans les mesures et de moins bons résultats en géométrie que pour l'ensemble de l'épreuve.

93

Page 89: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Figure 3.4 Comparaison des scores en mathématiques par sous-domaine, dans les divers pays participants (TIMSS)

Différence entre les scores obtenus dans c h a q u e s o u s - d o m a i n e des mathémat iques par rapport a la m o y e n n e d u pays lu i -même

l i l i l í 1 ' • »

Canada

* • • •

Chypre

• í * «

i í.

1 $ Il i i ï*

S I Belgique (f lamande)*

£ 2 24 Bulgarie

1 • • M M

» • * • i République tchèque

k ' t \ •

Hong Kong, RAS*

1 • M Angleterre*

i • 1

• • • , • » • M • • • t t

- 60 J

60-. Iran (Rép. Islamique d') Israël3

-60 J

6 0 n

• • • * * * • f ' • 4

ih Moyenne et intervalle

de confiance de 95 %

(±2 Err type) pour

chaque

~~\ sous-do m a m e

Moyenne pour le pays

des scores des divers

sous-do m a mes

mathématiques

(ramenée à zéro)

t |

3

Italie Japon ±

.9

t * t i • • • • • • • • { • * » !

• . * • • i , I I |

t Le pays n'atteint les normes fixées en matière de taux de participation

à l'échantillon qu'après recours à des écoles de remplacement

(voir Annexe A.8)

1 Dans ce pays, la population souhaitée au niveau national ne couvre pas

toute la population souhaitée au niveau mondial La Lettonie, où le taux de

e est inférieur à 65 %, se von adjoindre le sigle EUL

2 Dans ce pays, la population définie au niveau national

couvre moms de 90 % de la base de la population

souhaitée au niveau national.

* La Lituanie a testé la m ê m e cohorte d'élèves que les autres

pays, mais plus tardivement, en 1999, au début de l'année

scolaire si

(indiquant que seules les écoles utilisant la langue lettonne ont participé à l'étude)

Source : Martin, Mullis, Gonzales, Smith et Kelly, 1999.

94

Page 90: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Quelques études internationales

Les écarts entre les scores obtenus dans chaque sous-domaine des mathématiques (profil du pays en mathématiques) peuvent être imputables au fait que, dans les programmes scolaires ou les manuels couramment utilisés, l'accent est placé sur tel sous-domaine plutôt que sur tel autre. L a mise en œuvre des programmes scolaires peut aussi varier et expliquer pour partie de tels écarts.

L'intérêt de ces données est de permettre aux pays de savoir précisément dans quels domaines des mathématiques leurs élèves sont plus forts ou les plus faibles. Des spécialistes de l'élaboration des programmes scolaires pourront alors, s'il y a lieu, en revoir le contenu et modifier l'importance accordée à tel sous-domaine plutôt qu 'à tel autre.

Exemple d'évolution comparée des scores en lecture des garçons et des filles

L'étude P I R L S de l'IEA (Martin, Mullis, Gonzales et Kennedy, 2003a) comporte une analyse de l'évolution des résultats des élèves au cours du temps, entre 1991 et 2001. Les items de test utilisés aux deux moments sont les m ê m e s . Lafigure 3.5 illustre, à titre d'exemple, l'évolution des performances des filles et des garçons au cours du temps.

Le barème appliqué pour calculer les moyennes des garçons et des filles est le m ê m e dans les deux études. O n constate qu'en 1991, les filles avaient de meilleurs résultats que les garçons dans les neuf pays. Cependant, en 2001 cela n'était plus le cas en Islande et en Italie, quoique les filles maintiennent leur supériorité dans les autres pays. E n fait, en Islande, l'écart entre filles et garçons a diminué, passant de 28 points en 1991 à 9 points en 2001, mais les résultats se sont améliorés pour les deux sexes : de 35 points pour les garçons, et de 17 points pour les filles. E n revanche, à Singapour, l'amélioration des résultats des filles s'est traduite par un accroissement de l'écart filles/garçons entre 1991 et 2001 - qui est passé de 16 à 29 points.

Cet exemple montre comment on peut mesurer l'évolution des écarts entre filles et garçons au cours du temps. Cette question a suscité un grand intérêt chez les planificateurs dans plusieurs pays.

95

Page 91: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Figure 3.5 Évolution du niveau moyen de lecture des garçons et des filles (PIRLS)

Grèce

Hongrie

Islande

Italie

Nouvelle-Zélande

Singapour

Slovénie

Suède

États-Unis

516(7,3)

481 (4,2)

517(3,2)

514(5,2)

520 (7,0)

504 (7,9)

508 (5,2)

509(4,3)

517(6,7)

499 (6,0)

469 (4,2)

508(5,1)

511(5,3)

485 (6,6)

475 (8,5)

480(4,1)

486 (4,4)

504(7,1)

18(6,3)

12(3,2)

9 (4,8)

4 (5,5)

35 (8,7)

29 (4,8)

28(5,7)

23(4,1)

14(5,4)

476 (5,7)

467 (4,4)

501 (2,1)

512(5,6)

514(5,0)

489 (3,9)

469 (3,5)

523 (4,9)

529 (3,3)

Sigmflcativement supérieur à l'autre sexe

Évolution 1 deladiffé-

M o y e n n e Différence rence obtenue (en valeur entre filles

.garçons absolue) et garçons

457 (4,4)

453 (4,7)

473 (2,6)

495 (6,4)

485 (5,4)

473 (4,5)

447 (3,8)

505 (4,8)

513(4,0)

19(4,8)

14(4,4)

28(3,6) .

17(5,7)

29 (6,3)

16(4,3) O

22 (3,7)

18(4,6)

16(3,4)

A augmenté O

A diminué •

Inchangé

Source : Martin, Mullís, Gonzalez et Kennedy, 20036, annexe 1.3.

96

Page 92: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

IV. Questions fréquentes, critiques et réponses

Ce chapitre aborde huit questions fréquemment évoquées dans le cadre des études internationales sur les résultats des élèves. Certaines de ces questions ne concernent que les études internationales ; d'autres à la fois les études nationales et internationales.

1. Si les tests sont établis à partir d'un programme

scolaire commun à tous les pays, les évaluations

internationales ne risquent-elles pas, à terme,

d'imposer un même programme scolaire

international à tous les pays ?

U n e première remarque s'impose : il est fort peu probable que le ministère de l'Éducation d'un pays se laisse dicter son programme scolaire par un test international. Deuxième remarque : d'une façon générale, le trait latent mesuré dans une évaluation de la lecture tend à être la lecture, et le trait latent mesuré en mathématiques tend à être les mathématiques. La première étude T I M S S en est une bonne illustration. Prenons l'exemple de l'ouvrage intitulé « Mathematics achievement in the middle school years » (Beaton et al., 1996) relatif aux compétences en mathématiques en premier cycle de secondaire. À l'annexe B , tableau B.l , les auteurs comparent le pourcentage de bonnes réponses par pays obtenu sur l'ensemble du test (soit sur un total de 162 items) avec le pourcentage de bonnes réponses par pays obtenu en utilisant uniquement les items dont le pays en question déclare qu'ils figurent au p rog ramme scolaire national de mathématiques (c'est-à-dire, dans chacun des pays participants, les items qui sont couverts par le programme scolaire spécifique du pays). Ainsi, pour Singapour, 144 items figuraient au programme scolaire national. Dans l'un et l'autre cas, c'est-à-dire tant sur l'ensemble du test que sur les items du programme scolaire national, le pourcentage de bonnes réponses est le m ê m e à Singapour, soit 79 %. Singapour obtient entre 79 et 81 % de bonnes réponses aux items considérés

97

Page 93: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

par d'autres pays c o m m e figurant dans leur propre programme. La proportion d'items couverts varie entre 76 items pour la Grèce et 162 pour les États-Unis. La France obtient 61 % de bonnes réponses pour l'ensemble du test et entre 60 et 63 % de bonnes réponses aux items figurant aux programmes scolaires des divers autres pays. O n peut donc raisonnablement penser que les tests internationaux sont tout aussi équitables - ou inéquitables - pour chaque pays, en dépit des différences de programmes scolaires qui peuvent exister d'un pays à l'autre. Autrement dit, que ce soit sur un sous-ensemble d'items ou sur la totalité des items du test, on obtient la m ê m e évaluation. Cela plaide en faveur de la validité des tests internationaux de l'IEA et du fait que les tests internationaux ont peu de chance d'avoir une incidence sur le programme scolaire des pays participants. Le tableau évoqué ci-dessus est partiellement reproduit à / 'annexe 6.

Les auteurs des études S A C M E Q se sont livrés à un exercice du m ê m e type et ont obtenu des résultats très voisins. La matrice de corrélation entre les scores obtenus par les élèves sur l'ensemble du test et sur les « items essentiels » (c'est-à-dire les items figurant au programme scolaire des deux études S A C M E Q ) est présentée à Y annexe 7. O n constate que, là encore, les valeurs des corrélations entre les items jugés essentiels et tous les items du test au cours du temps (SI = S A C M E Q I et S2 = S A C M E Q II), sont au moins égales à 0,98. Ces résultats tendent fortement à prouver qu'une évaluation, qu'elle soit réalisée à partir d'un sous-ensemble raisonnablement défini d'items ou sur l'ensemble des items d'un test, aboutit au m ê m e résultat et qu'aucun pays n'est défavorisé dans un test international, pour peu que ce test ait été soigneusement construit. L'évaluation PISA a produit des résultats similaires pour le test de lecture effectué en 2000.

98

Page 94: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Questions fréquentes, critiques et réponses

2. Les tests internationaux permettent-ils d'évaluer

toutes les compétences ? Ces tests comportent-ils

une mesure de la confiance en soi des élèves ou de

leur aptitude à vivre ensemble ? Se pourrait-il que

des pays négligent ces aspects si les études

internationales s'intéressent seulement à la lecture

et aux mathématiques ?

Dans toute étude internationale, ce sont les pays participants qui décident conjointement des points sur lesquels portera le test (des pays peuvent aussi décider après coup de réaliser à leur tour une étude menée précédemment dans d'autres pays ; c'est ainsi que, deux ans après l'étude PISA 2000,11 nouveaux pays ont décidé d'organiser cette m ê m e évaluation). Il va de soi qu'aux yeux tant des centres de développement des programmes scolaires que des chercheurs participant à ces études, les points sur lesquels porte une évaluation internationale ne représentent qu'une partie du programme scolaire. Il y a lieu de penser toutefois qu'ils considèrent c o m m e des aspect importants les compétences en lecture et en mathématiques mesurées auprès des jeunes du premier cycle d'enseignement secondaire.

Deux remarques s'imposent à ce stade. En premier lieu, dans toute étude internationale, il est toujours possible de poser des questions spécifiques au pays dans la rubrique « options nationales ». Ces questions (items de test ou de questionnaire) peuvent être ajoutées aux instruments internationaux, soit sous forme d 'un instrument distinct, soit à la fin des instruments existants. Chaque pays est donc libre d'ajouter des questions destinées à évaluer des compétences complémentaires. E n second lieu, de nombreuses autres variables sont prises en compte dans les études internationales. Dans les études IEA sur l'éducation civique, la plupart des dimensions mesurées portaient sur des perceptions ou sur des attitudes. La deuxième étude de l'IEA sur les sciences, a comporté de nombreuses échelles d'attitudes, ainsi qu'une mesure des compétences pratiques en sciences. Dans l'étude PISA, la motivation des élèves et leurs stratégies d'apprentissage font également l'objet de nombreuses mesures. Ces mesures ont été

99

Page 95: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

intégrées à la demande des pays. Elles ont fait l'objet d'une analyse détaillée (Artelt et al. 2003), c o m m e on l'a vu précédemment dans cet ouvrage.

3. Les élèves qui n 'ont pas l'habitude

des questionnaires à choix multiple ne sont-ils pas

défavorisés dans les tests qui utilisent

ce format de questions ?

Aussi bien pour les études de l'IEA que pour les évaluations PISA, on s'est efforcé de faire en sorte que la moitié des questions à caractère cognitif ne soient pas des questions à choix multiple. Ce format de questions est néanmoins utilisé. Il faut donc déterminer s'il influe sur les scores d'élèves qui ne sont pas familiarisés avec ce type de questions. Les tests IEÀ, PISA et S A C M E Q débutent tous par des exemples d'entraînement permettant aux administrateurs des tests de s'assurer que tous les élèves soient familiarisés avec le format des questions à choix multiple - et d'ailleurs aussi avec tous les autres formats de questions qui sont employés (voir Keeves, 1994, pour une description des différents types de tests). Dès lors que les élèves ont compris le principe des questions à choix multiple, il n 'y aucune raison de croire que cela puisse avoir une incidence sur les résultats de ceux d'entre eux qui ne l'ont jamais pratiqué auparavant. O n peut trouver une description des avantages et inconvénients des questions à choix multiple dans un ouvrage de Choppin (1994). Il convient de préciser qu'en plus de leurs autres avantages, les questions à choix multiple sont particulièrement faciles à corriger.

L'utilisation de différents formats de questions et leur impact sur les performances ont fait l'objet de plusieurs études (Routitsky et Turner, 2003 ; Hastedt, 2004). D ' u n e manière générale, les items à choix multiple tendent à être plus faciles que les questions à réponse construite (questions ouvertes ou à réponses brèves). Les élèves les moins doués obtiennent en général de meilleurs résultats pour les questions à choix multiple, à l'inverse des élèves brillants qui sont, dans l'ensemble, plus performants dans les questions à réponse construite. Le classement des pays peut varier très légèrement selon le format de questions appliqué.

100

Page 96: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Questions fréquentes, critiques et réponses

4. Dans des systèmes éducatifs où le taux

de redoublement est élevé, est-il équitable d'évaluer

les résultats des élèves en se fondant sur l'âge

plutôt que sur l'année d'études ?

Les évaluations IEA et S A C M E Q sont établies en référence à l'année d'études, alors que les évaluations PISA prennent pour base une tranche d'âge. Dans sa première étude sur les mathématiques, l'IEA a ciblé à la fois une tranche d'âge et un degré d'études. La tranche d'âge retenue était celle des jeunes de 13 ans, quelle que fût l'année d'études ; le but était de déterminer, en termes de moyennes et écarts types des scores au test, le niveau de performances que chacun des systèmes scolaires était parvenu à faire atteindre à une cohorte d'âge donnée. Toutefois, selon leur degré d'études, les élèves n'ont ni le m ê m e programme, ni les m ê m e s enseignants. Ainsi, pour pouvoir connaître « l'effet » relatif des pratiques mises en œuvre à l'école, dans la classe et dans le contexte familial sur les acquis scolaires, l'IEA a également fait porter son évaluation sur un degré d'études. Il s'agissait de l'ensemble des élèves inscrits dans l'année d'études où le pays comptait le plus grand nombre d'élèves de 13 ans (année d'études modale). Dans les pays où le taux de redoublement est élevé, les élèves de 13 ans étaient répartis sur quatre à six degrés d'études, d'où la difficulté de les évaluer puisqu'il était impossible de réunir, dans un m ê m e test, un nombre suffisant d'items couvrant tout le spectre des niveaux de compétences d'une telle population. U n compromis a été trouvé lors de l'étude T I M S S , où l'évaluation a porté sur les deux degrés d'étude successifs où était recensée la plus grande partie de la tranche d'âge concernée. L'étude PISA, quant à elle, concerne les jeunes de 15 ans scolarisés, mais cette définition fondée sur l'âge comporte aussi des limites. Les élèves scolarisés dans des degrés d'études inférieurs à la sixième année de primaire peuvent en être exclus, m ê m e si les pays sont invités à évaluer tous les élèves capables de comprendre au moins les instructions du test. Pour ce qui est des études S A C M E Q , aucune ne porte sur une tranche d'âge donnée, puisqu'une partie de la tranche d'âge n'est pas scolarisée et que les redoublements sont très fréquents.

101

Page 97: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Les conditions idéales pour une comparaison ne seront jamais parfaitement réunies. L'important est de s'en approcher du mieux possible afin que les comparaisons soient perçues c o m m e suffisamment équitables par le public. C'est là une difficulté que l'on rencontre dans chaque étude et qui justifie que les chercheurs expliquent le choix de la méthode qu'ils appliquent.

5. Que se passe-t-il si les résultats d'une étude

nationale et d'une étude internationale diffèrent

dans des proportions significatives ?

Si les deux études ont les m ê m e s objectifs, mais que les résultats diffèrent, il convient d'en examiner la validité technique. Il faut notamment analyser et vérifier les points suivants :

• Les tests évaluent-ils exactement les m ê m e s aspects ? Dans le cas contraire, on ne peut s'attendre à obtenir des résultats comparables. Les populations exclues de l'échantillon sont-elles les m ê m e s ? Les populations cibles définies sont-elles les m ê m e s ? Dans le cas contraire, les études ne sont pas comparables.

• Les erreurs d'échantillonnage sont-elles approximativement les m ê m e s ? Si les échantillons ont été tirés selon des procédures devant produire, en principe, des erreurs d'échantillonnage voisines, mais que, dans la réalité, elles diffèrent, les résultats de l'une des deux études (celle où les erreurs sont les plus fortes) seront entachés d'incertitude et par conséquent on ne pourra pas leur faire confiance.

• Les analyses sont-elles correctes ? Et ainsi de suite.

Il convient, au terme de cet examen, d'apprécier laquelle des deux études a les résultats les plus fiables.

6. Quel est le coût de ces études ?

O n distingue deux catégories de coûts dans une étude de ce type. La première concerne l'ensemble des coûts nationaux, la seconde l'ensemble des coûts internationaux. Une enquête nationale

102

Page 98: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Questions fréquentes, critiques et réponses

peut coûter entre 20 000 et 500 000 $ E U environ, selon la taille de l'échantillon, le nombre d'instruments administrés, saisis et vérifiés, et le m o d e de collecte des données (par courriel ou en faisant appel à des personnes qui passent deux jours dans chaque école pour collecter les données, ce qui entraîne des frais de déplacement et des indemnités journalières). L e nombre d'écoles prévues dans l'échantillon est un facteur déterminant du coût. U n des inconvénients, en l'occurrence, est que, plus les différences d'une école à l'autre sont grandes, plus le nombre d'écoles dans l'échantillon doit être élevé. Le nombre m i n i m u m d'élèves par année d'études et par école est en moyenne de 20 élèves. Dans les pays en développement (pauvres, en général), les différences d'une école à l'autre sont habituellement importantes ; ces pays doivent par conséquent intégrer un nombre plus élevé d'écoles dans leur échantillon.

Dans le cas d'une étude internationale, il existe une part de coûts internationaux, habituellement couverte par des cotisations payées par chaque centre national. Ces coûts se situent généralement entre 20 000 et 30 000 $ E U par matière et par an. Le budget annuel total du PISA est de 3,6 millions de $ E U et celui de l'IEA de 7,2 millions de S E U .

7. Quelle est la périodicité idéale d'une enquête

nationale portant sur une année d'études

ou une tranche d'âge donnée ?

La plupart des chercheurs s'accordent sur une périodicité quadriennale ou quinquennale. Le PISA réalise des évaluations nationales tous les trois ans : ce rythme peut paraître très élevé, mais il y a alors moins de risque que les équipes nationales ou internationales ne se désagrègent dans l'intervalle. Former ces équipes prend un temps considérable ; les reconstituer et leur dispenser une nouvelle formation représente un travail tout aussi considérable. Alors pourquoi choisir une périodicité de quatre ou cinq ans ? La réponse est que, s'il y a changement dans une école, (changement de chef d'établissement ou de la composition de l'équipe d'enseignants) les effets s'en font sentir au bout d'à peu près quatre ans. À une époque, on disait dans les

103

Page 99: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

services de l'Inspection britannique que, lorsqu'une école a un mauvais chef d'établissement, il faut quatre ans pour que s'ensuive une baisse des performances scolaires des élèves. D e m ê m e , si une école a un bon chef d'établissement, l'amélioration des performances scolaires devient visible en quatre ans.

C e qui est clair, c'est que, si un pays ne fait pas d'étude, il n'aura aucun moyen de savoir si le niveau scolaire de sa population progresse, se dégrade ou reste inchangé.

8. Quel est l'impact de ces études sur le processus

décisionnel dans le secteur éducatif?

Il est très difficile de répondre à cette question. Dans certains cas, une action immédiate est engagée. Les comptes rendus d'études S A C M E Q contiennent toujours des propositions d'action qui dérivent des conclusions de ces études et qui font écho à des questions de recherche particulières ayant fait l'objet d'analyses fondées sur les données recueillies lors de l'étude. Le dernier chapitre de chaque rapport de recherche contient un résumé des propositions d'action, assorti d'un échéancier et d'une estimation des coûts (allant des propositions d'action à faible coût jusqu'à celles dont le coût est élevé). Échéancier et estimations des coûts sont souvent établis en collaboration avec les responsables concernés des ministères de l'Éducation.

Par ailleurs, il est généralement admis que les résultats des enquêtes rejaillissent à terme sur l'opinion publique (ou, plus exactement, sur l'opinion de la partie du public qui s'intéresse à ces résultats) et qu'ils finissent à la longue par influer sur la manière dont les planificateurs conçoivent l'éducation (Husén et Kogan, 1984). Pour résumer, on peut dire que certains des résultats donnent lieu à des actions immédiates, alors que, pour d'autres, il faut attendre une génération avant qu'une amélioration du système scolaire ne voie le jour.

L'intérêt des enquêtes répétées est, notamment, de pouvoir constater si des actions ont été ou non mises en œuvre. U n exemple suffira, celui de l'amélioration des ressources. E n 1990, au Zimbabwe,

104

Page 100: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Questions fréquentes, critiques et réponses

des chercheurs ont fait remarquer que les écoles primaires du Matabeleland Sud disposaient d 'un niveau de ressources nettement inférieur à celui d'autres régions et qu'il fallait remédier à ce déséquilibre. U n e enquête répétée, réalisée en 1995, a montré que la situation des ressources scolaires du Matabeleland Sud n'avait nullement progressé. Par contre, en Namibie, une première enquête menée en 1995 avait mis en évidence un certain nombre de déficits en matière de ressources scolaires ; en 2000, une amélioration tout à fait considérable a été constatée.

Il importe qu 'une collaboration étroite s'instaure entre les planificateurs de l'éducation d 'un ministère et les chercheurs. Dans certains pays, la responsabilité des études est confiée aux planificateurs eux-mêmes . Il s'agit d'une approche adéquate pour permettre à la recherche de déboucher sur des actions. Mais tout n'est pas si simple, et espérer une relation directe entre résultats de la recherche et action politique n'est pas réaliste. Il faut tenir compte des coûts, des relations avec les syndicats, de la manière dont les parents (les électeurs) percevront les changements envisagés, etc.

Il est enfin choquant de constater que certains directeurs de recherche (souvent n o m m é s par le gouvernement) se permettent de censurer le contenu du rapport de l'étude. Ils ont tendance à supprimer ce qui, d'après eux, ne plaira pas à leur gouvernement ou ce que leur gouvernement ne souhaite pas voir divulguer à l'opinion publique.

105

Page 101: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

V . Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

C e chapitre met l'accent sur dix points que les utilisateurs des études décrites dans le présent ouvrage devraient prendre en compte pour évaluer la validité technique de la recherche qui leur est présentée. Ces dix points correspondent aux critères que l'on applique c o m m u n é m e n t aujourd'hui pour apprécier la qualité des études, en particulier des enquêtes par échantillonnage sur le pilotage des résultats des élèves. Les réponses à ces dix questions aident à déterminer si une étude est ou non valable du point de vue technique.

Certaines questions sont accompagnées d 'un astérisque (*). Cela signifie que cet aspect de la recherche est particulièrement critique : en cas de non respect des bonnes pratiques sur un ou plusieurs de ces aspects, on ne saurait considérer que les résultats de l'étude sont fiables. Il appartient aux utilisateurs d'exiger des chercheurs qu'ils indiquent avec précision et en détail les méthodes qu'ils ont appliquées.

Les objectifs de l'étude sont-ils explicitement énoncés ?

Quels sont les objectifs de l'étude ? Sont-ils clairement exposés ? Le lien entre ces objectifs et les politiques éducatives, d'une part, le soubassement théorique de la recherche, d'autre part, a-t-il été décrit ? Les objectifs sont-ils exprimés sous la forme opérationnelle de questions de recherche ? Il est toujours désagréable de lire des comptes rendus de recherche où les problématiques choisies par le ou les chercheurs ne sont pas clairement posées dans l'introduction. O n en arrive parfois à se demander si les chercheurs eux-mêmes ont véritablement une idée précise de ce qu'ils tentent d'analyser. Les divers documents ou comptes rendus fournissent-ils des indications montrant que les questions à l'étude correspondent à des problématiques, en termes de politiques ou de théories de l'éducation, qui sont importantes pour le

107

Page 102: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

ou les pays concernés ? (Si tel n'est pas le cas, il y a tout lieu de penser que ces questions correspondent plus aux thèmes favoris des chercheurs qu'aux préoccupations des praticiens). Y a-t-il des éléments montrant que la structure de l'étude a été spécialement conçue pour permettre d'apporter une réponse à ces problématiques ? Dans certaines études, de gros efforts sont faits pour identifier les préoccupations de politique éducative communes à de nombreux systèmes éducatifs. Les questions à étudier sont élaborées dans la perspective d'apporter des réponses à ces préoccupations, puis des maquettes (ou tableaux de résultats encore à compléter) sont proposées pour montrer la forme que prendront les réponses à ces questions. Si les chercheurs ont suivi cette méthode, ils en feront état dans leur rapport. Les chercheurs font parfois état du modèle conceptuel qu'ils ont élaboré. Il appartient alors au lecteur de vérifier si ce modèle conceptuel a permis de générer des questions auxquelles il est possible de répondre au vu des données recueillies.

O n dit parfois que, dans une étude internationale, les intérêts des différents systèmes éducatifs sont trop divergents pour que l'on puisse formuler un schéma directeur de questions cohérent avec l'étude. D'après l'auteur, l'expérience montre que tous les pays s'intéressent au problème des ressources et des acquis (intrants, modes de fonctionnement et résultats), ainsi qu'à la répartition équitable de ces ressources entre les diverses entités administratives, régions ou provinces d'un m ê m e pays, ou encore entre les écoles.

Les questions qu'il convient de se poser sont les suivantes :

• Les objectifs de l'étude sont-ils clairement exposés et sont-ils pertinents ?

• Les questions posées ont-elles été soigneusement élaborées ?

La population cible qui a été définie est-elle appropriée

(et comparable) ?

Si la population cible souhaitée est constituée, par exemple, de tous les élèves fréquentant la deuxième année d'études, il y a lieu de vérifier si ce momen t de la scolarité convient pour le type de questions posées.

108

Page 103: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

S'il y a eu comparaison entre divers pays, a-t-on comparé ce qui était comparable ? Supposons, par exemple, que l'on compare les résultats d'élèves scolarisés dans un niveau d'études donné, tous les élèves de ce niveau sont-ils inclus dans la population cible ou certains élèves en sont-ils exclus ? Il est courant que des élèves soient « exclus », soit parce qu'il s'agit de très petites minorités (et que la collecte de données auprès de ces groupes d'élèves, notamment dans des régions très éloignées, coûterait un prix exorbitant), soit parce qu'ils fréquentent des écoles d'enseignement spécialisé (c'est le cas par exemple d'élèves souffrant d 'un handicap visuel ou auditif). Ces élèves sont normalement classés dans la catégorie des « exclus ». Habituellement, ce pourcentage d'exclus ne doit pas excéder 5 % du nombre total d'élèves contenus dans la population cible « souhaitée ». La population « définie » est égale à la population souhaitée moins la population d'exclus. O n ne peut pas tolérer que le taux d'exclus soit de 2 % dans certains pays et de 14 % dans d'autres. Les taux d'exclusion de niveau école et de niveau élève, ainsi que l'impact de ces exclusions sur la comparaison des moyennes et de la distribution d'un pays à l'autre, sont-ils clairement spécifiés ? Il y a tout lieu de douter de la validité d'un rapport d'étude qui ne fournirait aucune indication sur la population exclue. U n chercheur compétent indiquera toujours le taux et la nature de la population exclue, ainsi que les raisons de ces exclusions. S'il ne fournit aucune information sur ce point, c'est probablement qu'il n 'y aura pas prêté attention. Il sera dès lors impossible pour le lecteur de se faire une idée du degré de comparabilité des résultats qui lui sont présentés, et il pourra, ajuste titre, douter de la qualité de cette étude.

L e m ê m e raisonnement s'applique aux comparaisons entre tranches d'âge. L 'une des raisons pour lesquelles on compare des tranches d'âge plutôt que des degrés d'étude est de connaître les performances scolaires d'élèves nés à une certaine période (durant une année civile par exemple). Cette approche permet d'évaluer ce que les divers systèmes scolaires ont réussi à faire pour l'éducation d'un groupe d'âge donné. Dans un système où le taux de redoublement est élevé, on peut trouver des élèves âgés de 13 ou 14 ans, par exemple, à plusieurs degrés d'études. Certains pays feront parfois remarquer que les tests sont parfois jugés trop difficiles pour les élèves qui ont trois années de retard sur les autres, d'où le choix qui est fait de les

109

Page 104: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

exclure de l'échantillon. E n l'occurrence, soit les tests ne sont pas bien ciblés en ce qui concerne le bas de l'échelle (ils ne contiennent pas assez de questions faciles pour obtenir une distribution globale satisfaisante et discriminer correctement les bas niveaux de compétence), auquel cas on peut considérer que les tests ne sont pas adaptés à tous les élèves, soit il faut attribuer à ces élèves un score égal à zéro ou un score aléatoire. Là encore, la meilleure solution consiste à appliquer la règle selon laquelle le pourcentage d'exclus ne doit pas être supérieur à 5 % des élèves.

Parmi les questions qu'il convient de se poser, on citera :

• A-t-on décrit la population exclue et la population définie correspondante ?

• La population exclue représente-t-elle moins de 5 % de la population souhaitée ?

• Les populations cibles sont-elles véritablement comparables ?*

A-t-on utilisé une procédure d'échantillonnage

correcte ?

Les procédures d'échantillonnage ont principalement pour objet de garantir que chaque élève de la population cible définie possède une chance donnée et non nulle de figurer dans l'échantillon. Est-ce le cas ? C o m m e il y a habituellement un écart entre l'échantillon prévu et l'échantillon réel, on applique des pondérations d'échantillonnage de façon à corriger les éventuels déséquilibres entre les strates d'échantillonnage. Il y a tout lieu de douter de la qualité d'une étude dans laquelle la méthode appliquée pour ce faire n'est pas indiquée. U n e explication de la méthode doit toujours figurer dans le rapport, soit en note de bas de page, soit dans un chapitre spécial. Plus les écarts entre écoles sont importants, plus le nombre d'écoles à intégrer dans l'échantillon doit être élevé. Le paramètre statistique qui exprime les disparités entre écoles est le rhô. E n est-il fait mention dans le rapport ?

Si l'on envisage d'étudier en détail un secteur du système ou un groupe particulier d'élèves, ce groupe doit comprendre un plus grand

110

Page 105: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

nombre d'élèves que la normale, ce qui modifie d'autant la taille de l'échantillon total. Il faut aussi prévoir un tableau sur lequel on indiquera les caractéristiques de l'échantillon prévu (écoles et élèves) et celles de l'échantillon réel (écoles et élèves). L e taux de réponse (égal à la proportion d'écoles qui ont effectivement participé à l'enquête, multipliée par la proportion d'élèves qui ont effectivement passé le test) doit être supérieur à 0,85 (voir aussi plus bas le paragraphe A-t-on correctement réalisé la collecte des données ?).

E n outre, les paramètres de population estimés lors de l'étude doivent avoir une erreur type acceptable par rapport aux décisions que l'on sera amené à prendre sur la base de ces résultats. Depuis le milieu des années 1960, la règle appliquée dans la plupart des grandes études internationales visant à évaluer les résultats de l'éducation est que la précision des plans d'échantillonnage doit être égale ou supérieure à celle d'un échantillon aléatoire simple de 400 élèves en ce qui concerne la mesure du critère. Pour ce degré de précision, l'erreur d'échantillonnage des scores obtenus au test (pourcentage de bonnes réponses) n'excède pas 2,5 % pour une erreur type et 5 % pour deux erreurs types. Cela signifie, par exemple que si l'estimation obtenue du pourcentage de réponses correctes est de 50 %, on peut être sûr, dans 19 cas sur 20, que la vraie valeur se situe entre 45 et 55 %. Puisque dans la quasi-totalité des pays, on utilise des échantillons à deux degrés (un premier niveau est l'échantillon d'écoles et le deuxième est un échantillon d'élèves sélectionnés dans l'école) il faut donc calculer l'erreur type en tenant compte de cette structure complexe. N o m b r e u x sont ceux qui font l'erreur d'utiliser le logiciel de statistiques Statistical Package for the Social Sciences (SPSS) en oubliant que le calcul de l'erreur type y est, par défaut, fondé sur l'hypothèse que l'échantillon utilisé est de type aléatoire simple à un degré. Ils obtiennent donc des valeurs erronées des erreurs types (en l'occurrence, inférieures à la réalité) puisque l'analyse ne tient pas compte du fait qu'il s'agit en réalité d 'un échantillon à deux degrés. Si l'on calcule des différences entre des moyennes (par exemple entre garçons et filles ou entre zones urbaines et zones rurales), on risque donc de considérer c o m m e statistiquement significatives des différences qui ne le sont pas. Dans une étude de bonne qualité, le calcul de l'erreur type est réalisé dans les règles et la méthode appliquée par les chercheurs est indiquée.

111

Page 106: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Il est donc important de se poser la question suivante : « L'échantillonnage a-t-il été effectué de façon à produire des erreurs types d'échantillonnage qui soient acceptables au vu des objectifs de l'étude ? » D'ordinaire, les chercheurs qui sont au fait des méthodes d'échantillonnage donnent une description détaillée des étapes suivies et du calcul des erreurs d'échantillonnage. Si ces informations ne figurent pas dans le rapport, on peut penser que l'échantillon est douteux. D e m ê m e , les erreurs types d'échantillonnage sont habituellement indiquées sur les tableaux de résultats. Si elles n 'y figurent pas, le lecteur doit se poser des questions ; en effet, si l'échantillon réellement obtenu est trop petit (avec un écart important entre l'échantillon prévu et l'échantillon réellement obtenu), ou si la population exclue représente plus de 5 %, ou si l'on ignore la valeur exacte de rhô, les estimations des moyennes et des variances calculées pour n'importe laquelle des variables de l'étude risquent d'être fausses.

Il peut arriver que l'échantillonnage ait été correctement m e n é et q u ' o n relève des différences statistiquement significatives. Cependant, lorsque la taille de l'échantillon est importante, il est relativement courant d'obtenir des différences significatives. Il s'agit alors de déterminer si ces différences sont également significatives sur le plan pédagogique. U n e différence portant sur la réussite à un item de plus du test peut être statistiquement significative, mais pédagogiquement insignifiante : elle ne mérite dès lors pas d'être mentionnée dans le rapport. Ainsi, m ê m e si le calcul des écarts significatifs est correct, il faut faire preuve de prudence dans l'interprétation des résultats.

Les questions qu'il convient de se poser en matière d'échantillonnage sont les suivantes :

• A- t -on indiqué l'intervalle de confiance appliqué pour l'échantillonnage ?*

• A-t-on indiqué la valeur de rhô utilisée pour l'échantillonnage ?* • Le taux de réponse (écoles x élèves) est-il supérieur à 0,85 ?* • A-t-on calculé et appliqué des pondérations d'échantillonnage ?* • A-t-on calculé et indiqué les erreurs d'échantillonnage pour

chaque estimation ?*

112

Page 107: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

• A-t-on tenu compte, dans la rédaction des résultats, de la différence existant entre un écart statistiquement significatif et un écart pédagogiquement significatif ?*

A-t-on correctement conçu les tests

et les a-t-on préalablement expérimentés ?

Il va de soi que le lecteur doit pouvoir se rendre compte aisément que les tests conviennent pour mesurer la matière que l'on veut évaluer. Si la preuve n'est pas faite qu'ils sont bien adaptés, valides et fiables, il y a toutes les raisons de se montrer méfiant. Cette remarque s'applique aussi bien à un test national qu 'à un test international.

Le plus souvent, les tests ont pour but d'évaluer les acquis des élèves à un stade donné de leur scolarité. Ils ont parfois pour but d'évaluer les acquis dont les élèves ont besoin pour pouvoir prendre part à la vie de la société. Quoi qu'il en soit, il faut s'assurer que les tests remplissent correctement leur office.

E n premier lieu, une définition suffisamment détaillée doit être fournie de ce que l'on entend par lecture ou par mathématiques (ou toute autre matière évaluée) au stade particulier de la scolarité qui a été retenu. Si une telle définition ne figure pas dans le rapport (ne fût-ce qu'en annexe), il y a lieu de douter de la qualité de l'étude. E n second lieu, une grille descriptive du test ou un cadre conceptuel de l'évaluation doit normalement être disponible. Cela peut se présenter sous différentes formes mais, en général, il s'agit d'une grille sur laquelle on porte le contenu en ordonnée et les comportements cognitifs en abscisse. Chaque case de la grille correspond à un objectif éducatif. Là encore, la grille doit figurer dans le rapport de l'étude.

Si l'étude vise à évaluer ce que les élèves ont appris à un stade donné, il faut que les instruments de test couvrent le programme scolaire officiel du ou des pays participants. O n procède d'habitude en deux temps : d'abord en effectuant une analyse du contenu des programmes scolaires dans les différents pays (à partir des instructions officielles relatives aux programmes, des manuels scolaires, du contenu des examens et des plans de cours communiqués par les

113

Page 108: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

enseignants) ; ensuite en élaborant à partir de cette analyse une grille nationale ou internationale devant servir à l'élaboration du ou des test(s). Parmi les objectifs recensés, beaucoup seront c o m m u n s à l'ensemble des pays, mais certains ne seront partagés que par un sous-groupe de pays. Enfin, la matière évaluée est souvent subdivisée en plusieurs sous-domaines. E n lecture, par exemple, on distingue les textes narratifs, les textes informatifs et les documents, ou bien la lecture à des fins littéraires, la lecture d'information, etc. Il est indispensable de décrire avec précision le contenu de ces sous-domaines.

Dans certains cas, l'étude met l'accent sur d'autres types de résultats, c o m m e l'aptitude des élèves à lire suffisamment bien pour pouvoir mener une vie autonome dans la société ou pour passer dans la classe supérieure. Il faut alors commencer par faire des études préliminaires dans chaque pays, en désignant des panels d'experts chargés de définir les seuils d'exigence correspondant à ce type de résultats. C'est un processus complexe qu'il faut conduire de manière à obtenir un résultat convaincant.

Dans d'autres cas encore, on s'attend à obtenir une échelle hiérarchisée de savoir-faire ou de compétences représentatifs de l'année d'études ou de la tranche d'âge considérée. Pour chaque niveau de l'échelle, une description ce que les élèves savent faire est fournie. Le tableau 5.1 donne un exemple d'échelles de compétences des élèves de sixième année, élaborée dans le cadre de l'étude S A C M E Q . Les deux échelles comprenaient huit niveaux et concernaient les élèves de sixième année et leurs enseignants.

114

Page 109: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

Tableau 5.1 Niveaux de compétences en lecture et en mathématiques établis dans le cadre de l'étude S A C M E Q

Niveau de Lecture compétences

Mathématiques

Niveau 1 Pré-lecture : associe des mots et des images portant sur des concepts concrets et des objets quotidiens. Suit des instructions écrites, courtes et simples.

Pré-calcul : effectue une addition ou une soustraction à une seule étape. Reconnaît des formes simples. Associe des nombres et des images. Compte en nombres entiers.

Niveau 2 Lecture émergente : associe des mots et des images comportant des prépositions et des concepts abstraits. Utilise des systèmes de signes (par vocalisation, emploi de structures de phrases simples et de mots familiers) pour interpréter des phrases en les lisant.

Calcul émergent : effectue une addition ou une soustraction en deux étapes comportant des retenues, des vérifications (par le biais d'estimations très simples) ou la conversion d'images en nombres. Estime la longueur d'objets familiers. Reconnaît des formes en deux dimensions courantes.

Niveau 3 Lecture basique : effectue la lecture en aval ou en amont d'un texte court et simple pour en interpréter la signification (en associant des mots et des phrases, complétant une phrase ou appariant des mots adjacents).

Calcul basique : traduit des informations verbales (présentées dans une phrase, sur un graphique simple ou un tableau) en utilisant une opération arithmétique avec plusieurs étapes répétées. Traduit des informations graphiques en fractions. Interprète la valeur de nombres entiers jusqu'au millier. Interprète des unités de mesure quotidiennes simples.

Niveau 4 Lecture pour le sens : effectue la lecture en aval ou en amont d'un texte pour y localiser des informations situées dans différents passages, les relier et en interpréter la signification.

Début de calcul : traduit des informations verbales ou graphiques en problèmes arithmétiques simples. Utilise plusieurs opérations arithmétiques différentes (dans le bon ordre) portant sur des nombres entiers, des fractions ou des nombres décimaux.

115

Page 110: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

Tableau 5.1 (suite)

Niveau de Lecture compétences

Mathématiques

Niveau 5 Lecture interprétative : effectue la lecture en aval et en amont d'un texte pour relier des informations situées dans différents passages, les interpréter et les associer à des informations extérieures (issues de connaissances factuelles mémorisées) afin d'en «enrichir» le sens et de le situer dans un contexte.

Capacité de calcul avancée : traduit des informations verbales, graphiques ou tabulaires sous forme arithmétique pour aider à résoudre un problème donné. Résout des problèmes à plusieurs étapes (en réalisant les opérations arithmétiques dans le bon ordre) portant sur des unités de mesure quotidiennes et/ou faisant appel simultanément à des nombres entiers et des nombres décimaux. Convertit des unités de mesure de base (des mètres en centimètres par exemple).

Niveau 6 Lecture inférentielle : effectue la lecture en aval et en amont de textes plus longs (textes narratifs ou informatifs et documents) afin de relier des informations extraites de différents passages et d'en déduire les intentions de l'auteur.

Compétences mathématiques : résout des problèmes à opérations multiples (en réalisant ces opérations arithmétiques dans le bon ordre) portant sur des fractions, des rapports et des nombres décimaux. Traduit des informations verbales et graphiques sous forme de symboles, de formules algébriques et d'équations pour aider à résoudre un problème mathématique donné. Vérifie les réponses et fait des estimations en s'appuyant sur des connaissances extérieures (non fournies dans l'énoncé).

Niveau 7 Lecture analytique : effectue la lecture en aval et en amont de textes plus longs (textes narratifs ou informatifs et documents) pour y localiser des informations extraites de différents passages et les combiner afin d'en déduire la pensée de l'auteur (systèmes de valeurs, préjugés ou tendances).

Résolution de problèmes : extrait et convertit des informations contenues dans des tableaux (des unités de mesure par exemple), des graphiques, des représentations visuelles et symboliques, pour comprendre et résoudre des problèmes à plusieurs étapes.

116

Page 111: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

Tableau 5.1 (suite)

Niveau de Lecture Mathématiques compétences

Niveau 8 Lecture critique : effectue la lecture Résolution de problèmes abstraits : en aval et en amont de textes plus identifie la nature d'un problème longs (textes narratifs ou informatifs mathématique non explicitement et documents) pour y localiser des posé et intégré dans des informations extraites de différents informations verbales ou passages et les combiner afin d'en graphiques et le traduit sous forme déduire et d'apprécier la conception de symboles, de formules qu'a l'auteur du thème traité algébriques ou d'équations et des caractéristiques du lecteur, permettant de résoudre le problème, par exemple son âge, ses connaissances et ses convictions personnelles (systèmes de valeurs, préjugés ou tendances).

Source : C o m m u n i c a t i o n personnelle de Kenneth Ross , chef de l'équipe de PIIPE chargée du pilotage de la qualité de l'éducation.

L'important, dans ce cas, est de rédiger les items adaptés à chacun de ces niveaux de compétences.

D ' u n e manière générale, les différences entre pays sont beaucoup moins marquées dans des matières c o m m e la lecture et les langues étrangères que dans d'autres matières, c o m m e les mathématiques, l'histoire et les sciences humaines. Il est néanmoins indispensable de convenir d'une grille internationale capable de couvrir l'essentiel des programmes scolaires des différents pays si l'on veut que l'étude mette l'accent sur les contenus c o m m u n s de ces programmes scolaires nationaux.

Les items de test doivent être rédigés de manière à couvrir toutes les cases se rapportant à des objectifs contenus dans la grille. Il y a lieu de se mettre d'accord sur les formats d'items à utiliser, et de justifier les décisions prises. Les items doivent être préalablement expérimentés et analysés. En cas d'utilisation de questions à choix multiple, les propositions erronées doivent être plausibles, non seulement par leur contenu, mais aussi par leur attractivité et leur potentiel de discrimination. Les questions à réponse construite où il est demandé aux élèves de rédiger leur propre réponse doivent être

117

Page 112: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

préalablement testées pour s'assurer qu 'une notation fiable des réponses est possible. Si l'on compte élaborer une échelle des compétences, il importe qu'il y ait accord sur le sens à donner à cette échelle, ce qui implique qu'on décrive, pour chaque degré de l'échelle, les tâches qu'un élève doit être capable d'accomplir. Il faut, de m ê m e , que les items soient jugés adéquats et qu 'on puisse montrer que le test a un bon indice de fiabilité. Si l'un des objectifs est d'analyser l'évolution des performances dans le temps (entre l'étude précédente et l'étude en cours par exemple), il importe de prévoir un nombre suffisant d'items c o m m u n s aux deux études pour permettre une évaluation fiable de cette évolution éventuelle. Enfin, il y a lieu de déterminer, pays par pays, si certains items ne présentent pas de biais. Les propriétés psychométriques des items du test doivent être semblables dans un nombre suffisant de pays. S'il est nécessaire d'utiliser des batteries de tests comportant des items d'ancrage, il convient de vérifier, lors de la phase d'expérimentation, que les items d'ancrage utilisés pour calibrer les divers tests sur la m ê m e échelle remplissent leur fonction de manière adéquate. Si l'on évalue l'évolution des acquis au cours du temps, il convient d'être attentif au positionnement des items d'ancrage dans les tests. Si ce point est négligé, la difficulté des items cesse d'être un paramètre intrinsèque et peut varier en fonction de la place de l'item dans le test. Là encore, les chercheurs doivent préciser la manière dont ils ont procédé pour pallier cette difficulté.

D e s épreuves pratiques comportant des manipulations sont parfois nécessaires pour couvrir tout l'éventail des objectifs définis pour une matière. Lors de la conception de ces tâches, plusieurs aspects sont à prendre en compte : le fait que le temps dont on dispose est en général limité, que l'équipement à utiliser doit être simple, disponible en grande quantité et d 'un coût raisonnable, à la portée des pays participants, et enfin que le format des réponses doit permettre une notation fidèle et uniforme à travers pays. Si l'on utilise une batterie de tests administrés par rotation, il faut s'assurer que la rotation a été organisée correctement. Il faut, par exemple, que des items d'ancrage aient été introduits dans chacune des formes du test, de manière à ce que tous les items puissent être rapportés à une seule et m ê m e échelle.

118

Page 113: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

Enfin, il importe de prouver la validité des tests utilisés. Les chercheurs doivent décrire les contrôles de validité qu'ils ont, le cas échéant, réalisés. Il appartiendra ensuite au lecteur de déterminer si ces contrôles sont ou non convaincants. C e qui est sûr, c'est que si les chercheurs n'en ont pas fait mention dans le rapport, ces contrôles n'ont pas été effectués. Dans ce cas le lecteur doit se méfier, car il ne peut pas se faire une idée de la validité des tests. Lorsque des contrôles de validité sont réalisés à l'échelon international, les chercheurs invitent habituellement les pays participants à préciser les items de test qui figurent à leur programme scolaire. Ils calculent ensuite un score fondé sur les items couvrant le programme scolaire national, ainsi qu 'un score global (fondé sur tous les items du test, qu'ils fassent ou non partie du programme scolaire national). Chacun des pays se voit ensuite attribuer un ensemble de scores : le score global, le score fondé sur les items figurant au programme du pays A , un autre fondé sur les items du pays B , puis du pays C , et ainsi de suite. Les résultats de diverses études internationales ont montré que le classement des pays ne varie pas de façon significative selon que l'on utilise l'un quelconque de ces scores. Dans ce cas, le test peut être considéré c o m m e valide puisqu'il fournit une mesure de la variable de résultat qui est satisfaisante pour chaque pays.

Les questions qu'il convient de se poser en ce qui concerne la conception des tests sont les suivantes :

• A-t-on fourni une description bien fondée et pertinente du domaine évalué par le test ?*

• A-t-on bien défini les sous-domaines de chaque matière ?* • Les méthodes appliquées pour analyser le programme scolaire en

cours ou pour déterminer les compétences nécessaires à une participation active à la vie de la société sont-elles pertinentes ?

• A-t-on appliqué des méthodes adéquates lors de la rédaction des items ?

• A-t-on effectué un pré-test de l'instrument et analysé les items ?* • C o m m e n t a-t-on réalisé la calibration des échelles de résultats ?* • Les contrôles de validité sont-ils pertinents ?* • Les indices de fiabilité des tests sont-ils suffisamment élevés ?*

119

Page 114: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

A-t-on correctement conçu les questionnaires

et les échelles d'attitude et les a-t-on préalablement

expérimentés ?

Nombreux sont ceux qui pensent qu'il est plus facile d'élaborer des questionnaires et des échelles d'attitude que de concevoir des tests. Ils font erreur. Alors qu'il existe un large éventail de techniques qui peuvent être utilisées pour faciliter l'élaboration de tests, cela est beaucoup moins vrai pour l'élaboration de questionnaires. Le secret de l'élaboration des questionnaires (et des échelles d'attitude) est l'expérimentation, l'expérimentation, et encore l'expérimentation. S'il n 'y a pas eu d'étude pilote, le risque est très grand que ces instruments fournissent des résultats sans valeur.

Les questionnaires doivent comporter des items qui couvrent tous les indicateurs requis pour répondre aux questions formulées pendant la phase préliminaire de l'étude. Plusieurs de ces indicateurs seront ce qu 'on appelle des « variables dérivées » : il s'agit d'indicateurs construits à partir des informations contenues dans une ou plusieurs questions. Certains sont de simples ratios ; d'autres des facteurs construits en combinant tout un ensemble de variables. Les questions doivent être rédigées dans un style simple, aisément compréhensible par tous les élèves (bons et moins bons) concernés. Toutes les questions doivent faire l'objet d 'un essai-pilote. Des analyses doivent être effectuées pour s'assurer que les réponses obtenues contiennent des informations précises et fiables pour la mise au point des indicateurs et des variables dérivées. La liste des variables dérivées, accompagnée d'explications sur leur composition et sur leur fiabilité, est habituellement présentée dans une annexe du rapport de l'étude.

Les échelles d'attitudes, qui font parfois partie des questionnaires, sont destinées à mesurer des dimensions spécifiques. Ces dimensions doivent être décrites. O n construit couramment les items d'attitude au m o y e n d'études d'ampleur limitée portant sur des sujets appartenant à la population cible, dont on recueille les déclarations à propos de la dimension visée. Ces instruments doivent également subir un essai-pilote et faire l'objet d'analyses d'items. Il faut bien souvent utiliser

120

Page 115: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

dans l'essai-pilote trois fois plus d'items que le nombre nécessaire pour l'échelle d'attitude que l'on compte mettre au point. Les chercheurs devront faire la preuve que l'échelle finale a un bon indice de fiabilité et est valide par rapport à l'usage qu 'on veut en faire. Il est important d'examiner, dans la description de l'élaboration des échelles d'attitude, la façon dont les chercheurs ont choisi le nombre de réponses possibles.

Les questions qu'il convient de se poser sont les suivantes :

• A-t-on décrit la méthode appliquée pour vérifier que les questions couvraient tous les thèmes de recherche identifiés dans le cadre de l'étude ?*

• Les items d'attitude ont-ils été collectés auprès de la population à laquelle ils étaient destinés ?

• Les questionnaires et les échelles d'attitude ont-ils été soumis à divers cycles d'études-pilote ?*

• A-t-on fourni une description des variables dérivées ?* • Là où c'est nécessaire, a-t-on fourni une description des échelles

correspondant aux dimensions mesurées ?*

Dans le cas d'études internationales, a-t-on vérifié

les traductions qui ont été faites de la langue source

vers les autres langues cibles ?

Tous les items doivent naturellement être traduits, puis soigneusement vérifiés, pour s'assurer que, pour chaque item, le degré de difficulté linguistique est approximativement le m ê m e dans toutes les langues. Il existe des procédures rigoureuses pour ce faire et, s'il les ont utilisées, les chercheurs en auront certainement donné une description dans leur rapport. Les procédures de vérification sont par ailleurs onéreuses. Si aucune vérification n'a été entreprise, il est difficile d'apprécier la comparabilité du test, des items du questionnaire et des échelles d'attitude. Dans le cas d'une étude internationale, il faut souvent adapter les items des questionnaires de la version internationale pour qu'ils soient compréhensibles dans la version nationale. Le centre international doit contrôler attentivement chaque

121

Page 116: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

version nationale, sans quoi de multiples problèmes risquent de se produire : dans une étude internationale, où une série de questions portait sur la « taille des classes », la version espagnole demandait le nombre de mètres carrés au lieu du nombre d'élèves dans la classe.

L a principale question à se poser est la suivante :

• A-t-on procédé à une vérification approfondie de la traduction ?*

A-t-on correctement réalisé la collecte des données ?

L a collecte des données est une phase cruciale dans une étude. L'objectif est de tester toutes les personnes retenues dans l'échantillon, en faisant en sorte qu'elles répondent à toutes les questions du questionnaire et à tous les items de test auxquels elles sont à m ê m e de répondre. Habituellement, un guide est rédigé à l'attention des personnes chargées de collecter les données à l'échelon national. C e guide est indispensable pour s'assurer que la collecte de données soit effectuée selon des procédures permettant de fournir des données valides, dans des conditions semblables dans chacune des écoles participant à l'évaluation.

L e guide destiné au centre national - parfois appelé « guide du N R C » (coordinateur de la recherche nationale) ou « guide du N P M » (directeur national de projet) - est censé couvrir, dans les moindres détails, tous les aspects à prendre en compte lors de la collecte de données. Il contient notamment des exemplaires des « fiches de suivi des écoles » et des « fiches de suivi des élèves » à utiliser pour éviter tout risque d'erreur dans le choix des écoles, des élèves et des enseignants (si les questionnaires ou les tests sont administrés à des enseignants). U n deuxième guide est généralement rédigé à l'attention des personnes chargées de se rendre dans les écoles pour y collecter les données ; il contient des indications détaillées sur la tâche à accomplir dans chaque école sélectionnée. U n troisième guide, relatif à l'administration des tests, indique (a) ce que chaque administrateur de test doit faire et dire pendant les épreuves, (b) les procédures relatives à l'administration des instruments et leur chronométrage, et (c) les consignes pour l'emballage et la réexpédition du matériel collecté vers

122

Page 117: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

le centre national. Le nombre d'écoles manquantes et d'élèves manquants lors de la collecte des données doit être réduit au min imum. Dans leur rapport, les chercheurs doivent indiquer le pourcentage d'écoles et d'élèves qui ont manqué à l'appel. D'ordinaire, on considère que le taux de non-retours ne doit pas dépasser 10 % des écoles et 20 % des élèves de l'échantillon. Toutefois, puisqu'il n'existe pas de procédures réellement valables pour suppléer à ces données manquantes, ces chiffres sont à considérer c o m m e des niveaux maxima absolus.

Dans certaines études, on ne consacre pas assez d'efforts à minimiser le nombre de réponses manquantes ou incomplètes. Il est essentiel que le centre d'études attire l'attention des personnes chargées de recueillir les tests ou les questionnaires sur ce point, et que ces personnes vérifient les documents avant qu'ils ne quittent l'école. À ce stade, en effet, il est encore possible de repérer les questions laissées sans réponse et de les faire compléter.

Dans le cas d'études à large échelle, il n'est pas rare qu'un contrôle qualité soit réalisé pendant le déroulement de l'épreuve. D e s administrateurs de test spécialement formés sont alors envoyés à titre d'observateurs dans des écoles choisies au hasard, avec pour mission de vérifier le bon déroulement des épreuves. Ils vérifient par exemple que le test est bien administré aux élèves retenus dans l'échantillon et que la disposition de la salle d 'examen évite tout risque de fraude.

À l'issue de la collecte des données, le taux de réponse, tel que défini à la section concernant l'échantillonnage, doit être au moins égal à 85 % (taux de réponse des écoles x taux de réponse des élèves).

Les questions qu'il convient de se poser sont les suivantes :

• Les guides explicatifs sont-ils évoqués dans le rapport de recherche ?

• A-t-on fourni une description des fiches de suivi des écoles et des élèves ?

• Le taux de réponses effectives (calculé sans tenir compte des éventuelles écoles de remplacement) est-il suffisamment élevé ?*

123

Page 118: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

• Le nombre de données manquantes est-il suffisamment faible ?* • A-t-on procédé à un contrôle qualité durant les épreuves ?

A-t-on appliqué les bonnes procédures en matière

de saisie et de nettoyage des données, de codage du test

et de pondération d'échantillonnage ?

Les données collectées sont habituellement saisies sur ordinateur au centre national, en utilisant un logiciel de saisie fourni par les chercheurs. O n prévoit souvent une double saisie pour 10 % des instruments à titre de vérification. L'utilisation d'un logiciel de saisie de bonne qualité permet d'effectuer plusieurs vérifications initiales des données et de corriger ainsi immédiatement les erreurs. Plusieurs contrôles sont ensuite effectués, qu'il s'agisse d'une étude nationale ou internationale. Si plusieurs pays participent à l'étude, il convient d'appliquer les m ê m e s règles de nettoyage. Il est en effet très difficile de comparer les résultats entre pays, si chacun d'eux applique ses propres règles de nettoyage. Des erreurs de saisie sont toujours possibles, m ê m e si le programme de saisie est bien conçu. Des tests de cohérence permettent de repérer les erreurs dans les réponses figurant dans les questionnaires. Ces erreurs sont signalées au centre national, lequel prend alors contact avec l'école pour recueillir des explications, puis communique les données corrigées au centre international de traitement des données. Les corrections sont ensuite effectuées. C e processus de « nettoyage » peut prendre du temps, notamment si de nombreux pays ont participé à l'étude. Il faut néanmoins souligner que le nettoyage des données peut aussi être désespérément long dans le cas où un pays s'est montré négligent dans sa collecte de données.

Il importe que lecteur du rapport soit averti des variables qui comportent trop de données manquantes pour pouvoir être utilisées dans les analyses. Si de nombreuses variables comportent plus de 20 % de données manquantes, le lecteur doit se méfier. Par ailleurs, il importe de connaître la manière dont ce problème des données manquantes a été traité. Plusieurs solutions sont possibles ; l'une d'entre elles consiste à imputer des valeurs aux données omises.

124

Page 119: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

Quelle que soit la méthode choisie, il faut qu'elle soit indiquée dans le rapport. Si rien n'est dit sur les données manquantes, le lecteur doit se méfier.

Si le test comprend des questions à réponse construite, il faudra utiliser, pour leur correction, un guide préétabli c o m m u n à tous les correcteurs et à tous les pays participants. Là encore, il est essentiel que les procédures de correction soient indiquées, en annexe ou dans un rapport technique distinct.

Enfin, il est nécessaire de calculer des pondérations d'échantillonnage pour tenir compte du fait que tous les élèves n'ont pas eu la m ê m e probabilité d'être sélectionnés. (Ces déséquilibres dans les probabilités de sélection sont imputables aux cas de non-retour lors de la collecte, à des inégalités délibérées de sélection entre des strates, à des erreurs dans la base d'échantillonnage, aux données manquantes, etc.). Il y a pratiquement toujours des déséquilibres de ce type dans une enquête fondée sur un échantillon, ce qui rend indispensable le calcul et l'utilisation de pondérations. O n trouvera habituellement dans le rapport de l'étude une description de la méthode appliquée pour le calcul des pondérations ou, à défaut (mais seulement dans des cas exceptionnels), des explications sur les raisons pour lesquelles des pondérations d'échantillonnage n'étaient pas nécessaires. Si la méthode de calcul des pondérations n'est pas décrite dans le rapport, il est fort probable que ces calculs auront été omis et que les estimations des moyennes et variances des variables seront fausses.

Les questions qu'il convient de se poser sont les suivantes :

• A-t-on utilisé un programme de saisie des données comportant des tests de cohérence ?*

• A-t-on pratiqué d'autres contrôles ?* • Le nombre de variables comportant plus de 20 % de données

manquantes est-il élevé ? • A-t-on calculé et utilisé des pondérations d'échantillonnage ?*

125

Page 120: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

A-t-on correctement réalisé l'analyse des données ?

Tous les rapports de recherche comportent habituellement des analyses univariées et quelques analyses multivariées. Les analyses doivent être en accord avec les questions à étudier, mais dans de nombreux cas, la complexité de la question est telle qu'une analyse univariée ne suffit pas à y répondre.

Certaines analyses sont simples, d'autres plus complexes. Normalement, une série de maquettes de tableaux de résultats est générée au début de l'étude, pour couvrir l'ensemble des questions étudiées. Les analyses permettent de remplir les cellules initialement vides de ces maquettes. Si le lecteur du rapport n'est pas un familier des types d'analyse utilisés, il peut être avisé de s'entourer d'experts qui lui signaleront si les analyses sont bien celles qui conviennent aux questions posées.

O n peut citer quelques exemples d'analyses « inadéquates » que l'on rencontre fréquemment dans des études de mauvaise qualité. Il arrive que les chercheurs fassent figurer une moyenne dans l'une ou l'autre cellule du tableau de résultats, alors que cette cellule correspond à un sous-test c o m p o s é de trop peu d'items pour permettre l'établissement d'une échelle distincte de calcul d 'un score. Il arrive aussi que les chercheurs interprètent un coefficient de corrélation de premier ordre, sans vérifier si la relation ainsi mise en évidence reste significative lorsque l'on tient sous contrôle d'autres facteurs c o m m e le S S E des élèves ou la zone d'implantation de l'école (zone rurale ou zone urbaine). Autre exemple encore : il arrive que l'on réalise des analyses multivariées portant sur la variance entre écoles en faisant intervenir 100 variables explicatives, alors que l'échantillon ne comporte que 150 écoles (normalement, pour ces analyses, il faut disposer au m i n i m u m de six fois plus d'écoles que de variables.)

Lorsque de nouvelles dimensions (ou facteurs) ou de nouvelles échelles sont établies dans le cadre de l'analyse des données, il est essentiel qu'elles soient décrites dans le rapport.

126

Page 121: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Normes techniques applicables aux enquêtes par échantillonnage dans le cadre du pilotage des résultats des élèves

Les erreurs d'interprétation sont également fréquentes dans les études de qualité médiocre. Les auteurs de ces rapports de recherche font parfois preuve d'imprudence, en oubliant que corrélation ne signifie pas nécessairement relation de cause à effet ou en négligeant le fait que la manière dont les sujets répondent à des items sollicitant leurs avis sur tel ou tel sujet ne correspond pas nécessairement à ce qu'il pensent réellement (il y a par exemple des différences entre la manière dont des enseignants perçoivent les objectifs de l'école et ce qu'ils expriment dans leurs réponses à des questions sur ce point).

C o m m e on l'a évoqué précédemment, il est essentiel que toute estimation soit assortie d'une erreur type d'échantillonnage. Il existe aujourd'hui des programmes qui se prêtent parfaitement au calcul des erreurs types, si bien qu'il devient raisonnable d'exiger que l'erreur type d'échantillonnage figure systématiquement à côté de chacune de ces estimations, sur tous les tableaux et les graphiques du rapport. À défaut, on est en droit de s'interroger sur les compétences des chercheurs.

Parmi les questions qu'il convient de se poser, citons les suivantes :

• Les scores au test (scores généraux ou scores intermédiaires) ont-ils été calculés à partir d'un nombre suffisant d'items ? Dans le cas contraire, on peut douter des compétences des chercheurs.*

• E n analysant la relation entre deux variables, a-t-on pris en compte les variables appropriées ?*

• Dans le rapport de recherche, l'erreur type d'échantillonnage figure-t-elle à côté de chaque estimation ?*

La rédaction du rapport de recherche est-elle de bonne

qualité ?

Le rapport doit être écrit clairement et aborder successivement tous les thèmes définis dans le cadre de l'étude. La source des données que l'on discute doit toujours être clairement précisée, de m ê m e que les raisons qui justifient d'interpréter les résultats de la manière indiquée. Il y a lieu de noter que, dans certaines études, un premier rapport présente les principaux résultats univariés, tandis que des

127

Page 122: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

rapports thématiques distincts sont consacrés à l'analyse des groupes de questions de recherche les plus importants.

Il est important que les chercheurs recueillent des commentaires sur leur rapport avant d'en rédiger la version définitive. Ils peuvent s'adresser à d'autres collègues, mais aussi à des personnes appelées à utiliser les résultats de leur étude, ou à d'autres acteurs du système, tels que des chefs d'établissement et des enseignants. Si le principal utilisateur des résultats est le ministère de l'Éducation, il serait bon que les chercheurs puissent discuter, avec des membres de ce ministère et avant la publication du rapport, à propos des recommandations qu'ils envisagent d 'y inclure. U n e fois encore, si les chercheurs ont procédé de la sorte, ils l'auront mentionné dans le rapport. Il est par ailleurs préférable pour un ministère de l'Éducation que les recommandations (propositions d'action) formulées par les chercheurs à la lumière des résultats de leur étude soient classées non seulement par thème, mais aussi par coût (faible, moyen , élevé) et par délai de mise en œuvre (à court, m o y e n et long terme).

Enfin, on doit s'attendre normalement à ce que les chercheurs mettent les fichiers de données obtenus à la disposition du public sous forme d'archivé afin que d'autres personnes puissent procéder à leurs propres analyses, soit pour vérifier les conclusions des auteurs de l'étude, soit pour explorer les données à leur tour en vue de répondre à d'autres questions s'y rapportant. Il est essentiel que ces archives soient disponibles le plus rapidement possible après (ou au m o m e n t de) la publication du rapport et sous un format facilement accessible.

128

Page 123: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

VI. Conclusion et conséquences pour la planification de l'éducation

O n a pu voir ci-dessus qu'il est impératif de mener des études c o m m e celles qui ont été évoquées, pour permettre aux autorités d 'un pays d'évaluer les performances de leur système éducatif. Tout c o m m e les systèmes de gestion qui, à intervalles réguliers, collectent des données sur les intrants et les effectifs scolaires, de m ê m e des enquêtes de rendement doivent être organisées périodiquement par les autorités pour recueillir des informations sur les résultats des élèves.

Dans nombre de pays, les responsables de la gestion du système éducatif confient au service de planification la collecte de ces données scolaires. Le directeur du service de planification doit alors s'assurer qu'il dispose d 'un personnel qualifié en la matière (sachant que l'acquisition de telles compétences est un processus de longue haleine) ou bien faire appel à des sous-traitants. Dans cette dernière hypothèse, le directeur doit veiller à ce qu 'un ou deux membres de son service possèdent l'expérience et le savoir-faire qui sont évoqués au chapitre V, de manière à prévenir le risque qu'ils s'adressent à un sous-traitant incompétent. Le directeur peut aussi décider de s'adresser à un institut national de recherche sur l'éducation, s'il en existe un dans le pays ; mais, en tout état de cause, il doit s'assurer que cet institut est compétent et expérimenté dans ce domaine. Dans tous les cas de figure, la formation d'un personnel clé est un élément crucial.

Les planificateurs doivent également prendre en compte plusieurs autres aspects.

Le personnel

Si la tâche est confiée au service de planification, le directeur de ce service fera en sorte de disposer d 'un m i n i m u m de personnel. L a composition type de ce personnel est indiquée ci-dessous à titre d'exemple.

129

Page 124: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

1. U n responsable du pilotage (à plein temps). Il devra avoir fait la preuve préalable d'aptitudes à la direction flexible d'une équipe de recherche ; il faut aussi qu'il soit compétent dans le domaine du développement d'instruments d'évaluation.

2. U n responsable de la planification (à plein temps) rompu aux techniques d'analyse statistique (SPSS et S A S ) et d'échantillon­nage aléatoire. Il possédera également une expérience pratique des programmes de saisie de données, c o m m e W I N D E M .

Ces deux personnes devront être capables d'interpréter des analyses de données et de rédiger des rapports de recherche.

3. Plusieurs agents à temps partiel (de cinq à sept), chargés d'aider à l'élaboration des instruments. Il peut notamment s'agir de personnes travaillant au centre d'élaboration des programmes scolaires.

4 . Plusieurs personnes chargées de la saisie et du nettoyage des données. Elles n'interviendront qu'à deux occasions - la phase d'étude pilote et la phase principale de collecte des données.

Le responsable du service veillera à ce que les équipements et les locaux requis soient disponibles (sans oublier un local pour stocker les instruments qui auront été retournés par les écoles).

M ê m e s'il est fait appel à un sous-traitant, il est deux moments de l'opération où l'équipe de planification sera plus particulièrement impliquée : au début et à la fin. A u tout début, elle devra contacter tous les services du ministère afin de recueillir les questions sur lesquelles ces services souhaitent que porte l'étude. Ces questions doivent être formulées avec soin, si l'on veut pouvoir s'en servir pour déterminer les variables à utiliser dans l'étude. À la fin de l'étude, quand les réponses à ces questions seront devenues disponibles, l'équipe de planification devra s'appuyer sur ces résultats pour formuler, en collaboration avec les responsables concernés des divers services du ministère, des recommandations d'action politique.

130

Page 125: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Conclusion et conséquences pour la planification de l'éducation

Dans le cas d'une étude internationale, la rédaction

d'un rapport national reste nécessaire

Le service de planification veillera à ce qu'un rapport de recherche national soit rédigé. Le rapport international ne suffit généralement pas. En effet, de nombreux pays ajoutent généralement au tronc c o m m u n du questionnaire leurs propres options nationales et ces dernières ne font l'objet d'aucune analyse à l'échelon international ; l'analyse de ces options n'est effectuée que dans les rapports nationaux. Cet aspect mérite d'être rappelé, m ê m e s'il paraît évident.

Le lien entre bases de données EMIS

et bases de données de l'enquête par échantillonnage

Maints pays disposent d'un système d'information pour la gestion de l'éducation (EMIS) qui permet de réaliser chaque année des audits des écoles du pays en recueillant dans chacune de ces écoles des données portant sur 20 à 60 variables. Quand ces données sont disponibles, il peut paraître redondant de les recueillir à nouveau dans le cadre d'une enquête de rendement par échantillonnage. Il faut donc pouvoir fusionner les données contenues dans ces deux bases de données. L'une des conditions est d'utiliser, dans les deux cas, les m ê m e s numéros d'identification des écoles. Cette uniformisation existe déjà dans certains pays, mais non dans d'autres. Il incombe aux planificateurs de mettre en place, dans les circonscriptions scolaires et les régions de leur pays, un système d'identification des écoles qui puisse être utilisé pour les diverses enquêtes.

Quelques risques politiques à prendre en compte

O n a évoqué dans cet ouvrage le cas où les résultats de l'enquête ont été présentés sous la forme de niveaux min imum et niveaux souhaitables de compétences atteints par les élèves du pays. Il faut du courage au ministère de l'Éducation pour autoriser la fixation de telles normes avant que le test n'ait eu lieu. Cela nécessite de désigner des groupes de spécialistes dans la matière concernée (et parfois aussi d'autres acteurs) qui seront chargés de définir les items qui doivent

131

Page 126: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

être réussis (ou les taux de réussite à des sous-ensembles d'items) en vue de fixer ces niveaux m i n i m u m et souhaitable. Q u e se passera-t-il si 50 % seulement des élèves atteignent le niveau m i n i m u m ? D u point de vue politique, la situation peut devenir extrêmement embarrassante. Pourtant, c'est exactement ce type d'information que demandent la plupart des ministères. Dans certains cas, ils en informeront l'opinion publique, dans d'autres, non ; mais qui doit prendre cette décision ?

Q u e se passera-t-il par ailleurs si un pays qui a participé à une étude internationale arrive en tête ou en queue de classement ? S'il arrive en tête, les autorités constituées risquent de s'abstenir de toute action, au prétexte que tout va bien. S'il est classé dernier, ce peut être humiliant. Le ministre peut être tenté de penser qu'il ne vaut pas la peine d'investir tant d'argent dans une étude pour arriver à ce résultat. Pourtant, l'expérience montre que, dans plusieurs pays qui ont vécu cette situation, les ministères en ont tiré parti et se sont efforcés de progresser. Après tout, se dit-on, en pareil cas, les résultats ne peuvent que s'améliorer lors de la prochaine enquête ! L'important, heureusement, n'est pas le classement lui-même ( m ê m e si d'aucuns considèrent qu'il est toujours intéressant de savoir comment son pays se situe par rapport à d'autres), mais plutôt les disparités de résultats entre élèves, écoles et régions d 'un m ê m e pays. Il est également utile de connaître les relations qui existent entre différentes variables, ce qui donne des pistes sur les solutions susceptibles d'améliorer l'éducation, tant sur le fond que sur la forme. Ajoutons qu'il n 'y a jamais de pays qui s'avère bien classé dans tous domaines.

L'importance des variables malléables

Les facteurs qui influent sur les résultats scolaires ne sont pas tous manipulables ou malléables, mais beaucoup le sont. Il est important de déterminer quelles sont les variables qui peuvent être facilement modifiées par un ministère de l'Éducation. Ainsi, lorsque l'étude montre que, lorsque les parents suivent de près la scolarité de leurs enfants, ceux-ci réussissent mieux, on aurait tort de hausser les épaules et d'écarter un tel résultat en déclarant : « E h bien, c'est là une responsabilité des parents. N o u s , au ministère, nous ne pouvons

132

Page 127: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Conclusion et conséquences pour la planification de l'éducation

rien changer sur ce point ». O n peut citer le cas de programmes très efficaces (souvent appelés « programmes d'intervention ») où l'on a organisé dans les écoles des sessions de formation pour les mères de famille, ce qui s'est traduit par une évolution positive du comportement des parents à la maison (voir, par exemple, Norisah, Na imah , A b u et Solehan, 1982 ainsi que Kellaghan, Sloane, Alvarez et B loom, 1993).

Il est de la responsabilité des planificateurs d'examiner les conclusions de l'étude, de définir les domaines où des améliorations du système sont envisageables et de réfléchir, avec les chercheurs et les responsables des différents services ministériels, aux propositions concrètes (en termes de coûts et de délais de mise en œuvre) qu'il convient d'ajouter à la fin du rapport de recherche national. Dans certains cas, cependant, il peut être suffisant de mettre en évidence les conclusions du rapport de recherche (et les problèmes qu'elles soulèvent), puis d'encourager un débat public sur les solutions à envisager.

La diffusion des résultats

La diffusion d'informations relatives à une étude de pilotage, aussi bien avant qu'après son déroulement, doit être soigneusement planifiée. Le degré de « liberté d'information » qui existe dans le pays en question est à cet égard déterminant.

S'agissant de la diffusion des informations préliminaires à l'étude, il suffit parfois que le ministère avise les écoles concernées qu'elles ont été sélectionnées pour l'étude, et elles y participent effectivement. Mais dans d'autres pays, les chercheurs doivent arriver à convaincre différentes catégories d'acteurs. Ainsi, en Allemagne, ils doivent obtenir l'autorisation de cinq groupes de personnes, à savoir :

• le bureau éducatif provincial ou régional ; • les chefs d'établissement ; • le corps enseignant de chaque école (et, le cas échéant, les

syndicats) ; • l'association de parents de l'école ; • les représentants des élèves.

133

Page 128: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Le pilotage des résultats des élèves

À supposer que l'échantillon soit composé de 200 écoles, il leur faut donc obtenir 800 autorisations, plus autant d'autorisations que de directeurs de bureau régionaux. Il devient dès lors indispensable d'embaucher une personne spécialement chargée d'accomplir ces démarches et de convaincre les personnes concernées de l'intérêt que présente l'étude, des perspectives d'amélioration du système qu'elle offre et de l'utilité de leur participation.

Selon le degré de décentralisation qui existe dans un pays, l'intérêt porté aux divers niveaux de résultats (à l'échelon national, provincial ou local) pourra varier. C'est du plan d'échantillonnage que dépend la possibilité ou non de fournir de l'information utile à chacun de ces niveaux. Le plus souvent, l'échantillonnage est conçu pour générer des données à l'échelle du pays. S'il est nécessaire de fournir aussi des résultats fiables à l'échelle des diverses provinces, il faudra multiplier en proportion le nombre d'écoles dans l'échantillon. Il est donc essentiel de planifier dès la phase initiale de l'étude, les divers niveaux spécifiques auxquels il sera nécessaire de calculer les résultats que l'on entend diffuser.

E n règle générale, les chercheurs transmettent aux écoles les résultats du test, où figurent les scores obtenus par chaque élève pour les différentes matières. Ils leur communiquent également les moyennes par matière obtenues par l'école, ainsi que les moyennes obtenues par des écoles similaires (c'est-à-dire appartenant au m ê m e type d'établissement ou recrutant des élèves de S S E semblable) et les moyennes nationales.

Il y aura lieu de planifier les différents types de rapports requis par les différents publics concernés. Les planificateurs auront à décider du nombre de rapports à rédiger, par exemple :

• un rapport général de recherche ; • un rapport à l'attention des hauts responsables du ministère ; • un rapport à 1 ' attention du gouvernement ; • un rapport à diffuser dans l'opinion publique ; • un rapport à l'attention des médias ; • un rapport à l'attention des chefs d'établissement et des

enseignants, etc.

134

Page 129: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Conclusion et conséquences pour la planification de l'éducation

Il est également fréquent, en outre, que le ministère organise des rencontres entre chefs d'établissement et enseignants de différentes régions pour débattre des résultats de l'étude.

Dernière remarque

E n dépit des risques que comportent ces études et de la multiplicité des compétences que requiert leur exécution, de plus en plus de pays ont besoin des informations qu'elles génèrent. Ces informations sont, à l'évidence, d 'une grande utilité pour les décideurs. Il est cependant essentiel que ce soit le ministère qui définisse au départ les informations qu'il veut obtenir, (en formulant les questions devant guider la recherche) et qu'il veille à ce que l'étude soit menée selon des normes scientifiques rigoureuses, de manière à garantir la fiabilité des résultats obtenus. Enfin, il prêtera une attention particulière à l'interprétation des résultats et à la formulation des propositions d'amélioration du système qui en émergeront. Il est par ailleurs souhaitable de s'efforcer, autant que possible, de maintenir la cohésion des équipes qui auront été constituées et formées pour cette tâche, en évitant à tout prix qu'elles ne se désagrègent. L a formation du personnel clé des divers services de planification du ministère est un volet essentiel d 'un tel projet.

135

Page 130: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Ouvrages généraux

Choppin, B . H . 1994. « Objective tests in measurement ». Dans : T . Husén et T . N . Postlethwaite (dir. publ.), International encyclopedia of education, 2 e édition. Oxford : Pergamon Press.

Coleman, J.S. ; Campbell, E . Q . ; Hobson, C J . ; McPartland, J. ; M o o d , A . M . ; Weinfeld, F . D . ; York, R . L . 1966. Equality of educational opportunity. Salem, N e w Hampshire : Ayer and C o . Disponible sur le site : http://www.garfield.library.upenn.edu/classicsl979/ A1979HZ27500001.pdf.

D e Landsheere, G . 1994. Le pilotage des systèmes d'éducation. Bruxelles : D e Boeck-Wasmael.

Douglas, J . W . B . 1964. The home and the school: A study of ability and attainment in the primary schools. Londres : MacGibbon and Kee.

Fägerlind, I. 1975. Formal education and adult earnings: A longitudinal study on the economic benefits of education. Stockholm : Almqvist & Wiksell.

Foshay, A . W . (dir. publ.). 1962. Educational achievement of thirteen-year-olds in twelve countries. Hambourg : Institut de 1 ' U N E S C O pour l'éducation.

Hastedt, D . 2004. « Differences between multiple-choice and constructed response items in P I R L S 2001 ». D a n s : C . Papanastasiou (dir. publ.), Proceedings of the IEA

137

Page 131: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

International Research Conference 2004. P I R L S , vol. 3. Nicosie : University of Cyprus Press.

Husen, T. ; Kogan, M . (dir. publ.). 1984. Educational research and policy. How do they relate ? Oxford : Pergamon Press.

Keeves, J.P. 1994. « Tests: Different types ». Dans : T. Husén et T . N . Postlethwaite (dir. publ.), International encyclopedia of education, 2 e édition. Oxford : Pergamon Press.

Kellaghan,T. ;Sloane, K . ; Alvarez, B . ; Bloom, B . S . 1993. The home environment and school learning. San Francisco : Jossey-Bass Publishers.

Kellaghan, T. ; Greaney, V . 2001. L'évaluation pour améliorer la qualité de l'enseignement. Principes de la planification de l'éducation, n° 71. Paris : I I P E - U N E S C O .

Norisah bt Atan ; Naimah bt Haji Abdullah ; A b u Bakar Nordin ; Solehan bin Remot. 1982. « Remedial reading support program for children in Grade 2 Malaysia ». Dans : Evaluation in Education, 6, 137-160. Oxford : Pergamon Press.

Peaker, G.F. 1971. The Plowden children four years later. Slough : NFER.

Pidgeon, D . A . 1958. « A comparative study of basic attainments ». Dans : Educational Research, 7(1), 50-68.

Routitsky, A . ; Turner, R . 2003. Item format types and their influence on cross-national comparisons of student performance. Rapport présenté à l'occasion de la Réunion annuelle de 1' American Educational Research Association ( A E R A ) , à Chicago, avril 2003.

Scottish Council for Research in Education. 1949. The trend in Scottish intelligence: A comparison of the 1947 and 1932 surveys of the intelligence of eleven-year-old pupils. Londres : University of London Press.

138

Page 132: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Tyler, R . W . 1985. «National Assessment of Educational Progress ( N A E P ) ». Dans : T. Husén et T . N . Postlethwaite (dir. publ.), The international encyclopedia of education, P e édition. Oxford : Pergamon Press.

Institut de statistique de l ' U N E S C O . 2004. Recueil de données mondiales sur l'éducation 2004 : statistiques comparées sur l'éducation dans le monde. Institut de statistique de l ' U N E S C O . Montréal : Institut de statistique de l ' U N E S C O .

Ministère de l'Éducation et de la Formation (sous presse). The quality of education at the end of primary school. Vietnam, 2001. The levels and determinants of Grade 5 reading and mathematics achievement. Viet N a m : Ministère de l'Education et de la Formation.

PISA

Artelt, C . ; Baumert, J. ; Julius-McElvany, N . ; Peschar, J. 2003. Learners for life: Student approaches to learning. Results from PISA 2000. Paris : O C D E .

Döbert, H . ; Klieme, E . ; Sroka, W . (dir. publ.). 2004. Conditions of school performance in seven countries. A quest for understanding the international variation of PISA results. Münster : W a x m a n n .

O C D E . 2001a. Connaissances et compétences : des atouts pour la vie. Premiers résultats de PISA 2000. Paris : O C D E .

O C D E (dir. publ. : R . A d a m s et M . W u ) . 20016. PISA 2000 technical report. Paris : O C D E .

O C D E . 2002. La lecture, moteur de changement. Performances et engagement d'un pays à l'autre. Paris : O C D E .

O C D E . 2003a. Literacy skills for the world of tomorrow. Further results from PISA 2000. Paris : O C D E . Disponible sur le site : http://www.oecd.org/document/49/0,2340,en_2649_37455_ 2997873_119699_l_l_37455,00.html.

139

Page 133: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

O C D E . 20036. Student engagement at school: A sense of belonging and participation. Results from PISA 2000. Paris : OCDE.

IEA (sélection de quelques publications)

Anderson, L . W . ; Ryan, D . W . ; Shapiro, R.J. (dir. publ.). 1989. The IEA classroom environment study. International studies in educational achievement, vol. 2. Oxford : Pergamon Press.

Beaton, A . E . ; Martin, M . O . ; Mullis, I.V.S. ; Gonzales, E J . ; Smith, T . A . ; Kelly, D . L . 1996. Science achievement in the middle school years: IEA's TIMSS. Chestnut Hill, M A : Boston College.

Beaton, A . E . ; Mullis, I.V.S. ; Martin, M . O . ; Gonzales, E.J. ; Kelly, D . L . ; Smith, T . A . 1996. Mathematics achievement in the middle school years: IEA s TIMSS. Chestnut Hill, M A : Boston College.

Burstein, L . (dir. publ.). 1993. The IEA study of mathematics, vol. 3. Student growth and classroom practices. Oxford : Pergamon Press.

Campbell, Jr. ; Kelly, D . L . ; Mullis, I .V.S. ; Martin, M . O . ; Sainsbury, M . 2001. Framework and specifications for PIRLS assessment 2001, 2 e édition. Boston : IEA.

Carroll, J.B. 1975. The teaching of French as a foreign language in eight countries. International studies in evaluation, vol. 5. N e w York : Wiley.

C o m b e r , L . C . ; Keeves, J.P. 1973. Science education in nineteen countries: An empirical study. International studies in evaluation, vol. 1. N e w York : Wiley.

Degenhart, R . E . 1990. Thirty years of international research: An annotated bibliography of IEA publications (1960-1990). La Haye : IEA.

140

Page 134: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Elley, W . B . (dir. publ.). 1992. The IE A study of reading literacy: Achievement and instruction in thirty-two school systems. International studies in educational achievement. Oxford : Pergamon.

Foshay, A . W . ; Thorndike, R . L . ; Hotyat, F. ; Pidgeon, D . A . ; Walker, D . A . (dir. publ.). 1962. Educational achievement of thirteen-year-olds in twelve countries. Hambourg : Institut de l ' U N E S C O pour l'Éducation.

Garden, R . A . ; Robitaille, D.F . 1989. The IEA study of mathematics II: Contexts and outcomes of school mathematics. Oxford : Pergamon Press.

Gorman, T.P. ; Purves, A . C . ; Degenhart, R . E . (dir. publ.). 1988 The IEA study of written composition I: The international writing tasks and scoring scales. Oxford : Pergamon Press.

Husén, T. (dir. publ.). 1967. International study of achievement in mathematics: A comparison of twelve countries, vol. 1-2. Stockholm : Almqvist & Wiksell.

Keeves, J.P. (dir. publ.). 1992. The IEA study of science: Changes in science education and achievement: 1970 to 1984. Oxford : Pergamon Press. (Voir aussi le chapitre 9 de cet ouvrage par J.P. Keeves et A . Schleicher, intitulé « Changes in science achievement 1970-84 ».).

Keeves, J.P. 1995. The world of school learning: Selected key findings from 35 years of IEA research. La Haye : IEA.

Keeves, J.P. 2001. « Comparative research in education : IEA studies ». Dans : N.J . Smelser et P . B . Baltes (dir. publ.), International encyclopedia of the social and behavioral sciences, (p. 2421-2427). Oxford : Pergamon Press.

Lewis, E . G . ; Massad, C . E . 1975. The teaching of English as a foreign language in ten countries. International studies in evaluation, vol. 4 . Stockholm : Almqvist & Wiksell.

141

Page 135: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Martin, M . O . ; Kelly, D . L . (dir. publ.). 1996. TIMSS technical report, vol. 1. Design and development. Chestnut Hill, M A : Boston College.

Martin, M . O . ; Kelly, D . L . (dir. publ.). 1997. TIMSS technical report, vol. 2. Implementation and analysis, primary and middle school years. Chestnut Hill, M A : Boston College.

Martin, M . O . ; Kelly, D . L . (dir. publ.). 1998. TIMSS technical report, vol. 3. Implementation and analysis, final year of secondary school. Chestnut Hill, M A : Boston College.

Martin, M . O . ; Mullis, I.V.S. (dir. publ.). 1996. TIMSS: Quality assurance in data collection. Chestnut Hill, M A : Boston College.

Martin, M . O . ; Mullis, I.V.S. ; Beaton, A . E . ; Gonzales, E.J. ; Smith, T . A . ; Kelly, D . L . 1997. Science achievement in the primary school years: IEA s TIMSS. Chestnut Hill, M A : Boston College.

Martin, M . O . ; Mullis, I.V.S. ; Gonzales, E.J. ; Smith, T . A . ; Kelly, D . L . 1999. School context for learning and instruction in IEA s Third International Mathematics and Science Study (TIMSS). Chestnut Hill, M A : Boston College.

Martin, M . O . ; Rust, K . ; A d a m s , R.J. (dir. publ.). 1999. Technical standards for IEA studies. Amsterdam : Secrétariat de l'IEA.

Martin, M . O . ; Mullis, I.V.S. ; Gregory, K . D . ; Hoyle, C . ; Shen, C . 2001. Effective schools in science and mathematics. Chestnut Hill, M A : Boston College.

Martin, M . O . ; Mullis, I.V.S. ; Gonzales, E.J. ; Kennedy, A . M . 2003a. PIRLS 2001 international report: IEA 's study of reading literacy achievement in primary schools. Boston : IEA.

Martin, M . O . ; Mullis, I.V.S. ; Gonzales, E.J. ; Kennedy, A . M . 20036. Trends in children's reading literacy achievement, 1991-2001. Boston : IEA.

142

Page 136: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Martin, M . O . ; Mullis, I.V.S. ; Kennedy, A . M . 2003. PIRLS (2001) technical report. Boston : IEA.

Mullis, I.V.S. ; Martin, M . O . ; Beaton, A . E . ; Gonzales, E.J. ; Kelly, D . L . ; Smith, T . A . 1998. Mathematics and science achievement in the final year of secondary school: IEA 's TIMSS. Chestnut Hill, M A : Boston College.

Mullis, I.V.S. ; Martin, M . O . ; Kennedy, A . M . ; Flaherty, C . L . (dir. publ.). 2002. PIRLS 2001 Encyclopedia: A reference guide to reading education in the countries participating in IEA s Progress in International Reading Literacy Study (PIRLS). Boston : IEA.

Mullis, I.V.S. ; Martin, M . O . ; Fierros, E . G . ; Goldberg, A . L . ; Stemler, S.E. 2000. Gender differences in achievement: IEA s Third International Mathematics and Science Study (TIMSS). Chestnut Hill, M A : Boston College.

Olmsted, P.P. ; Weikart, D.P . 1989. How nations serve young children: Profiles of child care and education in 14 countries. Ypsilanti, M I : High/Scope Press.

Olmsted, P.P. ; Weikart, D.P . 1994. Families speak: Early care and education in 11 countries. Ypsilanti, M I : High/Scope Press.

Olmsted, P.P. ; Montie, J. 2001. Early childhood settings in 15 countries: What are their structural characteristics? Ypsilanti, M I : High/Scope Press.

Passow, A . H . ; Noah, H.J. ; Eckstein, M . A . ; Mallea, J.R. 1976. The national case study: An empirical comparative study of twenty-one educational systems. International studies in evaluation, vol. 7. Stockholm : Almqvist & Wiksell.

Peaker, G.F. 1975. An empirical study of education in twenty-one countries: A technical report. International studies in evaluation, vol. 8. Stockholm : Almqvist & Wiksell.

143

Page 137: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Pelgrum, W . J . ; Plomp, T . 1991. The use of computers in education worldwide: Results from the IEA 'Computers in Education ' survey in nineteen educational systems. Oxford : Pergamon Press.

Postlethwaite, T . N . ; Wiley, D . E . 1992. The IEA study of science II: Science achievement in twenty-three countries. Oxford : Pergamon Press.

Purves, A . C . 1973. Literature education in ten countries: An empirical study. International studies in evaluation, vol. 2 . Stockholm : Almqvist & Wiksell.

Purves, A . C . (dir. publ.). 1992. The IEA study of written composition II: Education and performance in fourteen countries. Oxford : Pergamon Press.

Robitaille, D . F . ; Beaton, A . E . ; Plomp, T. (dir. publ.). 2000. The impact of TIMSS on the teaching and learning of mathematics and science. Vancouver, B C : Pacific Educational Press.

Robitaille, D . F . ; Beaton, A . E . (dir. publ.). 2002. Secondary analysis of the TIMSS data. Dordrecht : Kluwer.

Rosier, M . J . ; Keeves, J.P. 1991. The IEA study of science I: science education and curricula in twenty-three countries. Oxford : Pergamon Press.

Ross, K . ; Saito, M . ; Dolata, S.; Ikeda, M . 2004. SACMEQ data archive. C D - R o m . Paris : I I P E - U N E S C O .

Stevenson, H . W . ; L u m m i s , M . ; Lee, S . - Y . ; Stigler, L . W . 1990. Making the grade in mathematics: Elementary school mathematics in the United States, Taiwan, and Japan. Reston, Virgine : National Council of Teachers of Mathematics.

Thorndike, R . L . 1962. « International comparison of the achievement of thirteen-year-olds ». Dans : A . W . Foshay (dir. publ.). 1962. Educational achievement of thirteen-year-olds in twelve countries. H a m b o u r g : Institut de l ' U N E S C O pour l'Éducation.

144

Page 138: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Thorndike, R . L . 1973. Reading comprehension education in fifteen countries: An empirical study. International studies in evaluation, vol. 3. Stockholm : Almqvist & Wiksell.

Torney, J.V. ; Oppenheim, A . N . ; F a m e n , R .F . 1976. Civic education in ten countries: An empirical study. International studies in evaluation, vol. 6. Stockholm : Almqvist & Wiksell.

Torney-Purta, J. ; Schwüle, J. ; A m a d e o , J.-A. (dir. publ.). 1999. Civic education across countries: twenty-four national case studies for the IE A Civic Education Project. Delft : IE A .

Torney-Purta, J. ; Lehmann , R . ; Oswald, H . ; Schulz, W . 2001. Citizenship and education in twenty-eight countries: civic knowledge and engagement at age fourteen. Delft : IEA.

Travers, K.J. ; Westbury, I. 1989. The IEA study of mathematics I: international analysis of mathematics curricula. Oxford : Pergamon Press.

Walker, D . A . 1976. The IEA six-subject survey: an empirical study of education in twenty-one countries. International studies in evaluation, vol. 9. Stockholm : Almqvist & Wiksell.

Weikart, D . P . 1999. What should young children learn? Teacher and parent views in 15 countries. Ypsilanti M I : High/Scope Press.

Weikart, D . P . ; Olmsted, P.P. ; Montie, J. 2003. World of preschool experience : observation in 15 countries. Ypsilanti, M I : High/ Scope Press.

SACMEQ

Kulpoo , D . 1998. The quality of education: some policy suggestions based on a survey of schools - Mauritius. SACMEQ Policy Research: Report No. 1. Paris : IIPE-UNESCO.

145

Page 139: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Références

Machingaidze, T. ; Pfukani, P. ; Shumba, S. 1998. The quality of education: some policy suggestions based on a survey of schools - Zimbabwe. SACMEQ Policy Research: Report No. 3. Paris : I I P E - U N E S C O .

Milner, G . ; Chimombo, J. ; Banda, T. ; Mchikoma, C . 2001. The quality of education: some policy suggestions based on a survey of schools - Malawi. SACMEQ Policy Research : Report No. 7. Paris : I I P E - U N E S C O .

Nassor, S. ; M o h a m m a d , K . 1998. The quality of education: some policy suggestions based on a survey of schools - Zanzibar. SACMEQ Policy Research: Report No. 4. Paris : IIPE-UNESCO.

N k a m b a , M . ; Kanyika, J. 1998. The quality of education: some policy suggestions based on a survey of schools - Zambia. SACMEQ Policy Research: Report No. 5. Paris : IIPE-UNESCO.

N z o m o , J. ; Kariuki, M . ; Guantai, L . 2001. The quality of education: some policy suggestions based on a survey of schools - Kenya. SACMEQ Policy Research: Report No. 6. Paris : IIPE-UNESCO.

Ross, K . (dir. publ.). Sous presse. The SACMEQ II study in Kenya.

Ross, K . ; Saito, M . ; Dolata, S. ; Ikeda, M . 2004. SACMEQ data archive. Paris : I I P E - U N E S C O .

Saito; M . 2004. « Égalité des sexes en lecture et en mathématiques -À propos de l'Objectif d ' E P T 5 ». Dans : Lettre d'information de l TIPE, p.8-9, avril-juin 2004.

Voigts, F. 1998. The quality of education: some policy suggestions based on a survey of schools - Namibia. Paris : I I P E - U N E S C O .

146

Page 140: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

Page 141: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexe 1. Questions d'ordre général extraites de l'étude sur le Viet N a m

Chacune des questions ci-dessous a été subdivisée en plusieurs items de sous-questions. Elles sont présentées ici à titre d 'exemple pour illustrer les questions posées dans le cadre de l'étude sur le Viet N a m .

Questions liées aux politiques éducatives concernant

les intrants de l'éducation

a) Quelles sont les caractéristiques des élèves de cinquième année ?

b) Quelles sont les caractéristiques des enseignants de cinquième année ?

c) Quelles sont les conditions d'enseignement dans les salles de classe affectées à la cinquième année de scolarité et dans les écoles primaires ?

d) Parmi les pratiques d'enseignement censées améliorer la qualité de l'éducation, lesquelles sont effectivement appliquées ?

e) Quel est l'état général des bâtiments scolaires ? f) Quel est le taux d'accès des élèves à des manuels scolaires et à

des livres de bibliothèque ?

Questions spécifiques destinées à permettre de

comparer la réalité des écoles avec les normes fixées

par le ministère de l'Éducation et de la Formation

et par le référentiel « Fundamental School Quality

Levels ».

Les normes ci-dessous sont-elles respectées ? (total des ef­fectifs de l'école, effectifs des classes, superficie des classes, taux d'encadrement, places pour s'asseoir, places pour écrire, craie, m o -

149

Page 142: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

bilier scolaire, fournitures scolaires, qualifications universitaires des chefs d'établissement, qualifications professionnelles des chefs d'éta­blissement, etc.).

La répartition des ressources éducatives affectées aux

écoles est-elle équitable ?

a) Dans quelle mesure la répartition des ressources matérielles entre les régions, les provinces et les écoles d'une même province est-elle équitable ?

b) Dans quelle mesure la répartition des ressources humaines entre les provinces et les écoles d'une même province est-elle équitable ?

c) Quel est l'écart entre les résultats scolaires des élèves d'une région à l'autre, d'une province à l'autre et d'une école à l'autre dans une même province ?

Quelles sont les variables les plus fréquemment

associées à un écart entre les écoles les plus

performantes et les moins performantes ?

Quelles sont les variables les plus fréquemment

associées aux performances scolaires ?

150

Page 143: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexe 2 . Viet N a m , élèves de cinquième année : pourcentages et erreurs d'échantillonnage d'élèves atteignant différents niveaux en lecture, par province et par région

Province

Hanoi Haiphong Ha Tay Hai Duong Hung Yen Ha Nam Nam Dinh Thai Binh Ninh Binh

Ha Giang Cao Bang Lao Cai Bac Kan Lang Son Tuyen Quang Yen Bai Thai Nguyen Phu Tho Vinh Phuc Bac Giang Bac Ninh Quang Ninh

Lai Chau Son La Hoa Binh

Thanh Hoa , N g h e A n 1 Ha Tinh

Quang Binh Quang Tri

Niveau 1

%

0,9 2,2 2,7 1,6 2,1 4,0 0,9 0,6 4,6

7,5 14,4 1,4 8,2

11,0 12,5 11,4 3,8 2,4 5,3 4,5 0,5 0,3

2,2 8,7

12,3

4,2 6,7 1,2 0,8 3,5

Thua Thien-Huu 2,1

Da Nang , Quang N a m ! Quang Ngai ' Binh Dinh

Phu Yen Khanh H o a

0,8 4,3 7,1 4,1 3,8 4,0

Err. t

0,38 0,62 0,69 0,43 0 ,72 0,92 0,27 0,25 1,08

1,66 3,16 0,78 2,02 2,20 2,26 2,27 0,98 0,59 1,06 1,08 0,24 0,20

0,94 2,29 2,35

0,72 1,72 0,44 0,43 1,12 0,92

0,34 0,91 1,61 2,13 0,74 0,81

Niveaux en

Niveau 2

%

5,4 9,0

11,5 8,0 7,1

15,2 6,1 3,8

16,6

22,1 22,4 6,7

21,5 26,2 24,9 20,9 10,4 11,3 18,1 16,2 4,0 4,0

12,1 16,3 19,9

14,6 12,1 8,3 8,3

12,2 8,7

5,7 16,6 20 ,2 14,6 15,0 16,6

Err. t

1,31 1,35 1,66 1,52 1,40 1,61 1,18 0,83 1,81

3,23 3,28 1,68 2,77 2,87 2,71 2,40 1,84 1,81 2,34 2,03 1,09 1,05

2,36 2,49 2,63

2,25 1,75 1,60 2,13 1,87 1,60

0,88 2,34 2,44 2,07 1,73 1,86

lecture (élève)

Niveau 3

%

15,1 23,5 21,0 19,1

Err. t

1,99 2,25 2,56 2,24

16,0 2,42 26,4 2,30 15,5 16,3 32,4

27,4 23,4 15,3 26,3 22,2 24,2 23,1 18,3 19,5 22,7 26,1 12,7 11,0

18,9 22,6 26,1

23,2 22,7 20,2 16,5 25,4

1,94 2,13 1,93

3,06 3,11 2,18 2,67 2,32 2,56 2,24 2,31 2,35 2,01 2,05 2,01 2,16

2,98 2,87 3,23

2,32 2,62 2,18 2,14 2,62

20,0 2,18

15,4 23,1 27,5

1,79 2,18 2,36

26,9 2,55 26,8 28,7

2,10 1,92

Niveau 4

% 18,9 20,4 21,8 18,4 21,4

Err. t

1,73 1,82 2,34 1,98 1,95

23,6 2,38 21,5 20,6 24,1

18,7 16,2 22,7 15,5 18,2 18,7 17,8 18,8 22,4 20,1 22,2 16,4 14,9

25,5 19,2 14,7

18,7 18,8 23,6 24,2 23,0 23,8

21,3 20,9 17,4 21,1 22,5 23,9

1,94 2,13 1,74

2,97 2,61 2,90 2,25 2,45 2,23 2,15 2,09 2,17 1,84 1,67 2,14 2,06

3,05 3,19 1,91

1,74 1,89 2,05 2,31 1,92 2,10

1,89 2,03 1,68 2,23 1,70 1,54

Niveau 5

% Err. t

33,5 2,48 27,9 2,42 27,2 3,10 28,4 2,90 32,9 23,1

3,11 2,35

38,9 2,68 34,2 2,71 16,7

18,5

1,78

3,07 14,9 3,10 38,2 18,7 16,9 15,7 14,0 29,7 28,3 22,5 22,2 31,5 32,8

33,2 23,9 18,0

28,7 26,7 27,5

3,59 3,09 2,98 2,71 2,22 3,66 2,66 2,56 2,39 3,12 3,88

3,79 3,77 3,80

3,20 3,35 2,28

36,0 3,27 27,3 2,59 30,2 2,46

32,9 26,1

1,98 2,76

18,4 2,11 19,8 23,5 20,3

2,81 2,34 1,82

Niveau 6

% 26,2 17,0 15,8 24,5 20,4 7,8

17,2 24,6 5,6

5,7 8,7

15,7 9,9 5,6 3,9

12,9 19,1 16,2 11,3 8,8

34,9 37,0

8,0 9,5 9,0

10,6 13,1 19,2 14,2 8,7

15,2

24,1 8,9 9,5

13,6 8,3 6,5

Err. t

2,83 3,06 3,29 4,31 3,52 1,80 2,79 3,87 1,55

2,09 3,04 3,40 3,07 1,46 1,30 3,51 4,00 3,61 3,06 2,18 4,76 5,71

2,05 2,79 2,37

2,53 3,50 3,68 3,23 2,00 3,45

3,23 1,91 2,52 4,20 1,69 1,27

Page 144: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

§ 1 §1 3 > § _ ei

s 1 1 C/}

s1

1 i s •o

1 Q

Kontum Gia Lai Dak Lak

H o Chi Minh L a m Dong Ninh Thuan Binh Phuoc Tay Ninh Binh Duong Dong Nai Binh Thuan

18,7 7,8 3,9

0,5 3,7 8,8 4,7 4,8 1,6 2,4 4,0

Ba Ria-Vung Tau 1,0

Long A n Dong Thap A n Giang Tien Giang Vinh Long Ben Tre Kien Giang Cantho Tra Vinh Soc Trang Bac Lieu Ca M a u Viet N a m

3,9 6,0 9,0 2,8 4,1 2,9 9,6 8,1

11,2 13,1 11,9 8,1 4,6

4,71 2,14 0,92

0,24 1,18 1,56 1,01 0,95 0,53 0,78 1,17 0,39

1,09 1,30 1,67 0,70 0,91 0,72 1,70 1,46 1,58 2,36 1,63 1,27 0,17

19,1 13,5 11,0

6,2 11,8 25,5 19,9 18,9 8,3 9,1

18,4 7,9

17,0 23,1 24,3 13,4 18,7 13,8 27,6 26,5 32,3 29,0 28,2 24,4 14,4

2,32 2,31 2,02

1,39 1,75 2,30 1,75 2,34 1,26 1,42 1,71 1,20

2,12 2,63 2,87 2,00 1,93 1,57 2,48 2,67 2,78 2,67 2,65 2,43 0,28

21,5 2,70 18,7 2,63 20,4 2,27

19,5 2,11 23,4 2,29 26,1 1,82 31,0 1,74 28,5 2,23 24,1 2,22 25,9 1,65 31,6 2,19 26,9 2,17

28,0 1,89 26,8 2,26 26,7 2,50 28,8 2,49 23,5 1,82 28,0 2,30 30,3 2,00 28,3 2,40 27,8 2,29 28,6 2,30 26,0 2,35 26,7 2,31 23,1 0,34

14,0 1,90 18,9 2,75 22,9 2,46

20,7 2,04 21,7 1,99 17,4 1,63 23,3 1,90 22,8 2,53 22,9 2,02 26,2 1,63 23,0 1,66 24,6 1,61

26,5 2,29 18,5 2,28 18,6 2,23 20,2 1,80 20,4 1,73 24,7 1,56 12,8 1,38 15,0 1,69 13,2 1,96 16,3 1,94 11,4 1,58 17,3 2,19 20,2 0,27

17,7 3,43 27,1 3,53 28,3 3,03

31,0 1,90 24,8 2,75 16,9 2,27 15,6 1,58 19,7 2,44 29,2 2,71 25,8 1,82 16,9 1,95 28,8 2,15

20,3 2,32 18,0 2,87 13,9 2,19 22,4 2,46 21,9 2,27 21,8 2,22 13,4 2,37 14,7 2,77 12,6 2,26 11,0 2,65 10,8 2,49 16,3 2,96 24,5 0,39

8,9 13,9 13,6

22,2 14,7 5,3 5,6 5,4

13,9 10,5 6,2

10,8

4,3 7,6 7,6

12,5 11,5 8,9 6,3 7,3 2,9 2,0

11,8 7,3

13,1

2,91 3,41 3,51

2,89 3,19 0,95 1,82 1,48 2,69 1,27 1,64 2,02

1,25 2,41 2,38 2,78 3,00 2,02 2,35 2,68 1,49 0,85 5,02 2,81 0,41

152

Page 145: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexe 3. Pays participants aux évaluations de riEA, du PISA et du S A C M E Q

Pays

Albanie

Argentine

Arménie

Australie

Autriche

Azerbaïdjan

Bahrein

Belgique

Belize

Bolivie

Botswana

Brésil

Bulgarie

Canada

Chili

Chine

Taipei chinois

Colombie

Croatie

Chypre

Rép. tchèque

Danemark

Egypte

Estonie

IEA

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

PISA S A C M E Q

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

Pays

Liban

Macao, Chine

Macédoine (ex-Rép. yougoslave)

Malawi

Malaisie

Maurice

Mexique

Rép. de Moldova

Monténégro

Maroc

Mozambique

Namibie

Pays-Bas

Nouvelle-Zélande

Nicaragua

Norvège

IEA

X

X

X

X

X

X

X

X

X

X

Autorité palestinienne x

Pérou

Philippines

Pologne

Portugal

Qatar

Roumanie

Fédération de Russie

X

X

X

X

X

PISA

X

X

X

X

X

X

X

X

X

X

X

X

X

X

S A C M E Q

X

X

X

X

Finlande x x Arabie Saoudite x

Page 146: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

France

Allemagne

Ghana

Grèce

Hong Kong, Chine

Hongrie

Islande

Indonésie

Rép. islamique d'Iran

Irlande

Israël

Italie

Japon

Jordanie

K e n y a

Rép. de Corée

Koweït

Kirghizistan

Lettonie

Lesotho

Liechtenstein

Lituanie

Luxembourg

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

Serbie

Seychelles

Singapour

Slovaquie

Slovénie

Afrique du Sud

Espagne

Swaziland

Suède

Suisse

Rép. arabe syrienne

R é p . - U . de Tanzanie

Thaïlande

Tunisie

x Turquie

Ouganda

R o y a u m e - U n i

États-Unis

Uruguay

x Yémen

Zambie

Zanzibar

Zimbabwe

x

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

X

154

Page 147: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexe 4. Questions de politique générale posées dans le cadre de l'étude S A C M E Q II

Thème A : Caractéristiques des élèves

et de leurs environnements d'apprentissage

Question de politique générale n° 1 : Quelles sont les caractéristiques individuelles (âge et sexe par exemple) et les caractéristiques familiales (éducation des parents, régularité des repas, langue parlée au foyer, etc.) des élèves de sixième année susceptibles d'avoir des conséquences pour l'équité ou d'exercer un impact sur l'enseignement et l'apprentissage ?

Question de politique générale n° 2 : Quels sont les facteurs liés au contexte scolaire dans lequel se situent les élèves de sixième année (tels que zone d'implantation, absentéisme (régularité et raisons), redoublement et devoirs à faire à la maison (fréquence, quantité, correction des devoirs et aide de la famille)) susceptibles d'avoir un impact sur l'enseignement et l'apprentissage et sur le fonctionnement général des écoles ?

Question de politique générale n° 3 : Les élèves de sixième année ont-ils accès à divers matériels scolaires (manuels, livres de textes et fournitures scolaires, par exemple) en quantité suffisante pour pouvoir pleinement participer aux cours ?

Question de politique générale n° 4 : Les élèves de sixième année ont-ils accès à des livres par la bibliothèque de leur école et, si oui, utilise-t-on ces livres de manière optimale en permettant aux élèves de les emporter pour pouvoir les lire chez eux ?

Question de politique générale n° 5 : L a pratique des cours de soutien dispensés dans certaines matières en dehors des horaires

155

Page 148: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

scolaires s'est-elle généralisée pour les élèves de sixième année et s'agit-il de cours payants ?

Thème B : Caractéristiques des enseignants et opinions

qu 'ils expriment sur l'enseignement, les ressources

disponibles dans leur classe, le soutien professionnel

qu 'ils reçoivent et leur niveau de satisfaction

professionnelle

Question de politique générale n° 6 : Quelles sont les caractéristiques individuelles des enseignants de sixième d'année (âge, sexe et niveau socio-économique, par exemple) et quelles sont leurs conditions d'hébergement ?

Question de politique générale n° 7 : Quelles sont les caractéristiques professionnelles des enseignants de sixième d'année (en termes de formation initiale, de formation professionnelle et de formation continue) ? La formation continue contribue-t-elle, d'après eux, à améliorer leurs pratiques pédagogiques ?

Question de politique générale n° 8 : C o m m e n t les enseignants de sixième année répartissent-ils leur temps entre les différentes tâches d'enseignement, de préparation des cours et de correction des devoirs qui leur incombent ?

Question de politique générale n° 9 : C o m m e n t les enseignants de sixième année décrivent-ils (a) les activités réalisées par les élèves en classe (lecture à voix haute, prononciation, etc.), (b) les objectifs pédagogiques qu'ils poursuivent (donner le goût d'apprendre, promouvoir les techniques d'expression, etc.), (c) les approches/ stratégies pédagogiques qu'ils utilisent (modes de questionnement, enseignement frontal, etc.), (d) leurs procédures d'évaluation et (e) leurs rencontres et communications avec les parents ?

Question de politique générale n° 10 : Quel est le type de mobilier scolaire (places pour s'asseoir, places pour écrire, table et chaise de l'enseignant, étagères) et de matériels scolaires (tableau noir,

156

Page 149: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

dictionnaires, cartes, coin livres et manuels de l'enseignant) disponible dans les classes de sixième année ?

Question de politique générale n° 11 : Quel est le type de soutien professionnel (en termes de centres de ressources éducatives, inspections, visites de conseillers et soutien du chef d'établissement) offert aux enseignants de sixième année ?

Question de politique générale n° 12 : Quels sont les facteurs qui ont l'impact le plus fort sur la satisfaction professionnelle des enseignants ?

Thème C : Caractéristiques des chefs d'établissement

et leur conception des infrastructures éducatives,

de l'organisation et du fonctionnement de l'école

et des problèmes avec les élèves et les enseignants

Question de politique générale n° 13 : Quelles sont les caractéristiques individuelles des chefs d'établissement (âge et sexe, par exemple) ?

Question de politique générale n° 14 : Quelles sont les caractéristiques professionnelles des chefs d'établissement (leur formation initiale, leur formation professionnelle, leur expérience, les formations spécialisées qu'ils ont pu recevoir) ?

Question de politique générale n° 15 : Que pensent les chefs d'établissement des infrastructures scolaires en général (installations électriques et autres, eau et sanitaires, par exemple) et de l'état des bâtiments scolaires ?

Question de politique générale n° 16 : Q u e pensent les chefs d'établissement (a) des activités quotidiennes (c'est-à-dire enseignement, relations entre l'école et la communauté, suivi des élèves), (b) des politiques d'organisation (journal de l'école, journées portes ouvertes, organisation de débats), (c) des inspections, (d) de l'apport de la communauté, (e) des problèmes avec les élèves et les enseignants (par exemple retards des élèves, absentéisme des enseignants et journées d'école perdues) ?

157

Page 150: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

Thème D : Répartition équitable des ressources

humaines et matérielles d'une région à l'autre

et d'une école à l'autre dans une même région

Question de politique générale n° 17 : La répartition des ressources humaines (enseignants et chefs d'établissements qualifiés et expérimentés, par exemple) est-elle équitable d'une région à l'autre et d'une école à l'autre dans une m ê m e région ?

Question de politique générale n° 18 : La répartition des ressources matérielles (matériels pédagogiques, installations et bâtiments scolaires) est-elle équitable d'une région à l'autre et d'une école à l'autre dans une m ê m e région ?

Thème E : Niveaux de lecture et de mathématiques

atteints par les élèves et leurs enseignants

Question de politique générale n° 19 : Quels sont les niveaux (par niveaux descriptifs de compétences) de lecture et de mathématiques des élèves de sixième année et de leurs enseignants et les écarts entre ces niveaux de performances (d'une école à l'autre et d'une région à l'autre) - dans le pays visé et dans tous les autres pays du SACMEQ ?

Question de politique générale n° 20 : Quels sont les niveaux de lecture et de mathématiques de divers sous-groupes d'élèves de sixième année et de leurs enseignants (disparités entre élèves et enseignants selon le sexe, selon les niveaux socio-économiques, selon les zones d'implantation) ?

158

Page 151: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexe 5. Items relatifs aux caractéristiques indiquées sur les échelles d'apprentissage dans P I S A

Stratégies d'appren tissage

Stratégies d'élaboration

Quand j'étudie, j'essaie de faire le lien entre les nouvelles notions et ce que j'ai appris dans d'autres matières.

Quand j'étudie, j'essaie de voir comment cela pourrait servir dans la vie.

Quand j'étudie, j'essaie de mieux comprendre le contenu en le mettant en relation avec ce queje sais déjà.

Quand j'étudie, j'essaie de voir comment ce que j'apprends s'intègre dans ce que j'ai appris.

Stratégies de mémorisation

Quand j'étudie, j'essaie de mémoriser tout ce qui doit être vu. Quand j'étudie, je mémorise autant que possible. Quand j'étudie, je mémorise tout ce qui est nouveau, de manière

à savoir le réciter. Quand j'étudie, je m'entraîne en m e répétant le sujet à plusieurs

reprises.

Stratégies de contrôle

Quand j'étudie, je commence par déterminer exactement ce que j'ai besoin d'apprendre.

Quand j'étudie, je m'oblige à vérifier que j'ai retenu ce que j'ai appris.

Quand j'étudie, j'essaie de repérer les notions que je n'ai pas encore bien comprises.

Quand j'étudie, je m'assure de bien retenir les éléments les plus importants.

159

Page 152: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

Q u a n d j'étudie et que je ne comprends pas quelque chose, je cherche des informations complémentaires pour clarifier ce point.

Motivation

Motivation instrumentale

J'étudie pour accroître m e s chances sur le plan professionnel. J'étudie pour m'assurer un avenir stable sur le plan financier. J'étudie pour trouver un bon emploi.

Intérêt pour la lecture

C o m m e lire est agréable, je ne voudrais pas m ' e n passer. Je lis pendant m e s loisirs. Q u a n d je lis, il arrive que cela m'absorbe totalement.

Intérêt pour les mathématiques

Q u a n d je fais des mathématiques, parfois cela m'absorbe totalement.

E n ce qui m e concerne, les mathématiques comptent beaucoup. C o m m e faire des mathématiques est agréable, je ne voudrais

pas m ' e n passer.

Effort et persévérance dans l'apprentissage

Q u a n d j'étudie, je travaille aussi dur que possible. Q u a n d j'étudie, je continue à travailler, m ê m e si c'est difficile. Q u a n d j'étudie, je fais tout ce que je peux pour acquérir les

connaissances et les savoir-faire enseignés. Q u a n d j'étudie, je fais de gros efforts.

Image de soi

Sentiment d'efficacité

Je suis sûr de pouvoir comprendre m ê m e le textes les plus difficiles à lire.

160

Page 153: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Annexes

Je m e sens capable de comprendre les sujets les plus difficiles que le professeur présente.

Je m e sens capable de très bien réussir les devoirs et les contrôles. Je suis convaincu de pouvoir maîtriser les savoir-faire enseignés.

Image de soi (compétences verbales)

Je suis nul aux tests de langue [quelle qu 'elle soit] (ou l'inverse).

J'apprends rapidement ce qui concerne les tests de langue. J'ai de bonnes notes aux tests de langue.

Image de soi (compétences mathématiques)

J'ai de bonnes notes en mathématiques. Les mathématiques sont l'un de m e s points forts. J'ai toujours été bon en mathématiques.

Image de soi (compétences scolaires)

J'apprends rapidement dans la plupart des matières. J'ai de bons résultats aux contrôles dans la plupart des matières. Je suis fort dans la plupart des matières.

Contextes d'apprentissage préférés

Préférence pour un type d'apprentissage coopératif. J'aime travailler avec d'autres élèves. J'apprends le plus quand je travaille avec d'autres élèves. Je fais un meilleur travail quand je travaille avec d'autres élèves. J'aime aider d'autres personnes à faire du bon travail en groupe. C'est utile, quand on travaille à un projet, de combiner les idées

de chacun.

Préférence pour un type d'apprentissage compétitif

J'aime essayer d'être meilleur que les autres. Je travaille bien quand j'essaie d'être meilleur que les autres. Je voudrais être le meilleur en quelque chose. J'apprends plus vite quand j'essaie de faire mieux que les autres.

161

Page 154: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

1

t/3

3

O

t/3

C/l

tu

T3

'«J

-i-'

tu

-t->

t/1

tu

-t—>

3

T3

tu

3 S

tu

t/3

Ö

tu

*^ 'C

d

t/3

tu

tu

fc! O

o

t/3

tu

t/1

ö

o

CX

-tu

tu

13

tu

ÖD

cd

cen S o

eu N

O

tu

X

tu

c <

1/3

tu

o

-4—>

•g

tu

-t->

3

o

t/3

>>

cd

D

H

tu

Td

c _o '•

t-

>

o

J9 53 t/3

tu

3

VH

3

O

a, t/3

S tu

-t—>

T3

C/5

_u

3 tu

t/3

c tu

<u

'fi

•V

>

Tr¡

u

u

§

u.

u

'&

c

o

SE

tu

B co

3

< C

U

t/3

£2

'3

<u '3 %

>

o

co

tu

d-g

--c

j -e

u

w

3

M

SP

II

1-8-î .&

o

a.

i50^

u

i

^ a.

E

03

O

"-»

c

1 t

«

o

u

1 b

in

""

g 162 147 133

(N 150

o

TT

150 148 144

h NO

ON

ON

OS

o

ÛO

o

oo

ON

ON

ON

ON

o

ON

ON

ON

o"

ON

3 aû

.s t/3

r*1

en

r*»

o'

c

o

a

>i

P

r-(N

(N

(N

r-

(M

f

(N

r-

(N

o'

tu

II

•tu

O

O

o

o

o

F

r

o

o

o r--

o

F

o

©

•*r

©

I c

o

X

NO

«

«

S

OO

N

O

IT)

NO

NO

NO

NO

»n

N

O

1/1

N

O

^ NO

N

O

a-

CO

«

«

«

«

OO

N

O

NO

N

O

8

«

S

NO

«

NO

3

NO

N

O

tu

. C

T

0,'tU

U

J3

tí Ü

NO

NO

(N

NO

fi

NO

NO

m

NO

m

NO

NO

NO

S

NO

en

N

O

OO

©"

(N

NO

tu

"3

I tZ

)

NO

r-4

NO

(N

NO

NO

S

(N

NO

Ño

ÑO

Ño

ci

NO

(N

NO

Ño

NO

©"

(N

NO

tu

to

c/)

"3

tZ)

NO

(N

NO

(N

NO

(N

^O

3

S

(S

N

O

Ño

O-l

NO

m

NO

(N

NO

OO

©"

tu

-C

'5

to

3

<

NO

S

NO

(N

NO

NO

NO

Ño

Ño

Ño

NO

Ño

NO

©"

(N

NO

X

NO

S

ÑO

Ño

m

NO

NO

Ño

s Ño

ÍN

NO

Ño

Ño

00

,

o'

NO

o

i

¿

NO

Ño

ÑO

NO

NO

Ño

Ño

Ño

ÑO

Ño

Ño

o'

NO

tu

"5

-tu

>

o

CO

162

Page 155: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F
Page 156: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

Publications et documents de l'IIPE

Plus de l 200 ouvrages sur la planification de l'éducation ont été publiés

par l'Institut international de planification de l'éducation. U n catalogue

détaillé est disponible ; il présente les sujets suivants :

Planification de l'éducation

Généralité- contexte du développement

Administration et gestion de l'éducation

Décentralisation - participation - enseignement à distance - carte scolaire - enseignants

Économie de l'éducation

Coûts et financement - emploi - coopération internationale

Qualité de l'éducation

Évaluation - innovations - inspection

Différents niveaux d'éducation formelle

De l'enseignement primaire au supérieur

Stratégies alternatives pour l'éducation

Éducation permanente - éducation non formelle - groupes défavorisés - éducation des filles

Pour obtenir le catalogue, s'adresser à :

IIPE, Unité de la communication et des publications

([email protected])

Les titres et les résumés des nouvelles publications peuvent être

consultés sur le site w e b de l'IIPE, à l'adresse suivante :

www.unesco.org/iiep

Page 157: Principes de la planification de l'éducation - 81unesdoc.unesco.org/images/0013/001390/139059fo.pdf · Planification de l'éducation et développement des ressources humaines, F

L'Institut international de planification de l'éducation

L'Institut international de planification de l'éducation (I1PE) est un centre international, créé par l ' U N E S C O en 1963, pour la formation et la recherche dans le domaine de la planification de l'éducation. Le financement de l'Institut est assuré par l ' U N E S C O et les contributions volontaires des États membres. A u cours des dernières années, l'Institut a reçu des contributions volontaires des Etats membres suivants : Allemagne, Danemark, Inde, Irlande, Islande, Norvège, Suède et Suisse.

L'Institut a pour but de contribuer au développement de l'éducation à travers le monde par l'accroissement aussi bien des connaissances que du nombre d'experts compétents en matière de planification de l'éducation. Pour atteindre ce but, l'Institut apporte sa collaboration aux organisations dans les États membres qui s'intéressent à cet aspect de la formation et de la recherche. Le Conseil d'administration de l'IIPE, qui donne son accord au programme et au budget de l'Institut, se compose d'un max imum de huit membres élus et de quatre membres désignés par l'Organisation des Nations Unies et par certains de ses institutions et instituts spécialisés.

Président :

Dalo 'Asiah bt. Abu Samah (Malaisie) Directrice, Lang Education, Kuala Lumpur, Malaisie.

Membres désignés :

Carlos Fortin Secrétaire général adjoint, Conférence des Nations Unies sur le commerce et le développement ( C N U C E D ) , Genève, Suisse.

Thelma Kay Chef, Comité des problèmes sociaux émergents, Commission économique et sociale pour l'Asie et le Pacifique des Nations Unies ( C E S A P ) , Bangkok, Thaïlande.

Jean-Louis Sarbib Premier Vice-Président pour la région Afrique, Réseau du développement humain, Banque mondiale, Washington, D C , États-Unis.

Lavinia Gasperini Fonctionnaire principal de l'éducation agricole, Organisation des Nations Unies pour l'alimentation et l'agriculture ( F A O ) , R o m e , Italie.

Membres élus :

Aziza Bennani (Maroc) Ambassadeur, Déléguée permanente du Maroc auprès de l ' U N E S C O .

José Joaquín Brunner (Chili) Directeur, Programme d'éducation. Fundación Chile, Santiago, Chili.

Talyiwaa Manuh (Ghana) Directrice, Institut d'études africaines, Université du Ghana, Legon, Ghana.

Philippe Mehaul (France) L E S T - C N R S , Aix-en-Provence, France.

Teiichi Salo (Japon) Ambassadeur extraordinaire et plénipotentiaire et Délégué permanent du Japon auprès de l ' U N E S C O .

Tuomas Takala (Finlande) Professeur, Université de Tampere, Tampere, Finlande.

Raymond E. Wanner (États-Unis) Conseiller principal sur les questions intéressant l ' U N E S C O auprès du Premier Vice-Président des programmes, Fondation des Nations Unies, Washington, D C , États-Unis.

Pour obtenir des renseignements sur l Institut, s 'adresser au : Secrétariat du Directeur, Institut international de planification de l'éducation,

7-9, rue Eugène Delacroix, 75116 Paris, France