Impact des comparaisons internationales sur les politiques ...

Université de RouenUFR des Sciences de l’Homme et de la Société

Département des Sciences de l’ÉducationLaboratoire CIVIIC

Année Universitaire 2009-2010

Impact des comparaisons internationales sur les politiques éducatives.

La réception des évaluations comparatives internationales sur les acquis des

élèves par les personnels de l'Éducation nationale en France :

enquête exploratoire auprès d'un échantillon pluri-catégoriel

En vue de l’obtention duMaster 2 de recherche à distance francophone

Sous la direction de :Monsieur Gilles COMBAZ,

Professeur à l’Université Lyon 2

Emmanuel KERGALLN° étudiant : 20811752

Remerciements

Bien que quelque peu formels, ces remerciements n'en sont pas moins sincères, tant il est vrai

que ce genre d'exercice ne saurait aboutir sans les conseils et le soutien d'autres personnes.

Je remercie tout d'abord mon directeur de mémoire, Monsieur Gilles Combaz, pour ses conseils

et sa disponibilité. Le chemin parcouru entre le projet de recherche initial et ce travail finalisé

n'aurait pas été possible sans les éclairages et les pistes de réflexion qu'il m'a proposés. Je

remercie également Monsieur André Robert pour ses conseils très utiles. Je souhaite exprimer

plus généralement ma gratitude à l'équipe du MARDIF, notamment pour l'intérêt du matériel

proposé dans les séminaires, dont certains textes ont alimenté directement plusieurs analyses

présentées dans ce mémoire.

Je tiens à exprimer ma reconnaissance aux personnes qui, à un moment où l'autre de ce travail,

ont contribué à son avancement par leur disponibilité et leur attention. Je pense tout particulière-

ment aux personnels de l'Éducation nationale qui ont bien voulu m'accorder un entretien dans le

cadre de cette recherche, ainsi qu'à l'équipe du Centre départemental de documentation pédago-

gique de la Meuse, dont l'assistance bienveillante et toujours renouvelée à été précieuse.

Je remercie chaleureusement Marguerite-Marie Poirier pour sa relecture attentive, ses conseils

avisés et ses encouragements amicaux, de même que Chloé et Mathilde Girardi pour leur

sympathique contribution.

Enfin, je remercie ma compagne, dont l'écoute et le soutien indéfectible m'ont permis de mener

à terme ce travail qui fut parfois difficilement conciliable avec la vie personnelle et profession-

nelle, ainsi que ma mère, à qui je dois sans doute de toujours considérer les études comme une

source d'enrichissement personnel.

MARDIF

Table des matières1 INTRODUCTION...................................................................................................................52 APPROCHE DESCRIPTIVE : LES COMPARAISONS INTERNATIONALES...................72.1 Définitions.............................................................................................................................7

2.1.1 Les comparaisons internationales.............................................................................72.1.2 Concepts sous-jacents...............................................................................................8

2.1.2.1 Évaluation.........................................................................................................82.1.2.2 Éducation comparée........................................................................................102.1.2.3 Psychométrie, édumétrie, docimologie...........................................................12

2.2 Perspective historique et cadre général...............................................................................142.2.1 Genèse et évolution des comparaisons internationales...........................................14

2.2.1.1 Les années 1950 : Naissance de l'IEA............................................................142.2.1.2 1961-1988 : Domination de l'IEA...................................................................162.2.1.3 1988-1993 : Concurrence de l'ETS ................................................................172.2.1.4 1993-2000 : Arrivée de l'OCDE et création de l'enquête PISA......................18

2.2.2 Les évaluations comparatives internationales aujourd'hui.....................................192.2.2.1 Les deux principaux acteurs............................................................................19

2.2.2.1.1 L'Association internationale pour l’évaluation du rendement scolaire...202.2.2.1.2 L'Organisation de coopération et de développement économiques........22

2.2.2.2 Les enquêtes de l'IEA......................................................................................232.2.2.2.1 Conception et organisation des enquêtes de l'IEA..................................252.2.2.2.2 Financement des enquêtes de l'IEA.........................................................282.2.2.2.3 Diffusion des résultats des enquêtes de l'IEA.........................................29

2.2.2.3 L'enquête PISA de l'OCDE.............................................................................302.2.2.3.1 Conception et organisation de l'enquête PISA........................................322.2.2.3.2 Financement de l'enquête PISA..............................................................362.2.2.3.3 Diffusion des résultats de l'enquête PISA...............................................36

2.2.2.4 Les autres évaluations comparatives internationales......................................372.2.2.4.1 Les enquêtes du RERPESE ....................................................................382.2.2.4.2 Les enquêtes du LLECE et de l'OEI.......................................................382.2.2.4.3 Les enquêtes du SACMEQ.....................................................................402.2.2.4.4 Le Programme d’analyse des systèmes éducatifs de la CONFEMEN....40

2.3 Aspects techniques..............................................................................................................422.3.1 Élaboration..............................................................................................................43

2.3.1.1 Éléments théoriques sur les instruments psychométriques / édumétriques....432.3.1.2 Cas particulier des évaluations comparatives sur les acquis des élèves.........50

2.3.2 Problèmes épistémologiques..................................................................................522.3.2.1 Problèmes d'échantillonnage...........................................................................532.3.2.2 Problèmes de traduction et biais culturels......................................................56

2.3.2.2.1 Biais linguistiques...................................................................................572.3.2.2.2 Biais socioculturels.................................................................................59

2.3.2.3 Problèmes de méthodologie............................................................................61

3/191

MARDIF

2.4 Enjeux politiques et analyse critique des comparaisons internationales.............................662.4.1 Comparaisons internationales et politiques éducatives en France..........................672.4.2 Enjeux politiques....................................................................................................68

2.4.2.1 Conséquences (implicites) des comparaisons internationales........................702.4.2.2 La question de l'instrumentalisation des comparaisons internationales..........78

2.4.3 Intérêt et limites des comparaisons internationales................................................823 APPROCHE EXPÉRIMENTALE : LA RECHERCHE........................................................873.1 Définition de la problématique............................................................................................873.2 Choix de la méthodologie...................................................................................................933.3 Conception de l'enquête......................................................................................................96

3.3.1 Détermination de la population..............................................................................963.3.2 Constitution du corpus : choix des enquêtés...........................................................98

3.3.2.1 Taille du corpus...............................................................................................983.3.2.2 Critères de sélection des enquêtés : variables stratégiques.............................993.3.2.3 Mode d'accès aux enquêtés...........................................................................100

3.3.3 Élaboration du guide d'entretien...........................................................................1013.4 Collecte des données : réalisation des entretiens..............................................................1053.5 Dépouillement, analyse et traitement des données...........................................................107

3.5.1 Préparation des données : retranscription des entretiens......................................1083.5.2 Traitement des informations.................................................................................108

3.6 Interprétation des résultats................................................................................................1123.6.1 Que savent les personnels interrogés des comparaisons internationales ?...........1123.6.2 Que pensent les personnels interrogés des comparaisons internationales ?.........1193.6.3 Quel est l'impact des comparaisons internationales sur les personnels interrogés ?.......................................................................................................................................1243.6.4 Différentiation inter-catégorielle des réponses.....................................................126

3.7 Discussion des résultats....................................................................................................1273.8 Discussion sur la méthodologie........................................................................................1294 CONCLUSION....................................................................................................................131 SIGLES ET ACRONYMES..................................................................................................135 BIBLIOGRAPHIE.................................................................................................................137 ANNEXES.............................................................................................................................142

Annexe 1 : Principales enquêtes internationales sur les acquis des élèves..............143 Annexe 2 : Pays membres de l'OCDE......................................................................146 Annexe 3 : Pays représentés au sein de l'IEA..........................................................147 Annexe 4 : Illustration des biais linguistiques.........................................................148 Annexe 5 : Guide d'entretien....................................................................................149 Annexe 6 : Fiches support annexées au guide d'entretien........................................157 Annexe 7 : Entretien n° 2.........................................................................................159 Annexe 8 : Entretien n° 8.........................................................................................167 Annexe 9 : Tableau de données................................................................................180

4/191

MARDIF Introduction

1 INTRODUCTIONLa France a connu au cours des trente dernières années un nombre important de réformes

curriculaires et structurelles de son système éducatif : décentralisation du fonctionnement

matériel des collèges et lycées (1983, 1985), nouveaux programmes du collège et création du

baccalauréat professionnel (1985), Charte pour bâtir l’école du XXIe siècle et réforme des

programmes (1998), loi d'orientation sur l'éducation (1989), loi de programmation du

« Nouveau Contrat pour l’École » (1995), nouveaux programmes de l’école primaire (2002),

Acte II de la décentralisation et nouveau transfert de compétences aux collectivités territo-

riales concernant les collèges et lycées (2004), loi d’orientation et de programme pour l’avenir

de l’École et apparition du socle commun de connaissances et de compétences (2005), circu-

laire de Robien sur l'apprentissage de la lecture (2006), nouveaux programmes de l'école et du

collège (2008), rénovation de la voie professionnelle (2009), réforme du recrutement et de la

formation (mastérisation) des enseignants (2009), réforme du lycée (2010), assouplissement et

projet de suppression de la carte scolaire, etc. De nombreuses réformes ont également été

mises en œuvre à l’étranger (Allemagne, Belgique, Canada, États-Unis, Finlande, Royau-

me-Uni…).

Partant de ce constat, nous nous interrogeons sur le rôle des comparaisons internationales, qui

ont connu une forte montée en puissance durant la même période, dans ces mouvements de

réformes. Plus précisément, nous nous demandons quel est leur impact sur les politiques

éducatives nationales. Faut-il penser, comme Christian Baudelot et Roger Establet, que les

enquêtes du Programme international pour le suivi des acquis des élèves (PISA) « restent

pour l’essentiel absentes du débat public sur l’école »1, en France tout au moins ? Ou, comme

semblent le montrer Nathalie Mons et Xavier Pons à propos de l'enquête PISA 2006, faut-il

constater que les comparaisons internationales en matière éducative sont aujourd'hui

marquées « par une forte instrumentalisation à des fins politiques »2 ? Si les comparaisons

internationales sont invoquées lors des réformes éducatives, servent-elles avant tout à justifier

des orientations commandées par des mobiles économiques ou idéologiques, ou consti-

1 BAUDELOT Christian, ESTABLET Roger, L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales, Paris, Seuil, 2009, p. 11.

2 MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009, p. 64.

5/191

MARDIF Introduction

tuent-elles un véritable outil de connaissance, de diagnostic et de force propositionnelle pour

améliorer l'efficacité et l'efficience du système éducatif, au bénéfice des élèves et, in fine, de

la société ?

Certes, comme l'écrivent Jean-Richard Cytermann et Marc Demeuse, « la confrontation avec

les autres systèmes fait ressortir de manière éclairante les traits les plus originaux de notre

propre système »3. Parce qu'elles permettent une telle confrontation, les comparaisons interna-

tionales présentent à première vue un intérêt certain. Toutefois, ces deux auteurs poursuivent

leur propos en soulignant le fait que la confrontation avec les autres systèmes « influe de plus

en plus sur l’analyse que nous faisons de celui-ci ». Dès lors comment mesurer cette

influence ? Quels en sont les ressorts sous-jacents et les axes déterminants ? Cette influence

est-elle bénéfique ou, au contraire, empiète-t-elle indirectement sur la souveraineté nationale

en orientant à notre insu et hors de tout débat démocratique nos politiques d'éducation ? Les

enjeux économiques, sociaux, culturels et, bien sûr, éducatifs sont-ils identifiés et explicites ?

Autant de questions qui nous semblent se poser à propos des comparaisons internationales en

matière éducative.

Ce travail de recherche a pour objet de mettre à jour si possible, par une expérimentation,

quelques éléments de compréhension des rapports d'influence qui lient comparaisons interna-

tionales et politiques éducatives nationales. Nous commencerons par définir et décrire notre

champ d'étude dans ses différentes dimensions. Au vu de l'analyse descriptive, nous détermi-

nerons précisément la partie expérimentale de notre recherche, à partir de la connaissance que

nous aurons pu acquérir des recherches existantes et des contraintes, notamment matérielles et

temporelles, qui limitent la portée de ce travail. Compte tenu du caractère très vaste et multi-

dimensionnel de cet objet d'étude, la problématique que nous serons amené à formuler sera

nécessairement très circonscrite quant à sa forme et modeste quant à son ambition. Enfin,

partant des données quantitatives et qualitatives que nous aurons pu collecter et traiter, nous

tenterons d'apporter quelques éléments de réponse à certaines des questions posées plus haut.

3 CYTERMANN Jean-Richard, DEMEUSE Marc, La lecture des indicateurs internationaux en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2005. p. 39.

6/191

MARDIF Approche descriptive : les comparaisons internationales

2 APPROCHE DESCRIPTIVE : LES COMPARAISONS INTERNATIONALES

2.1 Définitions

2.1.1 Les comparaisons internationales

Qu'entendons-nous par comparaisons internationales ? Au sens générique, le terme désigne

tous les programmes visant à comparer, en les confrontant à l'aide d'indicateurs, divers

systèmes nationaux. En l'espèce, nous nous intéressons aux systèmes éducatifs. Ainsi définies,

les comparaisons internationales peuvent être réparties en deux grandes catégories :

• les comparaisons descriptives, effectuées à l'aide d'indicateurs informatifs issus de données factuelles descriptives (nombre d'élèves, nombre d'établissements, taux de scolarisation par tranche d'âges, budget, part du produit intérieur brut (PIB) consacrée à l'éducation, coût par élève, etc.) ;

• les comparaisons de résultats – ou de performances – effectuées à l'aide d'évaluations basées sur des indicateurs statistiques. Elles peuvent concerner les acquis des élèves en termes de connaissances ou de compétences - en référence ou non à des programmes –, la correction des inégalités sociales par le système scolaire, l'efficience budgétaire, etc. Dans ce cas, comme nous le verrons plus loin, il ne peut s'agir que d'évaluations spécifiquement réalisées dans ce but pour des raisons de comparabilité, les systèmes éducatifs de différents pays n'étant pas comparables « en l'état ».

Les comparaisons purement descriptives posent probablement de moindres problèmes épisté-

mologiques mais elles s'avèrent d'un intérêt relativement limité. Leur analyse est en tout cas

insuffisante pour comprendre les enjeux sous-jacents aux mouvements de réforme qui

secouent les systèmes éducatifs de nombreux pays, dont la France, depuis une trentaine d'an-

nées. Dans cette optique, les comparaisons de résultats sont beaucoup plus pertinentes. Parmi

ces dernières, nous verrons que les enquêtes internationales qui évaluent les acquis (PISA,

PIRLS4, TIMSS5, IALS6...) ont pris une importance majeure. C'est donc à ces programmes

comparatifs que nous nous intéresserons particulièrement.

4 Progress in International Reading Literacy Study5 Trends in International Mathematics and Science Study6 International Adult Literacy Survey

7/191

MARDIF Les comparaisons internationales

Pour bien appréhender l'objet de notre étude, nous commencerons par en définir les princi-

paux concepts sous-jacents.

2.1.2 Concepts sous-jacents

2.1.2.1 Évaluation

Le dictionnaire Petit Robert7 donne pour le terme évaluation la définition suivante : « Action

d'évaluer, de déterminer la valeur ou l'importance (d'une chose) ». Dans leur dictionnaire des

concepts clés de la pédagogie8, Françoise Raynal et Alain Rieunier proposent une définition

proche de la précédente mais en y introduisant une nuance non dénuée d'intérêt pour notre

propos : « Action d'évaluer, c'est-a-dire attribuer une valeur à quelque chose... ». Ici, le terme

attribuer introduit une dose supplémentaire de subjectivité dans l'acte d'évaluer. Cette subjec-

tivité est au cœur de notre problématique, comme nous le verrons ultérieurement.

Dans l'article consacré à l'évaluation qu'il a rédigé pour le Dictionnaire encyclopédique de

l'éducation et de la formation, Jean Cardinet reprend la définition proposée par De Ketele et

Roegiers9 pour qui « évaluer signifie confronter un ensemble d'informations à un ensemble de

critères, en vue de prendre une décision »10. Cette définition est très intéressante car elle situe

bien la notion d'évaluation dans une dynamique décisionnelle. Ainsi la question initiale de

savoir quel est l'impact des comparaisons internationales sur les politiques éducatives natio-

nales se trouve-t-elle a priori justifiée, dès lors qu'il s'agit de comparaisons établies à partir

d'évaluations.

La définition plus instrumentale proposée par Marc Demeuse nous intéresse également car

nous serons amené à aborder les aspects techniques des comparaisons internationales : « juge-

ment d'une qualité, d'une performance, d'une caractéristique définie, basé sur une mesure

(issue d'un instrument, un test, etc.), se référant à un critère intrinsèque ou extrinsèque et

prenant diverses formes »11.7 Le Nouveau Petit Robert, Dictionnaires Le Robert, 1993.8 RAYNAL Françoise, RIEUNIER Alain, Pédagogie : dictionnaire des concepts clés, Paris, ESF éditeur, 1997.9 KETELE (de) Jean-Marie, ROEGIERS Xavier, Méthodologie du recueil d'informations, Bruxelles, De

Boeck, 1991.10 CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), Dictionnaire encyclopédique de l'éducation et de la

formation, Paris, Nathan/Vuef, 2001, p. 438.11 DEMEUSE Marc, « Introduction aux théories et aux méthodes de la mesure en Sciences psychologiques et

8/191

MARDIF Concepts sous-jacents

Il est intéressant de noter que, toujours selon Cardinet, « l'idée d'évaluer le fonctionnement

d'une institution ou le résultat d'une pratique est d'origine anglo-saxonne ». Elle s'oppose à

« l'approche latine, plus rationaliste » et « se situe dans un contexte politique (au sens large),

où une décision est à prendre, plutôt que dans un cadre scientifique, où un savoir est à

valider ». Le caractère subjectif du processus d'évaluation, conditionné par la fixation préa-

lable d'objectifs ou de résultats à atteindre apparaît donc clairement. Évaluer n'est pas

mesurer ! Pour reprendre les propos de Demeuse, il convient de « distinguer le travail d’ins-

trumentation et les méthodes de mesure de l’interprétation qui pourra être faite du mesurage,

même si la construction de l’instrument est déjà un parti pris »12.

Par ailleurs, le concept d'évaluation se décline de différentes manières, selon :

• l'objet évalué : évaluation institutionnelle (d'un établissement, d'un département ministériel, d'un service public...) ou individuelle (des élèves, des personnels) ;

• ses modalités d'exécution : évaluation interne (auto-évaluation), externe ou négociée ;

• l'objectif poursuivi : évaluation prédictive (estimation du résultat prévisible consécutif à une action), sommative (constat/certification), formative (informe l'évalué et l'évaluateur dans le but de déterminer les mesures correctives appropriées) ou diagnostique (informe l'évaluateur dans le but de déterminer des mesures correctives ou de prendre des décisions).

Évaluation formative et évaluation diagnostique présentent des similitudes. Mais tandis que la

première s'applique plus particulièrement au cas d'évaluations individuelles et a pour objectif

d'amener l'évalué à prendre une part active dans les mesures à adopter pour lui permettre d'at-

teindre les objectifs fixés, la seconde concerne également l'évaluation institutionnelle. Cette

dernière s'inscrit donc moins dans une logique spécifiquement pédagogique et comporte une

dimension plus générale : permettre à l'évaluateur de situer l'objet d'évaluation à un instant

donné par rapport à des résultats attendus, des objectifs fixés ou des éléments de comparaison

externes, en vue de prendre des décisions.

Les évaluations comparatives internationales entrent dans le champ des évaluations diagnos-

tiques. Il s'agit d'évaluations institutionnelles – évaluations des systèmes éducatifs ou des

en Sciences de l’Éducation », Notes de cours, IREDU, Université de Bourgogne, janvier 2008, p. 4.12 Ibid.

9/191


politiques éducatives – généralement réalisées au moyen d'évaluations individuelles – évalua-

tions des élèves. Elles s'inscrivent en outre dans une logique récente de justification ou

« redevabilité » (accountability) de plus en plus prégnante dans un monde économique et

politique dominé par le dogme salvateur de la nouvelle gouvernance issu du New Public

Management anglo-saxon. Il faut toutefois noter que, dans cette optique, évaluer ne suffit

pas ; comme le précise Claude Pair, « pour provoquer un progrès, l'évaluation doit être inté-

grée dans un pilotage où elle est intégrée dans un processus de régulation »13.

Pour terminer, nous soulignerons le caractère polysémique et culturellement marqué du

concept d'évaluation. En anglais, par exemple, il existe deux termes aux acceptions quelque

peu différentes correspondant au vocable français : evaluation et assessment. Le premier

exprime l'idée d'une photographie, de la description d'une situation à un instant donné, et

pourra correspondre selon l'objectif à la notion d'évaluation diagnostique ou sommative. Le

mot assessment, plus dynamique, évoque une évaluation qui s'intéresse davantage aux

processus. Il peut sans doute être rapproché de l'évaluation formative française, bien que ses

modalités de mise en œuvre en diffèrent souvent. En effet, dans les pays anglo-saxons, parti-

culièrement aux États-Unis et au Canada, l'évaluation passe fréquemment par la constitution

par le sujet évalué d'un portefeuille de compétences – ou portfolio. Ce mode d'évaluation tend

aujourd'hui à se diffuser, notamment au sein des institutions européennes, mais il demeure

encore largement étranger à la culture française.

2.1.2.2 Éducation comparée

Les évaluations comparatives internationales – ou comparaisons internationales – en matière

éducative entrent dans le champ de l'éducation comparée, dont Michel Debeauvais, dans l'ar-

ticle qu'il a rédigé sur ce sujet pour le Dictionnaire encyclopédique de l'éducation et de la

formation, attribue l'origine à Marc-Antoine Jullien de Paris (1775-1848)14. Ce dernier « a

utilisé et défini pour la première fois le terme d'éducation comparée dans une série de trois

13 DEROUET Jean-Louis , NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et politique, Lyon, INRP, ESEN, 2007, p. 104.

14 CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), op. cit, p. 351.

10/191


articles parus dans le "Journal d’éducation" »15 en 1817 sous le titre « Esquisse et vues préli-

minaires d'un Ouvrage sur l'éducation comparée ».

Debeauvais reprend la définition de l'éducation comparée proposée par H. Van Deale16 :

« L'éducation comparée est la composante pluridisciplinaire des sciences de l'éducation qui étudie des phénomènes et des faits éducatifs dans leur relation avec le contexte social, politique, économique, culturel, etc., en comparant leurs similitudes et leurs différences dans deux ou plusieurs régions, pays, continents ou niveaux mondiaux, afin de mieux comprendre le caractère unique de chaque phénomène dans son propre système éducatif et de trouver des généralisations valables ou souhaitables, dans le but final d'améliorer l'éducation. »

Les trois grands domaines d'application de l'éducation comparée sont : « la comparaison des

idées pédagogiques, dans l'espace et dans le temps ; la comparaison des contenus et des

méthodes d'enseignement ; la comparaison des systèmes éducatifs ». Les évaluations interna-

tionales sur les acquis des élèves relèvent à notre sens des deux derniers domaines.

Nathalie Mons17 rappelle que l'éducation comparée voit s'opposer traditionnellement deux prin-

cipales écoles : le particularisme, qui utilise la comparaison pour identifier les caractéristiques

propres à chaque système ; l'universalisme, qui recherche les lois invariantes communes à tous

les systèmes pour en extraire généralisations et « bonnes pratiques ». Les comparaisons interna-

tionales dont nous traitons ici se rattachent, nous le verrons, au deuxième courant.

Le développement de l'éducation comparée s'est essentiellement produit dans la deuxième

moité du XXe siècle, en réponse à la forte poussée démographique de l'après-guerre et aux

défis de l'éducation de masse qui s'annonçait. Il est toutefois intéressant de souligner le fait

que cette discipline n'a pas connu le même développement dans tous les pays. Elle a suscité

un intérêt plus marqué dans les pays dans lesquels les enseignants reçoivent une formation

pédagogique généraliste, tels que le Canada, les États-Unis ou le Japon, où l'éducation

comparée est perçue comme une source d'enrichissement professionnel.

15 Site internet de l'Association francophone d'éducation comparée (AFEC) : http://afecinfo.free.fr/afec/histoire/Jullien.htm

16 VAN DAELE Henk, L'éducation comparée, Paris : PUF, « Que sais-je ? », n° 2786, 1993.17 MONS Nathalie, « L’évaluation des politiques éducatives. Apports, limites et nécessaire renouvellement des

enquêtes internationales sur les acquis des élèves », dans Revue internationale de politique comparée, 2007/3, Volume 14, 2007, p. 409-423.

11/191

http://afecinfo.free.fr/afec/histoire/Jullien.htm


Debeauvais observe également que l'éducation comparée donne lieu aux mêmes clivages

méthodologiques que les autres sciences de l'éducation, les chercheurs issus des disciplines

classiques (les « Humanités » : histoire, philosophie...) privilégiant une approche qualitative

ou normative, ceux issus des sciences sociales étant plus enclins à l'utilisation des méthodes

quantitatives et à la démarche expérimentale. Comme nous le verrons, ces « querelles » d'ex-

perts ont parfois pu avoir une incidence non négligeable sur le développement des outils

édumétriques mis en œuvre dans les comparaisons internationales, sur l'influence de certains

pays dans leur conception et, peut-être, sur les résultats auxquels ils ont mené.

2.1.2.3 Psychométrie, édumétrie, docimologie

La psychométrie peut être définie comme la science de la mesure en psychologie. Elle

concerne donc l'ensemble des théories et des méthodes de la mesure en psychologie (Dikes,

Tournois, Flieller et Kop)18. Comme le précise Jean-Luc Bernaud19, elle a pour finalité le

développement de méthodes d'évaluation de caractéristiques individuelles. La difficulté

majeure de la mesure en psychologie provient de l'absence de grandeur objectivable : sur

quelle base mesurer l'intelligence, les connaissances, les compétences, les attitudes ? En

conséquence, « les mesures en psychologie sont souvent considérées comme relatives et non

directes : le recours aux étalonnages […] ne correspondant pas à une mesure directe d'un

trait psychologique, mais à une évaluation du positionnement relatif d'un individu comparati-

vement à un échantillon de personnes présentant les mêmes caractéristiques »20 (nous

soulignons). Cette relativité de la mesure est au centre des problématiques méthodologiques

des évaluations comparatives en éducation.

Mais la psychométrie s'est historiquement attachée à mesurer les différences entre individus,

ce qui n'intéresse pas prioritairement l'éducation et a conduit des chercheurs à définir un

champ d'études particulier, considéré par certains comme une sous-discipline de la première et

par d'autres comme une science à part entière : l'édumétrie, qui se définit donc comme la

science de la mesure en éducation. Selon Marc Demeuse21, la première utilisation francophone

du mot édumétrie est apparue sous la plume de Viviane de Landsheere en 1988. Dans son

18 Cités dans : BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007, p 9. 19 Ibid..20 Ibid., p. 10.21 DEMEUSE Marc, « Introduction aux théories... », op. cit., p. 255.

12/191


ouvrage intitulé « Faire réussir, faire échouer. La compétence minimale et son évaluation »22 ,

cette auteure définit ainsi l'édumétrie : « Mot créé par Carver (1974), sur le modèle de psychomé-

trie, pour désigner l’étude quantitative des variables relatives aux apprentissages suscités par

l’éducation : influence d’une action pédagogique, performance effective par rapport à une

performance attendue, épreuves centrées sur les objectifs… ». Pour expliquer ce qui distingue ces

deux disciplines parentes, Demeuse cite également Carver, pour qui « le problème réside dans la

distinction entre la mesure des différences individuelles et celle de la mesure (des résultats)

de l’apprentissage », et qui précise qu'un test édumétrique « reflète les différences intra-indi-

viduelles liées aux développements des individus eux-mêmes, ce qui constitue plus

généralement l’intérêt premier des tests dans le domaine de l’éducation ».

Abstraction faite de la querelle sémantique autour de cette dualité terminologique, nous

constatons que la psychométrie et l'édumétrie constituent véritablement le socle épistémolo-

gique des comparaisons internationales en éducation. Toutefois, il convient sans doute de

mentionner également un troisième champ disciplinaire en lien étroit avec l'évaluation des

acquis scolaires : la docimologie. Le terme a été introduit par Henri Piéron en 1929 et désigne

la science des examens et de l'évaluation scolaire. D'abord critique, cette discipline était

surtout dédiée à l'étude des erreurs – ou biais – de notation. Dans un deuxième temps, les

docimologues se sont aussi consacrés à la recherche de solutions. Précisons, en reprenant la

formule de de Ketele, que « le paradigme docimologique est essentiellement orienté vers la

fidélité ou la fiabilité des évaluations »23 et en délaisse la dimension interprétative.

Les référents théoriques étant définis, nous aborderons maintenant l'analyse descriptive des

comparaisons internationales dans leurs dimensions historique et fonctionnelle.

22 LANDSHEERE (de) Viviane, Faire réussir – Faire échouer. La compétence minimale et son évaluation, Paris, Presses Universitaires de France, 1988.

23 KETELE (de) Jean-Marie, « L'évaluation conjuguée en paradigmes », dans Revue française de pédagogie, n° 103, INRP, 1993, p. 61.

13/191

MARDIF Perspective historique et cadre général

2.2 Perspective historique et cadre général

2.2.1 Genèse et évolution des comparaisons internationales

2.2.1.1 Les années 1950 : Naissance de l'IEA24

Si l'éducation comparée apparaît au XIXe siècle, l'idée d'évaluer et de comparer les systèmes

éducatifs des différents pays à l'aide d'évaluations de masse sur les acquis des élèves n'est

apparue que dans les années cinquante au sein de l'Institut de l'UNESCO pour l'Éducation

(IUE)25. Ainsi, à partir de 1952, année de création de l'IUE à Hambourg (Allemagne), furent

organisées des rencontres annuelles réunissant les chercheurs en éducation les plus reconnus

au niveau international, afin de faire avancer la réflexion autour des problématiques d'évalua-

tion en confrontant les recherches et de répondre aux défis de l'époque, notamment

l'augmentation de la demande due au babyboum et l'évolution des besoins éducatifs résultant

du développement économique et technologique de l'après-guerre.

C'est dans ce cadre que l'idée d'évaluer les systèmes éducatifs en mesurant les acquis des

élèves est apparue, notamment portée à partir de 1958 par un groupe de chercheurs à l'origine

de l'Association internationale pour l’évaluation du rendement scolaire (généralement dési-

gnée en français par son sigle anglais IEA), officiellement créée en 1967. En effet, cette même

année, ce groupe d'experts fut réuni au siège de l'IUE avec pour objectif, selon les termes

d'Alejandro Tiana, président de l'IEA de 1999 à 2004 :

« de discuter des problèmes liés à l’évaluation des élèves et des établissements éducatifs, avec le désir de mettre en œuvre un projet commun de recherche dans ce domaine qui soit de caractère international et donne des points de vue comparatifs. […] il ne suffisait pas de mesurer les résultats obtenus, encore fallait-il s’efforcer de les expliquer. Autrement dit, il ne suffisait pas de connaître et d’évaluer le rendement des systèmes éducatifs, il fallait aussi faire un effort pour identifier les principaux facteurs qui le produisent. Cette volonté d’explication était associée à la préoccupation d’améliorer le fonctionnement des systèmes et des établissements d’éducation. Il ne s’agissait pas d’évaluer pour la simple envie d’évaluer, mais de le faire pour faciliter l’amélioration de l’éducation. Et pour ceci, il était nécessaire de savoir quels étaient les principaux facteurs qui influençaient le rendement éducatif, comment ils interagissaient entre eux et comment ils se répercutaient sur le travail éducatif et sur ses résultats »26.

24 International Association for the Evaluation of Educational Achievement25 L'IUE a été rebaptisé en 2006 Institut de l'UNESCO pour l'apprentissage tout au long de la vie.26 TIANA Alejandro (2001). « Le monde comme laboratoire éducatif. Les indicateurs comme outils des

politiques éducatives. Politiques d’éducation et de formation », dans Analyses et comparaisons internationales, n° 3, Bruxelles, De Boeck, p. 47-57.

14/191

MARDIF Genèse et évolution des comparaisons internationales

Un groupe de chercheurs se vit alors confier en 1958 l'élaboration d'une étude pilote conduite

entre 1959 et 1962 dont les objectifs étaient les suivants :

• « mieux comprendre le fonctionnement intellectuel, en se servant du test à choix multiple construit pour permettre de dégager des tendances communes dans les réponses d’élèves de plusieurs pays ;

• découvrir les possibilités et les difficultés de réalisation d’une étude internationale de masse sur les acquis des élèves. »27

Les bases conceptuelles des évaluations comparatives internationales en éducation furent en

bonne partie jetées dès cette étude pilote. Or, comme l'observent N. Bottani et P. Vrignaud, les

chercheurs qui eurent un rôle déterminant dans l'élaboration de cette étude pilote étaient majo-

ritairement d'origine anglo-saxonne28, la francophonie étant représentée par un chercheur

français (Gaston Mialaret) et un chercheur belge (Fernand Hotyat). Cette situation, due en

partie au manque d'expert français en éducation comparée et en psychométrie, deux disci-

plines traditionnellement anglo-saxonnes, n'a probablement pas été sans conséquence pour la

suite. Par ailleurs, il n'est peut-être pas inutile de rappeler également, comme le font Bottani et

Vrignaud, que l'intérêt des États-Unis et des pays d'Europe occidentale pour l'évaluation du

rendement scolaire s'inscrivait alors dans un contexte de compétition technologique entre

Américains et Soviétiques pour la conquête spatiale, sur fond de guerre froide. Dans un tel

contexte, la mesure de l'efficacité de l'éducation scientifique de ces pays, gage de suprématie

technologique, était éminemment stratégique. Par conséquent, si les motivations des cher-

cheurs impliqués dans cette phase initiale d'élaboration des évaluations comparatives

internationales en éducation étaient principalement scientifiques, celles des États qui ont

soutenu et financé le projet n'étaient pas désintéressées ; elles comportaient des enjeux poli-

tiques importants situés bien au-delà du cadre scientifique.

La collecte des données de l'étude pilote fut donc réalisée en 1959-1960 dans 12 pays, auprès

de 12 000 élèves de 13 ans. Celle-ci couvrait principalement quatre domaines : mathéma-

27 BOTTANI Norberto, VRIGNAUD Pierre, La France et les évaluations internationales, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, La Documentation Française, 2005, p. 12.

28 Benjamin Bloom (Université de Chicago), Arnold Anderson (id.), Bob Thorndike (Columbia University de New York), Arthur Wellesley Foshay (id.), Harry Passow (id.) Douglas Pidgeon (National Foundation for Educational Research, Royaume-Uni), David Walker (Scottish Centre for Research in Education, Royaume-Uni), Torsten Husén (Suède), Walter Schukze (Allemagne).

15/191


tiques, compréhension de l'écrit, géographie et sciences. Au-delà des résultats obtenus par les

élèves testés, cette première étude permit surtout de conclure à la faisabilité de telles évalua-

tions comparatives internationales à grande échelle, les problèmes rencontrés en termes de

réalisation technique et de validité scientifique ne semblant pas insurmontables, et les

premiers résultats obtenus paraissant prometteurs aux chercheurs impliqués. Toutefois, il

apparut d'emblée aux concepteurs de l'évaluation pilote qu'il serait indispensable de disposer

d'une structure permanente qui permette de planifier, coordonner, financer et exploiter de

telles études. L'Association internationale pour l’évaluation du rendement scolaire (IEA) fut

donc créée à cet effet en 1958. D'abord sise à Hambourg29 auprès de l'IUE, elle fut légalement

constituée comme entité autonome en 1967.

2.2.1.2 1961-1988 : Domination de l'IEA

Comme nous l'avons évoqué, il apparaît clairement que « les enquêtes de l’IEA ne pouvaient

pas se justifier uniquement sur la base d’un intérêt scientifique, mais qu’elles devaient

fournir aux décideurs des informations utiles pour orienter les politiques de l’éducation »30.

Les chercheurs qui se succédèrent à la présidence de l'IEA jusqu'en 1986, notamment le

Suédois Torsten Husén (de 1963 à 1978) puis l'Américain Neville Postlethwaite (de 1978 à

1986), qui avaient bien compris cet enjeu et furent suffisamment habiles à concilier des inté-

rêts différents, sinon divergents, permirent à l'association de rester l'unique acteur crédible

d'envergure internationale dans le champ des évaluations comparatives en éducation pendant

près de 30 ans. Ainsi, durant cette période, L'IEA réalisa plusieurs évaluations comparatives

internationales sur les acquis des élèves qui permirent aux chercheurs impliqués de déve-

lopper les outils conceptuels nécessaires tout en cherchant à résoudre les nombreux problèmes

méthodologiques que pose ce type de comparaisons. Il est à noter que pendant cette période,

l'IEA fut principalement financée par l'administration américaine31.

Les principales évaluations effectuées par l'IEA pendant cette période furent les suivantes32 :

29 Le siège de l'IEA se situe aujourd'hui à Amsterdam (Pays-Bas).30 BOTTANI Norberto, VRIGNAUD Pierre, op. cit. p. 15.31 BOTTANI Norberto, VRIGNAUD Pierre, op. cit. p. 16.32 Pour une liste complète, voir en annexe le tableau récapitulatif des principales évaluations internationales sur

les acquis des élèves depuis l'origine de ces études.

16/191


Tableau 1 : Principales évaluations comparatives internationales de l'IEAentre 1961 et 1988

Année Dénomination de l'évaluation

1964 Première enquête internationale sur les mathématiques (FIMS)

1970-1971 Enquête sur six matières :- Première enquête internationale sur les sciences (FISS)- Compréhension de l'écrit- Littérature- Anglais langue étrangère- Français langue étrangère- Éducation civique

1982 Deuxième enquête internationale sur les mathématiques (SIMS)

1983-1984 Deuxième enquête internationale sur les sciences (SISS)

1985 Enquête sur la composition écrite

Parallèlement, face au développement et à l'évolution rapides des besoins éducatifs à la fin

des années soixante, et du fait du rôle grandissant de l'éducation dans la valorisation du capital

humain33, le Conseil de l'OCDE34 décida de la création en 1968 du Centre pour la recherche et

l’innovation dans l’enseignement (CERI) en réponse « à un besoin urgent de changement et

d’innovation au sein des systèmes éducatifs face aux pressions et aux exigences des sociétés

modernes »35. Le CERI supervise notamment le programme INES (indicateurs des systèmes

d'enseignement), qui « vise à mettre en place un ensemble riche d’indicateurs de l’éducation

comparables à l’échelon international »36. Mais ces indicateurs ne relèvent pas d'évaluations

comparatives sur les acquis des élèves.

2.2.1.3 1988-1993 : Concurrence de l'ETS

En 1988, l'administration américaine mit fin au monopole de l'IEA sur les évaluations compa-

ratives internationales en confiant à l'Educational Testing Service (ETS), organisation non

gouvernementale américaine basée à Princeton (New Jersey) œuvrant dans le domaine de

l'éducation et spécialisée dans les évaluations, la réalisation d'une étude internationale sur les

acquis des élèves concurrente à celle de l'IEA : l'International Assessment of Educational

Progress (IAEP-I). Cette dernière fut réitérée en 1991 sous l'appellation IAEP-II. Bien que 33 Rôle rappelé sur le site de la revue « L'Observateur OCDE » :

http://www.observateurocde.org/news/fullstory.php/aid/2301/_C9ducation_Innovante.html 34 Organisation de coopération et de développement économique.35 OCDE, Centre de l'OCDE pour la recherche et l’innovation dans l’enseignement, Paris, OCDE Publications,

2008 : http://www.oecd.org/dataoecd/38/41/38446921.pdf 36 OCDE, L'éducation à l'OCDE 2005-2006, Paris, OCDE Publications :

http://www.oecd.org/dataoecd/35/41/30471121.pdf

17/191



http://www.observateurocde.org/news/fullstory.php/aid/2301/_C9ducation_Innovante.html


contestées au plan méthodologique, ces deux enquêtes affaiblirent l'IEA, qui continua toute-

fois son activité, avec notamment une enquête sur la compréhension de l'écrit en 1990-1991,

la troisième enquête internationale sur les mathématiques et les sciences (TIMSS) en 1994-

1995, puis l'enquête sur l'éducation civique de 1999.

2.2.1.4 1993-2000 : Arrivée de l'OCDE et création de l'enquête PISA

L'étude controversée IAEP-II affaiblit la position de l'ETS dans le domaine des évaluations

comparatives internationales de masse. A partir de 1993, l'OCDE, souhaitant compléter son

système d'indicateurs descriptifs des systèmes éducatifs par des indicateurs mesurant l'effica-

cité de ces derniers en termes de connaissances et compétences acquises par les élèves,

s'intéressa à cette question. Après une tentative infructueuse de rapprochement avec l'IEA, les

pays membres de l'OCDE décidèrent de lancer sous l'égide de cette dernière un programme

international d'évaluation des acquis des élèves. Ce projet lancé en 1997 aboutit, en 2000, à la

première évaluation PISA (Programme international pour le suivi des acquis des élèves),

réalisée auprès d'élèves de 15 ans de 32 pays. Comme l'indique la brochure de présentation de

l'enquête PISA37, « le cadre conceptuel et les méthodes de compte rendu de l’évaluation ont

été choisis pour permettre aux gouvernements de tirer des enseignements politiques des résul-

tats ». Nous constatons donc que les objectifs poursuivis par l'OCDE furent dès l'origine bien

différents de ceux qui motivaient les chercheurs de l'IEA. L'enquête PISA s'inscrivit claire-

ment dès sa conception dans une perspective politique, avec pour objectif de fournir aux

décideurs des pays concernés une mesure de la performance relative de leur système éducatif

en termes de compétences acquises par leurs élèves, en vue d'orienter leurs politiques éduca-

tives.

Cette brève perspective historique permet de constater que, si les comparaisons internatio-

nales des systèmes éducatifs furent initialement imaginées et développées par une

communauté de chercheurs dont l'objectif était avant tout d'identifier, de comprendre et de

maîtriser les critères d'efficacité des systèmes d'enseignement dans un but de développement

humain, dans un deuxième temps, ce champ de la recherche fut investi par les responsables

politiques des pays occidentaux afin d'en faire un instrument décisionnel fondé sur des batte-

37 OCDE, PISA. Programme International pour le Suivi des Acquis des élève, en ligne sur le site internet PISA.

18/191


ries d'indicateurs de performances standardisés. Nous verrons que les évaluations internatio-

nales ont par la suite également été parfois instrumentalisées pour justifier les réformes mises

en œuvre en matière éducative. Un tableau synoptique récapitule en annexe les principales

évaluations comparatives internationales réalisées, de leur origine à 2009.

2.2.2 Les évaluations comparatives internationales aujourd'hui

2.2.2.1 Les deux principaux acteurs

Si elles ne sont pas seules dans le paysage de l'éducation comparée, l'IEA et l'OCDE semblent

bel et bien être les deux principaux pourvoyeurs d'évaluations internationales sur les acquis

des élèves aujourd'hui, en tous cas en matière d'évaluations de masse à une échelle interconti-

nentale. En France, la page internet du site du ministère de l'Éducation nationale consacrée à

l'évaluation38 ne mentionne, en ce qui concerne les comparaisons internationales, que PISA

(OCDE) et PIRLS (IEA).

Il semble que l'évaluation PISA de l'OCDE ait pris en France une place prépondérante au

cours de la dernière décennie, au moins du point de vue médiatique. Cette hypothèse intuitive

paraît d'ailleurs confirmée par une recherche rapide effectuée sur internet, à titre indicatif, à

l'aide des moteurs de recherche Google et Yahoo. Ainsi, le nombre de pages en français conte-

nant les expressions « PISA évaluations » (PISA seul pouvant être équivoque), « PIRLS » et

« TIMSS »39 est évalué par Google respectivement à 12 800 pour PISA, 5 850 pour PIRLS et

2 300 pour TIMSS40. Ces résultats sont corroborés par ceux obtenus à l'aide de Yahoo France,

qui renvoie les chiffres suivants : 70 900 pour PISA, 40 000 pour PIRLS, 10 300 pour

TIMSS41. Ils sont de plus en cohérence avec l'analyse de Barroso et De Carvalho, pour qui

« l'acronyme PISA semble être devenu une catégorie incontournable du lexique du nouveau

38 URL : http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html (consultée le 24/04/10)

39 Les enquêtes PIRLS et TIMSS font partie des programmes phares de l'IEA.40 Recherche effectuée le 12/08/2010 sur le site http://www.google.fr/, avec les paramètres suivants : Option

Recherche avancée ; Page contenant tous les mots suivants = 1°) « PISA évaluations », 2°) « PIRLS », 3°) « TIMSS » ; Langue = « français » ; Région = « France ».

41 Recherche effectuée le 12/08/2010 sur le site http://fr.search.yahoo.com/, avec les paramètres suivants : Option Recherche avancée ; Faire une recherche sur tous ces mots = 1°) « PISA évaluations », 2°) « PIRLS », 3°) « TIMSS » ; Langue = « français » ; Pays = « France ».

19/191

http://fr.search.yahoo.com/

http://www.google.fr/

http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html

MARDIF Les évaluations comparatives internationales aujourd'hui

planetspeak éducatif »42 dans le monde. Nous chercherons à vérifier cet ascendant de PISA en

France dans la partie expérimentale de ce travail.

Une raison à la suprématie probable de l'enquête PISA en France réside sans doute dans ses

objectifs, qui, comme nous le verrons, ont été, dès les origines, politiques. Une autre raison

tient certainement au statut de l'OCDE. L'éducation comparée est un champ d'étude complexe

nécessitant des outils d'analyse sophistiqués, difficiles à mettre en œuvre et à interpréter.

Essentiellement destinées à une population d'experts, ou au moins de professionnels de l'édu-

cation, les évaluations de l'IEA n'ont pas été conçues pour être diffusées à un large public,

contrairement à l'enquête PISA, avant tout destinée aux responsables politiques, donc

formatée pour des non-spécialistes. La diffusion par les médias des résultats de PISA,

exprimés sous forme de classement à échelle unidimensionnelle, s'en trouve donc facilitée.

2.2.2.1.1 L'Association internationale pour l’évaluation du rendement scolaire43

Créée en 1958 et d'abord rattachée à l'Institut de l'UNESCO pour l'Éducation de Hambourg en

Allemagne, L'IEA (International Association for the Evaluation of Educational Achievement)

fut légalement constituée comme entité autonome en 1967. C'est une société scientifique

internationale à buts non lucratifs de droit privé enregistrée en Belgique, dont le siège se

trouve à Liège. Son secrétariat est situé à Amsterdam (Pays-Bas) ; son centre de recherche et

de traitement des données est installé à Hambourg (Allemagne). Association non gouverne-

mentale, elle regroupe des centres et instituts de recherche en éducation et pédagogie, publics

et privés, d'une soixantaine de pays44. La représentation au sein de l'IEA de certains pays est

assurée par une agence gouvernementale ou un département ministériel d'analyse statistique.

C'est notamment le cas de la France, dont la participation à l'IEA est confiée depuis 1997 à la

Direction de l'évaluation, de la prospective et de la performance (DEPP)45 du ministère de

l'Éducation nationale. Ses missions sont aujourd'hui les suivantes :

42 BARROSO João, de CARVALHO Luis Miguel, « PISA : un instrument de régulation pour relier des mondes », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 77.

43 Les informations descriptives de cette section proviennent essentiellement du site internet de l'IEA. 44 La liste des pays représentés au sein de l'IEA (par une entité publique ou privée) est fournie en annexe.45 Son représentant à l'assemblée générale de l'IEA est Claude Sauvageot, Chef de la Mission aux relations

européennes et internationales.

20/191


• fournir aux responsables politiques des indicateurs standardisés (benchmarks) qui les aident à identifier les forces et faiblesses relatives du système éducatif de leur pays ;

• fournir aux responsables politiques des données pertinentes et fiables leur permettant de comprendre les facteurs de réussite scolaires et extra-scolaires de l'enseignement et de l'ap-prentissage ;

• produire des données de qualité qui permettent d'identifier les enjeux importants en matière d'éducation, et de préparer et d'évaluer les réformes éducatives ;

• accroître la capacité des responsables nationaux des systèmes éducatifs à développer des stratégies de pilotage et de progrès en matière éducative ;

• contribuer au développement de la communauté internationale des chercheurs en évaluation des systèmes éducatifs.

Nous constatons que les missions de l'IEA s'adressent aux responsables politiques et aux cher-

cheurs. La formulation de ces missions est très centrée sur l'acte éducatif, l'enseignement et la

compréhension des facteurs de réussite des apprentissages.

Depuis sa création, l'IEA a réalisé 23 enquêtes internationales. Son financement provient des

contributions de ses adhérents, des recettes émanant des participants aux évaluations (tickets

d'entrée) et de divers concours, notamment ceux de la National Science Foundation (NSF) et

du National Center for Education Statistics (NCES) américains, des gouvernements japonais,

néerlandais et norvégiens, de la Banque mondiale, du Programme des Nations Unies pour le

développement (PNUD) ou encore de la Fondation Ford. Il est important de noter ici que les

évaluations internationales de l'IEA ne sont pas financées sur fonds propres. Chaque projet

d'évaluation donne lieu à un montage budgétaire faisant appel à des sources spécifiques. Le

financement de l'Association se caractérise donc par une grande complexité de montages

budgétaires et une multiplicité de partenaires qui ont toujours été source de difficultés. Ces

dernières, relevées par Bottani et Vrignaud46 se confirment d'ailleurs à la lecture des derniers

comptes-rendus d'assemblée générale, qui font notamment état de difficultés de trésorerie

récurrentes.

46 BOTTANI N., VRIGNAUD P., op. cit., p. 51.

21/191


Au delà de ce constat, l'origine des bailleurs de fonds de l'IEA, notamment la contribution très

majoritaire du gouvernement des États-Unis à certaines périodes, laisse entrevoir de probables

interférences méthodologiques dans la construction des enquêtes. En effet, au vu de la réparti-

tion très inégale des charges entre les différentes sphères d'influence culturelle du monde, il

nous semble que nous pouvons légitimement nous interroger sur les biais éventuellement

introduits dans la construction d'outils d'évaluation à dimension internationale, d'autant plus

que, comme nous le verrons par la suite, la problématique des biais culturels s'avère centrale

dans la construction des instruments psychométriques.

Ainsi, née à l'initiative de la communauté des chercheurs en éducation, l'IEA doit aujourd'hui

composer avec des intérêts divergents, sinon contradictoires : d'une part ceux de la recherche

scientifique, d'autre part ceux liés aux politiques éducatives. De ce point de vue, les choses

semblent plus simples pour l'OCDE.

2.2.2.1.2 L'Organisation de coopération et de développement économiques47

Créée en 1961, l’OCDE regroupe les gouvernements de 30 pays48 attachés aux principes de la

démocratie et de l’économie de marché en vue de soutenir une croissance économique

durable, développer l’emploi, élever le niveau de vie, maintenir la stabilité financière, aider

les autres pays à développer leur économie et contribuer à la croissance du commerce

mondial.

L'OCDE offre aux gouvernements un cadre leur permettant de comparer leurs expériences en

matière d’action publique, de chercher des réponses à des problèmes communs, d’identifier

les bonnes pratiques et de coordonner leurs politiques nationales et internationales.

L'un des domaines d'action privilégiés de l'OCDE pour favoriser le développement écono-

mique est l'éducation. Pour cela, l'Organisation s'est dotée d'une Direction de l'éducation qui a

pour mission « d’aider les pays membres et non membres à mettre en place les conditions

d’un apprentissage tout au long de la vie de haute qualité pour tous afin de favoriser le

perfectionnement personnel, une croissance économique durable et la cohésion sociale ». Ses 47 Les informations descriptives de cette section proviennent principalement du site internet de l'OCDE.

Certaines parties du texte en ont été reproduites. 48 La liste des pays membres de l'OCDE est présentée en annexe.

22/191


travaux sont organisés selon les sept axes suivants : les politiques d’éducation et de formation

(ETP) ; le Centre pour la recherche et l'innovation dans l'enseignement (CERI) ; les indica-

teurs des systèmes d'enseignement (INES) ; le Programme international pour le suivi des

acquis des élèves (PISA) ; le Programme sur la gestion des établissements d’enseignement

supérieur (IMHE) ; le Programme pour la construction et l’équipement de l’éducation (PEB) ;

l’Unité pour la coopération avec les économies non membres (NME). La Direction de l'éduca-

tion de l'OCDE contribue de deux manières aux comparaisons internationales : d'une part, par

la publication chaque année de ses indicateurs éducatifs (édition annuelle depuis 1992 de

Regards sur l'éducation) ; d'autre part, par différents programmes d'évaluation des compé-

tences des jeunes scolarisés (dont PISA) et des adultes.

L’OCDE est financée par ses pays membres. Les contributions nationales sont calculées en

fonction de la taille relative de l'économie de chacun des pays membres49. Les États-Unis, qui

financent près de 25 % du budget, sont le premier contributeur, suivis par le Japon. Les pays

peuvent également apporter leurs contributions de manières distinctes à des programmes qui

ne sont pas financés à partir du budget de base. Le budget de l’OCDE et son programme de

travail sont établis sur deux ans par les pays membres. La planification, la budgétisation et la

gestion de l’Organisation se font selon un système fondé sur les résultats.

Ainsi, les objectifs de l'OCDE sont clairement des objectifs de développement économique

dans un cadre d'économie de marché. Cette organisation internationale ne se positionne pas

dans une perspective générale de développement humain, mais bien dans une approche de

valorisation du capital humain, ce qui ne saurait être ignoré pour aborder la question des

comparaisons internationales en matière éducative. Dans ces conditions, l'implication – ou

plutôt l'investissement – de l'OCDE dans les évaluations comparatives internationales sur les

acquis des élèves ne peut que sous-tendre une conception instrumentale de l'éducation.

2.2.2.2 Les enquêtes de l'IEA

Le tableau ci-dessous récapitule les principales évaluations internationales sur les acquis des

élèves menées par l'IEA au cours de la dernière décennie ainsi que les projets en cours.

49 La part de contribution (en % du budget 2010) de chaque pays est indiquée en annexe.

23/191


Tableau 2 : Principales enquêtes internationales de l'IEA sur les acquis des élèvesdepuis l'an 2000

Année Désignation Public cible(âge ou niveau)

Nbre de pays (ou systèmes

éducatifs)

Disciplines ou compétences évaluées

2001 Progress in International Reading Literacy Study (PIRLS)

4ème année (~9 ans) 36 Lecture

2003 Trends in International Mathematics and Science Study (TIMSS)

4ème année8ème année(~9 ans, 13 ans)

50 Mathématiques, sciences


4ème année (~9 ans) 45 Lecture




2008 Trends in International Mathematics and Science Study (TIMSS) – Advanced 2008

fin du secondaire 10 Mathématiques, sciences

2008-2009

International Civic and Citizenship Education Study

8ème année(13-14 ans)

38 Instruction civique , citoyenneté



Mathématiques, sciences


4ème année (~9 ans) Lecture

2013 International Computer and Information Literacy Study (ICILS)

8ème année(13-14 ans)

Maîtrise des technologies de l'information et de la communication

NB : La période indiquée est celle de collecte des données. Source : IEA

Les programmes PIRLS et TIMSS sont aujourd'hui au cœur des activités de l'IEA, et ce pour

plusieurs raisons : l'ancienneté de l'enquête TIMSS et son caractère cyclique (les enquêtes

actuelles dérivent des premières études menées dans les années soixante) ; les champs disci-

plinaires évalués, qui sont centraux dans les apprentissages scolaires de tous pays (ils

recoupent d'ailleurs les compétences évalués par PISA) ; le nombre de pays ou systèmes

éducatifs participants (45 pour PIRLS 2006 ; 67 pour TIMSS 2007). Il convient toutefois de

signaler que la France, qui participe actuellement aux enquêtes PISA et PIRLS, s'est retirée du

programme TIMSS depuis 1995.

PIRLS et TIMSS se caractérisent notamment par certains choix méthodologiques qui les

distinguent du programme PISA. Ainsi, la population étudiée est définie en fonction de

l'année de scolarisation des élèves et non selon leur âge. Les compétences évaluées sont, elles,

définies par champs disciplinaires en référence aux programmes d'enseignement. Ces choix

24/191


méthodologiques de l'IAE, qui diffèrent de ceux adoptés par l'OCDE pour PISA, ne sont pas

neutres et font l'objet de discussions entre experts depuis les débuts de la psychométrie éduca-

tive comparée. Nous aborderons plus en détail ces questions dans un chapitre consacré aux

aspects techniques des évaluations comparatives internationales.

2.2.2.2.1 Conception et organisation des enquêtes de l'IEA

L'organe décisionnel de l'IEA est son assemblée générale, où siègent les représentants de ses

membres. C'est donc cette dernière qui décide des orientations stratégiques et opérationnelles

de l'Association, sélectionne les projets d'enquête, vote leur lancement, suit leur exécution,

etc. Les décisions de l'assemblée générale sont préalablement instruites par différents comités

qui sélectionnent les propositions qui lui sont soumises, en fonction de différents critères :

contribution prévisible du projet à l'élargissement des connaissances des systèmes éducatifs et

à leur amélioration ; validité méthodologique ; adéquation aux missions et aux savoir-faire de

l'IEA ; possibilité de financement aux niveaux national et international. Ce mode de fonction-

nement induit un délai long – plusieurs années – entre la phase de réflexion initiale et la

réalisation sur le terrain d'une évaluation.

Il semble qu'une importance constante ait été accordée au critère de validité scientifique de la

méthodologie envisagée lors du vote des projets, ce qui a permis la reconnaissance dans la

durée de l'Association en matière d'éducation comparée. Cependant, les nécessités incontour-

nables du financement ont également joué un rôle non négligeable dans le choix des

programmes d'études, ce qui a certainement orienté les décisions de l'IEA au détriment de

certaines recherches intéressantes.

Les étapes de réalisation d'une évaluation comparative internationale sont nombreuses. La

démarche générale en est résumée de la manière suivante par Bottani et Vrignaud50 :

50 BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 48.

25/191


1. Décisions préliminaires :- Définition du cadre de l’enquête- Questions à poser- Population concernée- Objectifs à atteindre- Calendrier à tenir

2. Préparation de l’appel d’offre international3. Choix du/des maître(s) d’ouvrage4. Planification de l’enquête : construction des instruments5. Administration des tests6. Traitement des données7. Vérifications nationales8. Analyses et diffusion des résultats

L'IEA a longtemps fonctionné sur un modèle décentralisé, chaque étude étant confiée à un

centre de recherche différent. Mais ce mode opératoire s'est avéré coûteux et inefficace du fait

de la multiplication des moyens et de la dilution de l'expertise scientifique, ce qui a été préju-

diciable au développement de l'Association. Depuis 1995, l'IEA fonctionne de manière plus

centralisée, avec un centre de recherche et de traitement des données unique situé en Alle-

magne (à Hambourg) : le Data Processing and Research Center (DPC). L’Association

conserve donc en partie la maîtrise d'œuvre de ses enquêtes. L'organisation de ces dernières

demeure toutefois complexe, impliquant de nombreux partenaires, et peut varier d'une étude à

l'autre. Nous ne pouvons décrire ici de manière détaillée toutes les enquêtes de l'IEA. A titre

d'illustration, nous présentons ci-dessous quelques éléments descriptifs concernant la mise en

œuvre de PIRLS 2006.

26/191


Tableau 3 : Éléments descriptifs de l'organisation de PIRLS 2006 (IEA)

Données générales

Domaine évalué Compétences en lecture (dans la langue maternelle)

Public cible Élèves en 4ème année de scolarité obligatoire

Nombre de pays ou systèmes éducatifs participants 45

Nombre total d'écoles concernées 7 926

Nombre d'écoles concernées dans chaque pays ou système participant (théorique/minimum/maximum)

150119 (Qatar) ; 405 (Allemagne)

Méthode d'échantillonnage des écoles Stratifié - Probabilité proportionnelle à la taille

Nombre total d'élèves évalués 215 137

Nombre d'élèves évalués dans chaque pays ou système participant (théorique/minimum/maximum)51

4 0003 249 (Maroc) ; 14 657 (Afrique du Sud)

Méthode d'échantillonnage des élèves 1 ou 2 classes entières par école (tirage aléatoire parmi toutes les classes du niveau concerné de l'école)

Nombre total d'items conçus 126

Langue originale des items Anglais

Nombre de langues de passation (traductions) 45

Durée de l'épreuve 80 minutes (+ 15-30 min. de questionnaire contextuel)

Mesure de l'effet-établissement et de l'effet-classe Oui

Répartition des tâches et partenariats

Direction générale et pilotage du projet TIMSS & PIRLS International Study Center, Boston College (USA)

Supervision et vérification des traductions Secrétariat de l'IEA, Amsterdam (Pays-Bas)

Contrôle et traitement des données d'évaluation Centre de recherche et de traitement des données de l'IEA, Hambourg (Allemagne)

Échantillonnage des écoles et des élèves participants Statistics Canada, Ottawa (Canada)

Conseils sur la méthodologie psychométrique et fourniture de logiciels pour la gradation des données

Educational Testing Service (ETS), Princeton, New Jersey (USA)

Supervision et suivi technique IEA’s Technical Executive Group

Contacts au niveau national Un coordinateur PIRLS national par participant

Principaux contributeurs financiers Banque mondiale, National Center for Education Statistics (U.S. Department of Education), pays participants, Boston College, National Foundation for Educational Research (UK)

Source : PIRLS 2006 Technical Report (IEA / TIMSS & PIRLS International Study Center, 2007)

Des questionnaires contextuels sont complétés par les élèves, les directeurs d'écoles et les

enseignants lors de la passation des évaluations pour permettre le croisement des résultats

avec les facteurs socio-démographiques, socio-économiques et pédagogiques.

51 Pour garantir la fiabilité statistique des résultats, les concepteurs de PIRLS ont fixé des seuils minimums théoriques de taille des échantillons (nombre d'écoles et nombre d'élèves). Dans certains pays, ces seuils ne peuvent pas être atteints. Par ailleurs, certains pays participants présentent des échantillons de taille supérieure, soit du fait de la composition socio-linguitique de leur population soit en vue d'analyses secondaires.

27/191


2.2.2.2.2 Financement des enquêtes de l'IEA

Le financement des évaluations de l'IEA provient de plusieurs sources. L'organisation, la

coordination, le traitement et l'exploitation des données sont financés par un budget spécifique

à chaque enquête, directement géré par l'Association et indépendant du budget de fonctionne-

ment de celle-ci évoqué plus haut. Ainsi, chaque projet d'évaluation internationale fait l'objet

d'un montage financier ad hoc complexe. Du fait de la singularité de chaque évaluation et du

nombre important de partenaires, l'Association est depuis toujours confrontée à des difficultés

pour financer ses projets. Historiquement, les évaluations de l'IEA ont été financées en grande

partie par le gouvernement des États-Unis, ce qui explique sans doute certains choix méthodo-

logiques dans l'élaboration des enquêtes.

Par ailleurs, la collecte des données est à la charge des pays (ou régions) participants. Pour ces

derniers, le coût global de participation à une évaluation est donc constitué de deux compo-

santes : la contribution aux charges internationales d'une part, et les coûts de mise en œuvre

nationale d'autre part. Ce deuxième poste de dépenses est difficile à connaître ; il dépend bien

évidemment du contexte : démographie et structure géographique du pays, organisation des

tests, type d'intervenants (publics/privés), etc. La contribution internationale de chaque parti-

cipant varie d'une enquête à l'autre. À titre indicatif, la participation à TIMSS 2003 s'élevait à

40 000 ou 60 000 USD52 pour trois ans (respectivement pour une ou deux populations incluses

dans l'étude). Il convient de souligner que l'importance des financements publics a certaine-

ment pour conséquence de limiter la participation effective des pays les plus pauvres, faute de

moyens.

Les inévitables mais difficiles compromis entre motivations scientifiques et contraintes de

financement n'ont pas toujours été sans incidence sur les choix opérés. Ainsi, faute de volonté

de la part des principaux bailleurs de fonds, certains projets d'un intérêt reconnu n'ont jamais

pu se concrétiser (évaluation des compétences en langue étrangère par exemple). Dans

d'autres cas, l'analyse diachronique des indicateurs n'a pas pu être menée à terme (compé-

tences rédactionnelles évaluées en 1985 mais non ré-évaluées depuis...). En revanche, compte

tenu de leur intérêt stratégique, les mathématiques ou les sciences – qui trouvent des applica-

52 Source : ROSS N. Kenneth, JÜRGENS GENEVOIS Llona, Cross-national studies of the quality of education : planning their design and managing their impact, IIEP, UNESCO, 2006, p. 185.

28/191


tions industrielles, spatiales et militaires de première importance – ont pu faire l'objet d'en-

quêtes régulières. D'une façon générale, il semble que l'influence des responsables politiques,

notamment américains, sur l'activité de l'IEA ait été grandissante à partir de la fin des années

quatre-vingts (Bottani & Vrignaud), la dépendance financière de cette structure théoriquement

indépendante ouvrant la voie à une forme d'ingérence gouvernementale.

2.2.2.2.3 Diffusion des résultats des enquêtes de l'IEA

Longtemps à diffusion restreinte du fait de leur complexité, les résultats des évaluations de

l'IAE sont aujourd'hui publiés après chaque enquête dans les rapports officiels de l'Associa-

tion. Ces rapports sont, pour l'essentiel, mis à la disposition du public sur le site internet du

programme53 où ils peuvent être téléchargés, gratuitement pour la plupart. Par ailleurs, depuis

les années quatre-vingt-dix, l'IAE accompagne systématiquement la sortie des résultats des

enquêtes TIMSS, puis PIRLS, d'une conférence de presse. La diffusion en est assez largement

assurée par les grands médias français : presse écrite, télévision, radio, internet. Toutefois, à

l'exception de quelques titres (Le Monde, Le Monde de l'éducation...), l'information livrée

semble succincte et les analyses superficielles voire inexistantes.

En France, les résultats de TIMSS (dans les années quatre-vingt-dix)54 et, plus récemment, PIRLS

2001 et 2006 ont fait l'objet de publications ponctuelles de la Direction de l'évaluation, de la pros-

pective et de la performance du ministère de l'Éducation nationale, prioritairement destinées aux

enseignants et autres professionnels de l'éducation mais également disponibles au grand public sur

le site internet du ministère : bulletins Note d'information55, collections Les Dossiers56.

Enfin, tant sur leur méthodologie que sur leurs résultats, les comparaisons internationales font

par ailleurs l'objet de publications scientifiques à diffusion plus restreinte dans lesquelles les

enquêtes de l'IEA sont analysées : articles et communications dans les revues et sites internet

à comité de lecture (essentiellement dans deux champs disciplinaires : sciences de l'éducation

et politique comparée), travaux universitaires (thèses), rapports produits à la demande des

pouvoirs publics ou d'autorités publiques de contrôle ou conseil, etc.

53 Site de l'IAE : http://www.iea.nl/ 54 Rappelons que la France s'est retirée du programme TIMSS après l'enquête de 1995.55 Note d'information, n° 97.06 (1997), n° 03.22 (2003), n° 08.14 (2008)56 Les dossiers d'éducation et formation, n° 99 (1998)

29/191

http://www.iea.nl/


2.2.2.3 L'enquête PISA de l'OCDE

Comme nous l'avons vu, le premier recueil de données PISA a eu lieu en 2000. Ce programme

d'évaluation est organisé selon une périodicité de trois ans, dont les occurrences sont récapitu-

lées dans le tableau ci-dessous.

Tableau 4 : Récapitulatif Programme international pour le suivi des acquis des élèves (PISA) depuis la création du programme

Année Nbre de pays (ou systèmes

éducatifs)


2000 32 Compréhension de l'écrit (majeur), culture mathématique, culture scientifique

2003 41 Compréhension de l'écrit, culture mathématique (majeur), culture scientifique, résolution de problèmes

2006 57 Compréhension de l'écrit, culture mathématique, culture scientifique (majeur)

2009 65 Compréhension de l'écrit (majeur), culture mathématique, culture scientifique

2012 Compréhension de l'écrit, culture mathématique (majeur), culture scientifique

2015 Compréhension de l'écrit, culture mathématique, culture scientifique (majeur)NB : La période indiquée est celle de collecte des données. Source : OCDE

Comme il apparaît à la lecture du tableau, bien que piloté par l'OCDE, le programme PISA

n'est pas restreint aux trente pays membres de cette organisation.

PISA présenta dès sa conception plusieurs différences importantes par rapport aux enquêtes

antérieures, notamment celles de l'IEA :

• Périodicité régulière triennale fixée dès la première occurrence : une fréquence aussi élevée, difficilement tenable et a priori injustifiée d'un point de vue scientifique étant donné la temporalité plutôt longue qui prévaut en matière éducative, avait surtout pour but de convaincre les responsables politiques des pays ou régions potentiellement intéressés par son attrait en termes de réactivité et d'échéancier électoral. Cette exigence de délais courts de la part du politique est d'ailleurs soulignée par Rolf et Svein57.

• Population ciblée : élèves de 15 ans. Ce choix résulte de la volonté d'évaluer les acquis des élèves qui arrivent au terme de la scolarité obligatoire. Nous reviendrons sur les problèmes spécifiques inhérents à la définition de la population évaluée (âge ou degré scolaire) dans le chapitre consacré aux aspects techniques.

57 ROLF V. Olsen, SVEIN Lie, « Les évaluations internationales et la recherche en éducation : principaux objectifs et perspectives », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 16.

30/191


• Acquis évalués définis en termes de compétences ou aptitudes et non en fonction des programmes scolaires des différents pays. En effet, comme le précisent le site internet et la brochure PISA de l'OCDE, ce programme « évalue l’acquisition de savoirs et savoir-faire essentiels à la vie quotidienne » et « indispensables pour participer pleinement à la société de la connaissance ». Ainsi, rompant avec la logique disciplinaire qui prévalait traditionnel-lement jusqu'alors pour l'évaluation des élèves, l'OCDE a opté pour une approche centrée sur les compétences et aptitudes des élèves. Tout le problème réside alors dans la définition de ces compétences et sur leur légitimité, cette dernière étant à l'évidence culturellement et politiquement marquée. Là encore, nous aborderons cet aspect dans le chapitre consacré aux aspects techniques.

• Association de trois champs de compétences évalués à chaque enquête58 – compréhen-sion de l'écrit (ou littéracie), culture mathématique, culture scientifique – dont un majeur « tournant » évalué plus en profondeur tous les trois ans, et deux mineurs. Le champ majeur change à chaque occurrence de l'évaluation selon une séquence définie une fois pour toutes.

La définition de ces trois domaines de compétences a connu quelques évolutions au fil des

cycles d'enquête. Pour PISA 2006, ils étaient officiellement définis de la manière suivante :

Compréhension de l’écrit : non seulement comprendre et utiliser des textes écrits, mais aussi réfléchir à leur propos. Cette capacité devrait permettre à chacun de réaliser ses objectifs, de développer ses connaissances et son potentiel et de prendre une part active dans la société.

Culture mathématique : aptitude d’un individu à identifier et à comprendre le rôle joué par les mathématiques dans le monde, à porter des jugements fondés à leur propos et à s’engager dans des activités mathématiques, en fonction des exigences de sa vie en tant que citoyen constructif, impliqué et réfléchi.

Culture scientifique :

• connaissances scientifiques de l’individu et sa capacité d’utiliser ces connaissances pour identifier les questions auxquelles la science peut apporter une réponse, pour acquérir de nouvelles connaissances, pour expliquer des phénomènes scientifiques et pour tirer des conclusions fondées sur des faits à propos de questions à caractère scientifique ;

• compréhension des éléments caractéristiques de la science en tant que forme de recherche et de connaissance humaines ;

• conscience du rôle de la science et de la technologie dans la constitution de notre environnement matériel, intellectuel et culturel ;

58 Un quatrième domaine de compétences est ajouté à certains cycles de l'évaluation. La résolution de problèmes a ainsi été intégrée à PISA 2003.

31/191


• volonté de s’engager en qualité de citoyen réfléchi à propos de problèmes à caractère scientifique et touchant à des notions relatives à la science.

Le domaine de la compréhension de l'écrit mérite sans doute quelques précisions. Les concep-

teurs de PISA déclarent s'intéresser au rôle actif et interactif du lecteur dans un large éventail

de situations dans lesquelles la compréhension de l’écrit intervient, situations relevant de la

vie privée, de la vie professionnelle et de la citoyenneté. A cette fin, différents formats de

texte sont mis en œuvre dans les évaluations PISA : texte continu (narratif, informatif,

descriptif, argumentatif, injonctif) et texte non continu (diagrammes et graphiques, tableaux,

schémas, cartes, formulaires, publicités). En outre, les concepteurs de PISA déclarent vouloir

mesurer les cinq processus de compréhension de l'écrit suivants : trouver de l’information,

comprendre globalement un texte, développer une interprétation, réfléchir sur le contenu d’un

texte et l’évaluer, réfléchir sur la forme d’un texte et l’évaluer. À première vue intéressante,

cette définition des trois domaines de compétences de PISA et sa traduction instrumentale

pose toutefois un certain nombre de questions, tant d'un point vue opérationnel qu'idéolo-

gique, comme nous le verrons par la suite.

Contrairement aux évaluations de l'IEA, l'enquête PISA permet aux pays qui le souhaitent de

procéder à des tests et des collectes de données complémentaires. Certains de ces instruments

additionnels de portée nationale ou régionale permettent des analyses secondaires spécifiques

très instructives, réalisées par l'administration de ces pays ou des laboratoires de recherche, et

qui permettent notamment de contextualiser les scores globaux de l'enquête, d'en affiner les

résultats et d'en accroître les enseignements.

2.2.2.3.1 Conception et organisation de l'enquête PISA

Abstraction faite du Secrétariat de l'OCDE, en charge de l'administration générale de PISA,

l'organe central du programme est le Comité directeur, au sein duquel chaque pays membre de

l’OCDE participant à PISA dispose d’un représentant nommé par son ministère de l’éduca-

tion. Les pays partenaires non-membres participant à PISA y possèdent quant à eux un

observateur, également nommé par le ministère de l’éducation. Le Comité détermine les prio-

rités d’action PISA en fonction des objectifs de l’OCDE en matière d’éducation, et s’assure

que celles-ci sont respectées durant la mise en œuvre de chaque cycle d’enquête. Il approuve

32/191


également l'adhésion des pays souhaitant participer à PISA en fonction de certains critères.

Les pays participants doivent notamment posséder l’expertise technique nécessaire.

La conception et la mise en œuvre de chaque enquête PISA est confiée à un maître d’œuvre

international, généralement constitué de centres d'études spécialisés dans le domaine de l’éva-

luation, et désigné sous le nom de « Consortium PISA ». Ce maître d’œuvre est choisi par le

Comité directeur de PISA au moyen d’un appel d’offres international. Par ailleurs, des chefs

de projet nationaux, également nommés par leur gouvernement, supervisent la mise en œuvre

de PISA dans chaque pays participant, en lien avec un comité national composé d'experts.

Compte tenu de l'importance des tâches qui incombent aux pays participants à PISA (constitu-

tion de l'échantillon, vérification des fichiers, vérification des traductions, impression du

matériel, formation des personnels de terrain, passation des épreuves, etc.), les équipes natio-

nales jouent un rôle essentiel dans la validité de l'évaluation. Enfin, des groupes fonctionnels

spécialisés par domaine (compréhension de l'écrit, mathématiques, sciences, questionnaire

contextuel), et composés d’experts de différents pays, sont en charge de la conception du

cadre conceptuel d’évaluation de chaque enquête PISA. Ces groupes sont assistés d'un groupe

technique consultatif lui-même composé d'experts indépendants. Les différents groupes étant

généralement constitués de six à dix personnes, tous les pays participants ne peuvent y être

représentés, ce qui n'est pas sans incidence en termes d'orientation du programme vu les

compromis qui y sont négociés et les décisions qui y sont préparées.

Il convient sans doute ici de s'interroger sur l'appel d'offres international permettant d'attribuer

la maîtrise d'œuvre de chaque cycle d'enquête. En effet, si aucun élément probant ne permet

de mettre en doute l'impartialité formelle de la procédure d'appel d'offres, le nombre réel de

candidats potentiels à une prestation aussi complexe, mettant en jeu une expertise scientifique

et technique à la fois concentrée sur un nombre réduit de laboratoires de recherche à travers le

monde (qui « partagent » peut-être en partie les mêmes chercheurs) et très inégalement

répartie sur la planète, nous semble questionner la pluralité réelle des offres recevables.

D'ailleurs, il semble que la composition du Consortium PISA ait peu évolué depuis l'origine

du programme. Par ailleurs, la composition des groupes d'experts59 montre que les différentes

59 Pour PISA 2009, la composition des groupes d'experts fonctionnels est la suivante :Compréhension de l'écrit : 10 experts (Allemagne, Belgique, Espagne, États-Unis (2 représentants), France, Japon, Pays-Bas, République de Corée, Royaume-Uni) ; culture mathématique : 6 experts (Allemagne,

33/191


sphères culturelles du monde ne sont représentées de façon ni égale ni proportionnelle à leur

population, certaines étant totalement absentes. Dans ces conditions, se pose à l'évidence la

question des biais culturels éventuellement présents dans ces enquêtes, tant au niveau des

orientations conceptuelles choisies que des items produits. Nous reviendrons sur ce point ulté-

rieurement.

Les items des évaluations sont conçus par le maître d’œuvre international, qui supervise et

valide l'ensemble, mais les pays participants peuvent également proposer des items. Seules les

questions approuvées à l’unanimité sont utilisées pour l’enquête. Jusqu'à PISA 2006, les

évaluations ont toujours pris la forme d'épreuves sur table (tests papier-crayon). À compter de

PISA 2009, l'exploitation de documents électroniques a également été testée. Les items

adoptent la forme de questions à choix multiples et de questions ouvertes. Chaque enquête

comporte environ sept heures de matériel, mais la technique des cahiers tournants60 permet de

limiter à deux heures le temps de passage de chaque élève. Un pré-test est effectué avant

chaque enquête dans tous les pays participants pour en valider le protocole et les items.

A l'instar des enquêtes de l'IEA, les élèves remplissent également un questionnaire contextuel

de 20 à 30 minutes sur eux-mêmes et leur environnement familial, qui permet notamment de

croiser résultats et facteurs socio-démographiques ou socio-économiques. Les chefs d'établis-

sement concernés remplissent également un questionnaire d'environ 20 minutes. En revanche,

contrairement aux protocoles des enquêtes de l'IEA, celui de PISA ne prévoit aucun question-

naire à l'attention des enseignants, ce qui interdit toute analyse secondaire en lien avec la

pédagogie mise en œuvre. Ce choix, fruit d'âpres discussions entre les représentants des pays

participants, n'est pas neutre. Il témoigne d'une stratégie politique qui ne doit rien au hasard.

Quelques éléments descriptifs de PISA 2006 sont présentés ci-dessous à titre d'exemple.

Danemark, États-Unis, Japon, Pays-Bas, Pologne) ; culture scientifique : 6 experts (Allemagne, Australie, États-Unis, France, Japon, Norvège) ; questionnaire contextuel : 8 experts (Allemagne (2 rep.), États-Unis (2 rep.), Finlande, France, Hong-Kong, Pays-Bas). Lors de la création de PISA (2000), la France n'était représentée que par un seul expert, dans le groupe Compréhension de l'écrit.

60 Cette technique présente notamment l'avantage de permettre d'augmenter la diversité des items du test sans surcharger chaque répondant et en garantissant l'équivalence de difficulté des tests soumis à tous les répondants.

34/191


Tableau 5 : Éléments descriptifs de l'organisation de PISA 2006 (OCDE)

Données générales

Domaines évalués Compréhension de l'écrit, culture mathématique, culture scientifique (majeur)

Public cible Élèves de 15 ans

Âge réel des élèves échantillonnés De 15 ans 3 mois à 16 ans 2 mois révolus

Nombre de pays ou systèmes éducatifs participants 57

Nombre total d'écoles concernées 14 365

Nombre d'établissements concernées dans chaque pays ou système (théorique/minimum/maximum)

15012 (Liechtenstein) ; 1 140 (Mexique)

Méthode d'échantillonnage des établissements Stratifié - Probabilité proportionnelle à la taille

Nombre total d'élèves évalués 398 750

Nombre d'élèves évalués dans chaque pays ou système participant (théorique/minimum/maximum)61

4 500339 (Liechtenstein) ; 30 971 (Mexique)

Méthode d'échantillonnage des élèves 35 élèves de établissement (tirage aléatoire parmi tous les élèves d'âge concerné de l'établissement)

Nombre de pays ayant proposé des d'items au consortium PISA (dans leur langue ou en anglais)

21

Nombre de langues de passation (traductions) 44

Nombre de versions nationales62 87

Durée de l'épreuve 2 heures (+ 30 min. de questionnaire contextuel)

Type des items QCM et questions ouvertes

Mesure de l'effet-établissement et de l'effet-classe Non

Répartition des tâches

Direction générale et pilotage du projet Direction de l'éducation de l'OCDE

Définition du cadre général de l'évaluation et suivi Comité directeur PISA / PISA Governing Board (PGB)

Maître d'œuvre international (Consortium PISA, à la tête duquel se trouve un maître d'œuvre principal)

Australian Council for Educational Research (ACER) (MO principal) ; National Institute for Educational Measurement (Cito Group) (Pay-Bas) ; Unité d’analyse des systèmes et des pratiques d’enseignement (aSPe), Université de Liège (Belgique) ; Westat (société privée, USA) ; Educational Testing Service (ETS) (USA) ; National Institute for Educational Research (NIER) (Japon)

Source : PISA 2006 Technical Report (OCDE, 2009)

61 Pour garantir la fiabilité statistique des résultats, les concepteurs de PISA ont calculé des seuils minimums théoriques de taille des échantillons (nombre d'écoles et nombre d'élèves). Néanmoins, dans certains pays, ces seuils ne peuvent pas être atteints, par exemple lorsque la population totale n'atteint pas le nombre minimum théorique d'individus. Dans ce cas, la totalité de celle-ci est testée (pas d'échantillonnage). Par ailleurs, les pays participants ont la possibilité d'élargir ou de multiplier les échantillons pour différentes raisons (prise en compte du multilinguisme/multiculturalisme, analyses secondaires, etc.).

62 Détail des versions nationales de PISA 2006 selon la langue : allemand (6 versions), anglais (10 versions), arabe (4 versions), azéri, basque, bulgare, catalan, chinois (3 versions), coréen, croate, danois, espagnol (6 versions), estonien, finnois, français (5 versions), galicien, grec, hébreu, hongrois (3 versions), indonésien Bahasa, irlandais, islandais, italien (3 versions), japonais, kirghiz, lettonien, lituanien, néerlandais (2 versions), norvégien (Bokmål), norvégien (Nynorsk), polonais (2 versions), portugais (3 versions), roumain, russe (5 versions), serbe (variante Ekavienne), serbe (variante Yekavienne), slovaque, slovène (2 versions), suédois (2 versions), tchèque, thaï, turque, uzbek, valencien.

35/191


2.2.2.3.2 Financement de l'enquête PISA

Conduit sous l'égide de l'OCDE, le programme PISA présente un cadre budgétaire relative-

ment simple et très solide qui engage les gouvernements des pays participants. Il se distingue

en cela des enquêtes de l'IEA. La conception, l'organisation et le pilotage international du

programme63 sont exclusivement financés par les contributions directes des pays participants,

généralement versées par le ministère de l’Éducation. La participation de chaque pays est

déterminée en référence à l'échelle des contributions nationales au budget de l'OCDE, ce qui

permet théoriquement d'éviter toute contestation. À titre d'exemple, les droits de participation

à PISA s'échelonne approximativement de 50 000 à 600 000 euros par an64. Les coûts inhé-

rents à la mise en œuvre des évaluations sur le terrain sont directement à la charge des pays

participants.

Pour être autorisés à adhérer au programme, les pays candidats doivent montrer qu'ils sont en

mesure de régler l’ensemble des coûts afférents à leur participation. A titre d'exemple, les

coûts totaux (contribution aux charges internationales + coûts nationaux) de PISA 2000 se

sont élevés pour la France à environ 750 000 USD65. Comme pour les enquêtes de l'IEA, le

mode de financement de PISA en interdit probablement l'accès aux pays les plus pauvres.

2.2.2.3.3 Diffusion des résultats de l'enquête PISA

Les résultats des évaluations de chaque pays font l'objet de rapports et comptes-rendus officiels

publiés par l'OCDE après chaque enquête. Ces documents sont généralement mis à la disposi-

tion du public sur le site internet du programme66 où ils peuvent être téléchargés, gratuitement

pour la plupart. Par ailleurs, depuis la création du programme, l'OCDE accompagne la sortie des

résultats de chaque enquête d'une conférence de presse. Toutefois, les informations communi-

quées à cette occasion demeurent volontairement succinctes afin de laisser l'initiative de la

communication des résultats nationaux à chaque gouvernement concerné.

63 Cela inclut le contrat de maîtrise d'œuvre qui, pour PISA 2000, s'élevait à environ 7,6 millions d'euros.64 Source : ROSS N. Kenneth, JÜRGENS GENEVOIS Llona, op. cit., p. 185.65 Montant exprimé en devise courante. Source : BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 78.66 Site de l'OCDE dédié à PISA : http://www.pisa.oecd.org/

36/191

http://www.pisa.oecd.org/


La diffusion des résultats de PISA est très variable d'un pays à l'autre, comme le montrent les

travaux de Martens et Niemann67 ou de Cytermann. La couverture par les grands médias fran-

çais (presse écrite, télévision, radio, internet) demeure ponctuelle, les résultats étant largement

mais essentiellement commentés lors de leur sortie « officielle ». À l'instar du traitement des

enquêtes de l'IEA, l'information livrée concernant le programme de l'OCDE est le plus

souvent centrée sur le classement des pays, et accompagnée d'analyses superficielles ou orien-

tées idéologiquement.

En France, les résultats de PISA font l'objet de publications ponctuelles de la Direction de

l'évaluation, de la prospective et de la performance du ministère de l'Éducation nationale

(bulletins Note d'information68 et Note évaluation69, collections Les Dossiers70 et Éducation &

formations71), prioritairement destinées aux enseignants et autres professionnels de l'éducation

mais également disponibles au grand public. Ces documents sont, pour la plupart, accessibles

sur les sites internet institutionnels du ministère. Cependant, nous verrons que le communica-

tion du ministère sur les résultats de PISA a considérablement évolué au fil du temps,

anticipant parfois la communication officielle des résultats par l'OCDE pour mieux en

contrôler la teneur et la portée.

Enfin, tout comme les études de l'IEA, la méthodologie et les résultats de PISA sont analysés

dans des publications scientifiques s'intéressant aux comparaisons internationales.

2.2.2.4 Les autres évaluations comparatives internationales

Si les enquêtes de l'IEA et de l'OCDE sont aujourd'hui les seules évaluations comparatives

internationales de portée mondiale, il existe par ailleurs un certain nombre de programmes

continentaux ou régionaux de comparaisons internationales dans le domaine de l'éducation.

Ne pouvant prétendre ici à un panorama exhaustif, nous nous limiterons à présenter briève-

ment les plus importants.67 MARTENS Kerstin, NIEMANN Dennis, « Governance by Comparison – How Ratings &Rankings can

Impact National Policy Making in Education », article présenté au 50ème congrès annuel de l'ISA (International Studies Association) ayant pour thème « Exploring the past, anticipating the future », New York Marriott Marquis, New York, NY, USA, 15/02/2009.

68 Note d'information, n° 01.52 (2001), n° 07.42 (2007), n° 08.08 (2008).69 Note évaluation, n ° 04.12 (2004)70 Les dossiers évaluations et statistiques, n° 137 (2002), n° 180 (2007)71 Éducation & formations, n° 70 (2004), n° 78 (2008)

37/191


2.2.2.4.1 Les enquêtes du RERPESE

Au niveau européen, il convient de mentionner le Réseau européen des responsables des poli-

tiques d'évaluation des systèmes éducatifs (RERPESE), qui organise une réflexion sur les

politiques d'évaluation et met en œuvre des études comparatives en liaison avec la Commis-

sion européenne. Crée en 1995, ce réseau intergouvernemental qui regroupe les pays de

l'Union européenne (UE) et quelques pays européens hors UE (Islande, Norvège, Suisse...) a

pour objectif de :

« 1°) permettre des échanges d’informations sur les réformes et les innovations en cours ou en projet dans chacun des pays dans le domaine de l’évaluation et du pilotage des systèmes éducatifs européens ; 2°) définir, faciliter et initier des actions de coopération européenne dans ce même domaine de l’évaluation et du pilotage des systèmes éducatifs européens.

Pour mettre en œuvre ce second objectif, le Réseau lance et conduit, sur la base des décisions prises lors des réunions annuelles, des projets regroupant plusieurs pays. Ces projets se déroulent soit dans un cadre intergouvernemental, soit en répondant à des appels d’offres de la Commission dans le cadre du programme SOCRATES. Des agences ou des instituts de recherche nationaux sont chargés par les gouvernements concernés de la mise en œuvre des projets. »72

Les trois champs d'actions des projets du RERPESE sont l'évaluation des systèmes éducatifs,

l'évaluation des institutions et les enquêtes internationales. Au titre de ces dernières, le

RERPESE a par exemple organisé des évaluations comparatives sur les compétences en

anglais des élèves de plusieurs pays européens en 1996 et 2002. Le Réseau mène également

des réflexions sur les problématiques spécifiques aux comparaisons internationales : défini-

tion des compétences, conception des épreuves, échantillonnage, questions méthodologiques

liées à la comparabilité des résultats, etc. Globalement, l'action du RERPESE demeure plutôt

une affaire de spécialistes. Elle n'a pas la portée politique de celle de l'IEA ou de l'OCDE.

2.2.2.4.2 Les enquêtes du LLECE et de l'OEI73

Le Laboratoire latino-américain d'évaluation de la qualité de l'éducation74 (LLECE) est un

réseau latino-américain d'unités d'évaluation qualitative de l'éducation coordonné par le

72 Site internet du RERPESE : http://www.reva-education.eu/ 73 Site internet de l'OEI : http://www.oei.es/ ; site internet du LLECE : http://portal.unesco.org/74 LLECE : Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación

38/191

http://portal.unesco.org/geography/es/ev.php-URL_ID=7919&URL_DO=DO_TOPIC&URL_SECTION=201.html

http://www.oei.es/

http://www.reva-education.eu/


bureau régional de l'UNESCO pour l'éducation en Amérique latine et dans les Caraïbes75. Le

LLECE a pour mission de produire des données sur les acquis des élèves et d'en analyser les

facteurs explicatifs ; d'aider les agences et unités d'évaluation nationales des pays du sous-

continent ; d'être un forum de réflexion, de discussion et d'échange en matière d'évaluation en

éducation.

L'OEI (Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura)

est une organisation intergouvernementale de coopération dans les domaines de l'éducation,

de la science et de la culture qui regroupe les pays latino-américains et ibériques76. Sa mission

s'inscrit dans une perspective de développement et d'intégration régionale. Ses activités sont

financées par les pays membres et par les contributions versées par les organismes partenaires

privés. En matière éducative, l'OEI a pour mission de :

• contribuer à une meilleure connaissance et compréhension mutuelle de ses membres, pour favoriser la coopération et la solidarité, facteurs de paix entre les peuples ibéro-américains, par le biais de l'éducation, la science, la technologie et la culture ;

• promouvoir l'éducation et la culture comme instrument de maintien de la paix, préparer les citoyens à l'exercice responsable de leur liberté, de la solidarité et à la défense des droits humains, et favoriser l'avènement d'une société plus juste sur le sous-continent latino-amé-ricain ;

• aider les pays membres à développer leur système éducatif dans une triple dimension huma-niste, démocratique et d'intégration socioprofessionnelle ;

• contribuer à la diffusion des langues espagnole et portugaise, notamment par le développe-ment de leur méthodes et techniques d'enseignement, et favoriser le bilinguisme nécessaire à la sauvegarde de l'identité multiculturelle des peuples latino-américains.

L'OEI et le LLECE organisent conjointement des évaluations comparatives à l'échelle du

sous-continent latino-américain. Ainsi, en 1996-1998, a été réalisée dans 13 pays une enquête

sur les acquis en mathématiques et en langue maternelle des élèves en 3ème et 4ème année de

scolarisation (6-7 ans), intitulée Primer Estudio Internacional Comparativo sobre Lenguaje,

75 Oficina Regional de Educación de la UNESCO para América Latina y el Caribe76 Pays membres de l'OEI : Argentine, Bolivie, Brésil, Colombie, Costa Rica, Cuba, Chili, Équateur, Espagne,

Guatemala, Guinée Équatoriale, Honduras, Mexique, Nicaragua, Panama, Paraguay, Pérou, Porto Rico, Portugal, République Dominicaine, Salvador, Uruguay, Venezuela.

39/191


Matemática y Factores Asociados. Cette première étude a été suivie et complétée, de 2004 à

2008, par une deuxième enquête – Segundo Estudio Regional Comparativo y Explicativo

(SERCE) – menée cette fois dans 17 pays auprès d'élèves effectuant leur 3ème ou 6ème année

de scolarité (6 ans, 9 ans), en mathématiques, langue maternelle et sciences naturelles.

2.2.2.4.3 Les enquêtes du SACMEQ77

Le SACMEQ (Southern and Eastern Africa Consortium for Monitoring Educational Quality)

est une organisation internationale à but non lucratif qui réunit les ministres de l'éducation de

15 pays d'Afrique australe et de l'Est78 avec pour objectif de développer la coopération et le

partage d'expertise en vue de fournir aux responsables de l'éducation de ces pays les instru-

ments scientifiques et méthodologiques nécessaires à l'évaluation et au pilotage de leur

système éducatif. Le SACMEQ bénéficie de l'assistance technique de l'Institut international

de planification de l’éducation de l’UNESCO (IIEP).

Entre 1995 et 2005, le SACMEQ a effectué deux grandes évaluations comparatives (projets

SACMEQ-I dans 7 pays et SACMEQ-II dans 14 pays) sur les acquis d'élèves âgés de 12 ans,

respectivement en lecture/écriture (1995-1998) puis en lecture/écriture et mathématiques

(1999-2004). Cette dernière est reproduite actuellement sur des bases identiques et devrait

s'achever cette année (projet SACMEQ-III, 2007-2010).

2.2.2.4.4 Le Programme d’analyse des systèmes éducatifs de la CONFEMEN79

Créée en 1960, la Conférence des ministres de l'éducation des pays ayant le français en

partage, plus ancienne institution francophone (CONFEMEN), est depuis 2005 une entité de

l’Organisation internationale de la Francophonie (OIF). Elle regroupe aujourd'hui 41 États et

gouvernements membres de la Francophonie, à qui elle offre un cadre d’échange et de concer-

tation sur leurs systèmes éducatifs nationaux et sur l'évolution de ces derniers.

77 Site internet du SACMEQ : http://www.sacmeq.org/78 Pays membres du SACMEQ : Afrique du Sud, Botswana, Kenya, Lesotho, Malawi, Maurice, Mozambique,

Namibie, Seychelles, Swaziland, Tanzanie continentale, Ouganda, Zambie, Zanzibar (Tanzanie), Zimbabwe.79 Site internet de la COFEMEN : http://www.confemen.org/

40/191

http://www.confemen.org/

http://www.sacmeq.org/


La CONFEMEN a pour mission d'informer ses membres sur l’évolution des systèmes éduca-

tifs et les réformes en cours, de nourrir la réflexion sur des thèmes d’intérêt commun en vue

d’actions à mener en coopération, d’élaborer des positions communes et de formuler des

recommandations pour appuyer les politiques régionales et internationales en matière d’édu-

cation. Son cadre d'action s’articule autour de quatre axes prioritaires : promouvoir

l’éducation pour tous dans le cadre de la lutte contre la pauvreté ; mobiliser et diversifier les

ressources ; viser l’efficience dans l’utilisation des ressources ; développer le pilotage des

systèmes éducatifs.

Pour mener à bien ses missions, La Conférence s'est dotée en 1991 d'un programme qui vise à

« mettre en relation les aspects quantitatifs et qualitatifs des systèmes éducatifs et à dégager

les choix possibles des stratégies éducatives les plus efficaces » : le Programme d’analyse des

systèmes éducatifs de la CONFEMEN (PASEC). Outil d’analyse et d’évaluation qui fournit

aux décideurs des informations objectives pour orienter leurs choix en matière de politiques

éducatives, le PASEC comporte des évaluations sur les acquis scolaires des élèves du

primaire. Le site internet de la COFMEN précise que ces « rapports et études, basés sur une

méthodologie spécifique, contribuent au dialogue politique sur les questions de la qualité de

l’éducation en Afrique francophone et dans l’Océan Indien ». Le Programme participe ainsi à

la diffusion des méthodes d’évaluation et au renforcement des capacités des pays du Sud en

cette matière.

Les principaux objectifs concrets du PASEC sont explicités de la manière suivante :

• identifier des modèles d’écoles efficaces et peu coûteux, en procédant à des enquêtes par échantillonnage dans les écoles, puis en effectuant des comparaisons à l’échelle nationale et internationale ;

• développer dans chacun des États participants, une capacité interne et permanente d’éva-luation de leur système éducatif ;

• diffuser les méthodes et les instruments d’évaluation préconisés, de même que les résultats obtenus.

41/191


Les premières évaluations du PASEC ont été réalisées en deux phases entre 1993 et 1995 :

Congo, Djibouti et Mali, puis Sénégal et République Centrafricaine. Ces dernières ont été

menées par des instituts de recherche des pays du Nord (Université de Mons, Université de

Montréal, Université Laval, Centre international d’études pédagogiques...), en collaboration

avec des partenaires nationaux. Depuis, le PASEC a poursuivi et élargi son activité, notam-

ment par des évaluations diagnostiques et des suivis de cohortes dans certains pays. Ce

programme bénéficie du soutien technique et financier de nombreux partenaires : la Banque

mondiale, le ministère de l'Éducation nationale français, le Bureau régional de l’UNESCO

pour l’éducation en Afrique, le Pôle de Dakar, l’ADEA80, l’UNICEF, l’IREDU81, l’Université

Cornell (Etats-Unis) et le Laboratoire d’économie appliquée de l’Institut national de la

recherche agronomique (INRA, France).

Après ce bref tour d'horizon descriptif, il nous semble indispensable d'analyser plus en détail

les aspects techniques et politiques des évaluations internationales sur les acquis des élèves.

En France, ces comparaisons ont fait l'objet de nombreuses critiques non seulement méthodo-

logiques mais également sur leur portée politique et culturelle. Sans prétendre en décrypter de

manière approfondie tous les ressorts, nous essaierons d'en comprendre les contraintes, les

limites et les enjeux principaux, de manière à inscrire notre problématique et la recherche

subséquente dans un cadre clairement identifié et suffisamment contextualisé pour en garantir,

autant que possible, la pertinence.

2.3 Aspects techniques

Ce qui fait l'intérêt mais aussi la difficulté des enquêtes internationales d'évaluation des acquis

scolaires est, « à la fois d’un point de vue scientifique et politique, de faire la part entre ce qui

est joué du fait du contexte extérieur au système scolaire et ce qui est proprement du ressort

de ce dernier et de certaines de ses caractéristiques institutionnelles (structures, organisation

pédagogique…) »82. Or, comme l'écrit Vrignaud, « un des problèmes cruciaux de ces enquêtes

[est] que la compréhension des résultats et surtout de leurs limites est liée à des questions

80 Association for the Development of Education in Africa81 Institut de Recherche sur l’Éducation (Université de Bourgogne)82 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, Caractéristiques des systèmes éducatifs et

compétences des jeunes de 15 ans : l’éclairage des comparaisons entre pays. Résumé, IREDU, janvier 2004.

42/191

MARDIF Aspects techniques

méthodologiques complexes. [...] Il est donc utile pour expliciter ce qu’est et n’est pas la

compétence évaluée [...], de donner et de discuter les éléments méthodologiques qui valident

ce passage entre la performance à un ensemble de tests et la compétence de populations de

nombreux pays »83. Sans entrer dans le détail des méthodes, outils et instruments édumétriques

mis en œuvre, nous nous attacherons ici à expliciter brièvement les aspects techniques essen-

tiels à une bonne compréhension des contraintes et limites des comparaisons internationales.

2.3.1 Élaboration

2.3.1.1 Éléments théoriques sur les instruments psychométriques / édumétriques84

La psychométrie constitue le fondement méthodologique et instrumental des évaluations

internationales sur les acquis des élèves. Les instruments psychométriques s'appuient sur les

méthodes statistiques. Ils exigent une grande rigueur conceptuelle et opérationnelle.

L'une des caractéristiques essentielles de la psychométrie et de l'édumétrie est que, en l'espèce,

la grandeur mesurée est toujours un construit reposant sur un modèle théorique et non une gran-

deur objectivable. Le passage d'un score calculé à la compétence correspondante est effectué par

inférence, tout le problème étant alors de garantir la fiabilité de cette inférence, notamment

d'éviter les erreurs de mesure et les biais, ou du moins de les maîtriser.

L'étape centrale d'élaboration d'une évaluation psychométrique consiste en la création d'items.

Selon les termes de Bernaud, l'item correspond à l'unité de mesure la plus élémentaire affé-

rente à un problème ou à une question. Il est essentiel que l'échantillonnage des items soit

représentatif de tout l'univers évalué et n'en omette aucune dimension. En cas d'item à choix

multiples, la formulation de l'item intègre les réponses proposées, c'est-à-dire la réponse

correcte et les distracteurs (réponses erronées). Dans ce cas, il importe de garantir l'équiproba-

83 VRIGNAUD Pierre, « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 29.

84 Les éléments théoriques relatifs aux instruments psychométriques sont tirés principalement de trois sources :- BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007.- BOTTANI Norberto, VRIGNAUD Pierre, La France et les évaluations internationales, Rapport pour le HCÉÉ, Paris, La Documentation Française, 2005.- DEMEUSE Marc, « Introduction aux théories et aux méthodes de la mesure en Sciences psychologiques et en Sciences de l’Éducation », Notes de cours, IREDU, Université de Bourgogne, 2008.

43/191

MARDIF Élaboration

bilité des réponses proposées. A ce propos, Bernaud rappelle qu'au-delà de quatre distracteurs,

l'équiprobabilité de ces derniers devient délicate à assurer. La rédaction formelle des items est

traditionnellement assise sur quatre principes : la non-ambiguïté, l'unidimensionnalité (mesure

d'un seul construit, par ex. une connaissance précise), l'économie (nombre d'items, durée du

test, etc. limités au strict nécessaire), l'exactitude.

La mise au point des items et leur validation doit être effectuée avec la plus grande rigueur

scientifique de manière à en garantir la pertinence et la fiabilité statistiques. A cette fin, la

phase de conception d'une évaluation psychométrique comporte généralement une pré-expéri-

mentation permettant d'évaluer les items élaborés, par l'observation de l'épreuve, le retour

d'information des répondants et l'analyse des items. Il existe plusieurs modèles d'analyse des

items. Bernaud en répertorie quatre : le modèle – ou théorie – classique ; l'analyse factorielle ;

le modèle empirique ; les modèles – ou théorie – de réponse à l'item. Nous nous contenterons

de présenter les caractéristiques essentielles des modèles relevant de la Théorie de Réponse à

l'Item (TRI), qui sont les modèles probabilistes utilisés pour la mise au point des items des

évaluations internationales sur les acquis des élèves, tant par l'IEA que pour PISA.

Les scores bruts (le nombre de points obtenus à un test) n'ayant pas, en psychométrie, de

signification intrinsèque mais dépendant des caractéristiques de chaque épreuve, l'appareil de

mesure utilisé doit classiquement faire l'objet d'un étalonnage. Cette opération consiste à

mettre en rapport les performances d'un individu avec celles de la population dont il est issu,

en rapprochant son score de celui obtenu par d'autres (par exemple un échantillon de réfé-

rence). Les items dont les caractéristiques psychométriques seront jugées trop faibles seront

alors retirés du test. Cependant, les modèles de réponse à l'item (MRI)85 utilisent une méthode

alternative qui consiste à reporter sur une même échelle difficulté des items et compétences

des sujets. La construction de l’échelle de compétence dans les enquêtes utilisant la TRI est

donc basée sur les regroupements d’items à partir de leurs indices de difficulté86. Le score de

chaque sujet est alors calculé sur l'échelle ainsi définie. Une fois les paramètres de l'item

estimés, il est possible de déterminer la compétence du sujet sur la même échelle que celle de

l'item par l'association des relations sujet/compétence et item/difficulté. En pratique, les MRI

85 La TRI et les modèles afférents sont apparus dans les années soixante.86 Pour la plupart des enquêtes internationales, plusieurs niveaux de compétences (en général cinq) sont

définis.

44/191

MARDIF Élaboration

définissent la compétence du sujet comme sa probabilité de résoudre des items d'une difficulté

donnée, énoncé qui peut se traduire sous forme de fonction mathématique. Il est important de

retenir que la compétence d'un sujet se définit ici par rapport à des tâches et non par rapport à

d'autres sujets.

Les MRI permettent donc d'évaluer la performance de différents groupes d'individus sur une

même échelle y compris si ces groupes ont passé des items différents. Cette caractéristique est

particulièrement intéressante dans le cas des comparaisons internationales sur les acquis

scolaires, d'autant qu'elle permet la constitution de banques d'items volumineuses sans

surcharger chaque élève, ces derniers n'étant soumis qu'à une fraction des items. Elle autorise

également le contrôle des biais d'item. La TRI se décline en trois modèles principaux : modèle

dit de Rasch à un paramètre (niveau de difficulté de l'item), utilisé dans PISA ; modèle à deux

paramètres (niveau de difficulté et discrimination de l'item) ; modèle à trois paramètres (on

ajoute le niveau de devinage « au hasard » de l'item). Nous n'entrerons pas dans le détail de

mise en œuvre des MRI. Signalons tout de même que leur utilisation complexe et coûteuse alliée

à des conditions de validité difficiles à remplir en font un instrument délicat à manier, objet de

diverses controverses entre experts (cf. chapitre consacré aux problèmes de méthodologie).

La fiabilité des mesures effectuées à l'aide des tests psychométriques dépend de la qualité

métrologique des items. Celle-ci est déterminée par trois critères qu'il importe de maîtriser :

• La validité : qualité essentielle, elle décrit dans quelle mesure un test psychométrique évalue bien ce qu'il est censé évaluer, autrement dit à quel degré les scores obtenus rendent compte de la caractéristique que l'on cherche à mesurer. La grandeur évaluée étant ici un construit, la validité de l'instrument de mesure n'est pas absolue mais relative, ce qui la rend complexe à établir. La validité se décline elle-même selon plusieurs axes :

➢ validité de contenu : elle exprime le rapport entre le contenu du test et l'objet à mesurer. Ainsi, la mesure des acquis scolaires sera faite en référence aux contenus d'apprentissage supposés être enseignés, par exemple les programme scolaires.

➢ validité critérielle ou prédictive : elle repose, selon les termes de Demeuse, sur la possi-bilité de prédire les résultats qu'obtiendront les sujets à d'autres tests ou lors d'un événement particulier, comme la réussite en fin de scolarité.

45/191

MARDIF Élaboration

➢ validité de construction ou conceptuelle : elle intervient lorsque l'objet à mesurer n'est pas matérialisable en termes de contenus énonçables mais est lui-même basé sur un modèle théorique. C'est par exemple le cas des tests d'intelligence.

➢ validité incrémentale : elle représente la contribution, ou la valeur ajoutée, individuelle d'un test par rapport à l'ensemble auquel il appartient.

➢ validité concourante : elle permet de valider un nouveau test à partir d'un test existant déjà validé. Elle est utile lorsqu'il est nécessaire de multiplier les formes équivalentes d'une épreuve qui ne peut être proposée à l'identique d'une fois sur l'autre (examen, concours...).

➢ A ces formes de validité, certains auteurs ajoutent la validité apparente – ou manifeste – qui, bien que n'étant pas a proprement parler une qualité métrologique, peut influer sur la qualité du résultat des tests. Elle correspond à la perception de l'évalué et de l'évaluateur quant à la validité de l'épreuve. Ce critère traduit donc un sentiment subjectif. Un test jugé pertinent et acceptable pourra induire une conduite positive susceptible d'en améliorer la validité, tant de la part du répondant que de l'évaluateur, et inversement. La validité appa-rente peut avoir une importance non négligeable en édumétrie, notamment dans les comparaisons internationales sur les acquis scolaires, car l'implication des élèves et des personnels chargés d'administrer les évaluations peut influer sur les résultats.

• La fidélité : elle représente la précision avec laquelle l'item exprime l'aptitude du sujet testé. Pour être considérée comme fidèle une mesure doit être reproductible et constante dans le temps. Précisons que le score observé à un item pour un individu ne peut être envisagé comme « vrai » mais doit être considéré comme la somme d'une composante vraie (valeur réelle du sujet sur la compétence mesurée) et d'une composante d'erreur de mesure. En effet, les sources d'erreur sont nombreuses : fluctuation des performances d'un même indi-vidu (rythme biologique, maladie, humeur, motivation...), variation des conditions de l'épreuve (ergonomie du poste d'examen, consignes émises...), erreurs de cotation ou de transcription, nombre d'items du test insuffisant, etc.

• La sensibilité : elle exprime le pouvoir discriminant des items, c'est-à-dire leur capacité à différencier les individus testés. Un item au pouvoir discriminant élevé apporte beaucoup d’information sur la compétence du sujet ; un item peu discriminant renseigne peu. L'ob-jectif d'un test édumétrique étant de pouvoir distinguer les sujets testés en fonction de leurs compétences, un défaut de sensibilité caractérise un item inutile puisque porteur de peu d'information. La sensibilité insuffisante d'un test peut être due, par exemple, à une concep-tion défaillante des items, à un nombre d'items insuffisant ou au caractère non différenciateur de la compétence évaluée. Les items doivent être conçus de manière à éviter l'effet plancher (épreuve trop facile ; presque tous les répondants réussissent) et l'effet plafond (épreuve trop difficile ; presque tous les répondants échouent). En outre, le pouvoir

46/191

MARDIF Élaboration

discriminant d'un item doit être apprécié en relation avec son niveau de difficulté, c'est-à-dire en fonction de la zone de compétences sur laquelle il doit informer. Un item facile ne renseigne que sur les sujets faibles, et inversement.

Il est à noter qu'il ne suffit pas de contrôler les propriétés individuelles des items. La consis-

tance interne de l'ensemble de l'épreuve doit également être éprouvée. Celle-ci dépend de

l'homogénéité des items et de leur nombre. Compte tenu de la longueur généralement assez

importante des évaluations internationales, il est intéressant de remarquer que, à homogénéité

donnée, la consistance interne d'une épreuve peut être augmentée en augmentant le nombre

d'items.

Par ailleurs, le traitement des non-réponses n'est pas sans incidence. Il dépend du type

d'épreuve (test de puissance ou de vitesse) et de la position de l'item dans le test. En effet,

pour les items intermédiaires l'absence de réponse témoigne d'une ignorance ou d'une absence

de prise de risques. Pour les items terminaux elle peut résulter d'un manque de temps ; les

items concernés pourront alors dans certains cas être exclus de l'interprétation (notamment

pour les tests de vitesse). Ce paramètre est important dans les évaluations internationales sur

les acquis des élèves car il est établi que le comportement des répondants en cas d'incertitude

sur la réponse varie d'un pays à l'autre. Il s'agit d'ailleurs d'un argument fréquemment avancé

pour expliquer les modestes performances des élèves français à PISA, leur taux de non-ré-

ponses étant plus élevé que la moyenne.

L'échantillonnage de la population à tester appelle une attention particulière. Il existe de

nombreuses méthodes d'échantillonnage dont l'inventaire serait de peu d'intérêt ici. Celles

généralement utilisées pour les enquêtes de l'IEA et pour PISA ont été mentionnées dans les

tableaux descriptifs de PIRLS et PISA 2006. Il faut cependant signaler que les évaluations sur

les acquis des élèves font l'objet d'un double échantillonnage : l'un pour sélectionner des

établissements scolaires ; l'autre concernant les élèves testés dans chaque établissement de

l'échantillon. Lors des enquêtes édumétriques, il arrive que le nombre d'individus requis pour

assurer la représentativité de l'échantillon soit supérieur à la population totale. Dans ce cas,

tous les individus de la population de référence sont testés.

47/191

MARDIF Élaboration

Avant le lancement à grande échelle d'une enquête, il est indispensable de procéder sur un

échantillon de taille réduite à une expérimentation – ou pré-test –, généralement dans des

conditions identiques à celles prévues pour l'administration du test, afin d'en vérifier les diffé-

rents paramètres conceptuels et organisationnels : faisabilité, pertinence et qualité

métrologique des instruments de mesure, etc.

Nous l'avons évoqué à propos de la validité apparente des tests psychométriques, l'attitude des

acteurs d'une épreuve d'évaluation peut avoir une incidence sur ses résultats. Le savoir-faire

procédurale requis pour l'administration d'un test doit donc intégrer les dimensions psycholo-

giques et relationnelles de l'exercice. Il importe notamment de rassurer et de motiver les

participants. Pendant les épreuves, les personnels qui administrent les tests doivent par

ailleurs respecter deux règles de conduite : neutralité bienveillante et standardisation procédu-

rale (consignes, attitudes, gestion du temps, etc.). La phase d'information et de formation des

administrateurs des épreuves ne doit donc pas être négligée.

La correction des épreuves est une étape importante de toute démarche psychométrique car,

mal contrôlée, elle peut abaisser la validité et la fidélité des données recueillies. Des

recherches ont mis en évidence la fréquence des erreurs de cotation, surtout dans les épreuves

corrigées par des êtres humains87, ce qui est courant pour les tests édumétriques et qui est le

cas, au moins pour partie, des comparaisons internationales sur les acquis des élèves. Les

erreurs peuvent être dues à des fautes d'attention de la part des correcteurs mais également à

des instructions imprécises ou ambiguës. Là encore, il est donc essentiel de ne pas négliger la

phase d'information et de formation des correcteurs et de vérifier la rigueur du guide de cota-

tion dès le stade préliminaire de mise au point de l'instrument. D'une manière générale, toutes

les étapes faisant intervenir le facteur humain doivent être maîtrisées au maximum.

En général, une révision des méthodes psychométriques est préconisée tous les 10 à 12 ans.

Elle est rendue nécessaire par plusieurs phénomènes : les évolutions générationnelles, les

résultats aux tests psychométriques s'avérant différents d'une génération à l'autre notamment

du fait de l'augmentation progressive du QI des adultes (« effet de Flynn ») ; les changements

culturels ou technologiques (évolutions linguistiques, changements des objets de la vie

87 Bernaud cite à cet égard les travaux de Alfonso et Pratt.

48/191

MARDIF Élaboration

courantes, etc.) ; l'évolution des concepts et outils théoriques de la psychométrie (innovations

conceptuelles, correction d'erreurs, améliorations, etc.) ; les changements relatifs aux condi-

tions économiques et matérielles des méthodes psychométriques. Dans le cas particulier de

l'édumétrie, la révision de l'appareil de mesure nous semble toutefois soumise à des tensions

contradictoires dues à l'amplitude importante du temps éducatif. D'un côté, les évolutions

technologiques et sociétales imposeraient une adaptation des instruments psychométriques

pour tenir compte des conditions réelles d'apprentissage des répondants. D'un autre côté, cette

révision limite la comparabilité diachronique des données et les possibilités d'analyses longi-

tudinales qui en découlent. Tout dépendra donc de la priorité accordée : comparaison inter-

groupes (classement) à un instant donné ou évolution des performances de chaque groupe

d'une fois sur l'autre.

Bien que le premier test d'intelligence ait été créé en 1904 par un Français, Alfred Binet, la

France se situe aujourd'hui plutôt en retrait au plan international dans les disciplines psycho-

métriques, notamment en édumétrie. A cet égard, il est peut-être significatif de constater la

faible part consacrée à cette matière dans les dictionnaires français de l'éducation et de la

pédagogie. Par exemple, le Dictionnaire encyclopédique de l'éducation et de la formation88

propose une entrée pour l'éducation comparée et une pour la docimologie, mais la psychomé-

trie n'est pas traitée directement et ne fait l'objet que d'une mention – certes référencée dans

l'index – dans l'article consacré à la notion de test. L'édumétrie est apparemment totalement

absente de l'ouvrage. Le Dictionnaire des concepts clés de la pédagogie89, quant à lui, ne

propose que deux entrées, très succinctement développées : l'une pour la docimologie, l'autre

concernant la mesure (des apprentissages) ; aucune entrée pour éducation comparée, psycho-

métrie ou édumétrie, et pas d'index permettant d'en retrouver la mention dans les articles.

Bottani et Vrignaud expliquent cette situation d'une part par l'absence de cursus universitaire

dédié à ces disciplines, et d'autre part par le fait que les méthodes d'analyse des données tradi-

tionnellement utilisées en France diffèrent de celles généralement utilisées dans les autres

pays. Ce contexte semble expliquer, au moins en partie, la faible implication relative des cher-

cheurs français en sciences de l'éducation – majoritairement peu enclins aux statistiques –

88 CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), Dictionnaire encyclopédique de l'éducation et de la formation, Paris, Nathan/Vuef, 2001.

89 RAYNAL Françoise, RIEUNIER Alain, Pédagogie : dictionnaire des concepts clés, Paris, ESF éditeur, 1997.

49/191

MARDIF Élaboration

dans la conception et le développement des comparaisons internationales, ce qui n'a pas

toujours permis de défendre les positions françaises dans ce domaine.

2.3.1.2 Cas particulier des évaluations comparatives sur les acquis des élèves

L'une des questions fondamentales liées à l'évaluation des acquis d'une population d'élèves

réside dans la définition des contenus supposés être assimilés : savoirs, savoir-faire, savoir-

être ? connaissances, compétences, aptitudes ? en référence à un programme scolaire, à des

« attendus » sociaux et professionnels ?

Les choix opérés historiquement par l'IEA et l'OCDE à cet égard s'avèrent différents. En effet,

comme nous l'avons vu, la première a généralement opté pour des évaluations en référence à

des programmes d'enseignement. Mais, dans le cas de comparaisons internationales, cette

option oblige les concepteurs des évaluations à définir un méta-programme théorique représen-

tant soit le dénominateur commun à tous les systèmes scolaires concernés (« intersection »

mathématique) – c'est l'option qui a été le plus souvent retenue par l'IEA –, soit l'ensemble des

contenus de tous les programmes scolaires concernés (« union » mathématique), méta-pro-

gramme sur lequel seront construits les items des tests. Ces deux solutions présentent des

difficultés et une complexité de mise en œuvre qui, si elles dépassent le cadre de notre

recherche, sont aisément perceptibles. Elles présentent toutefois l'avantage de clarifier la défi-

nition du construit à mesurer puisque le référent (ensemble des acquis à évaluer) est connu.

Devant les difficultés persistantes rencontrées par l'IEA face au problème de définition d'un

méta-programme commun, et vu les contestations soulevées par les évaluations internatio-

nales réalisées par l'ETS en 1988 et 1991 (IAEP I et II)90, construites à partir des programmes

d'enseignement américains, l'OCDE a opté, nous l'avons vu, pour des évaluations indépen-

dantes des curricula nationaux centrées sur trois grands domaines de compétences. Toutefois,

cette solution, pour intéressante qu'elle puisse paraître à première vue en termes de compara-

bilité, pose également un certain nombre de problèmes difficiles à résoudre. En effet, la

définition de contenus d'apprentissage en référence à des compétences ne peut être isolée d'un

environnement socioculturel. Normand souligne que « les performances des élèves reflètent

90 IAEP : International Assessment of Educational Progress (cf. tableau des principales enquêtes internationales sur les acquis des élèves en annexe)

50/191

MARDIF Élaboration

les contenus des programmes nationaux et les valeurs qui y sont attachées »91. A cet égard, la

définition de la notion de compétence donnée par les ministres de l'éducation des pays

membres de l'OCDE est éloquente : « "compétences" s’entend ici comme un ensemble de

connaissances, de savoirs, de dispositions et de valeurs »92 (nous soulignons). Dès lors

comment définir des connaissances et compétences requises ou attendues rigoureusement

identiques partout dans le monde compte tenu des différences culturelles importantes qui,

heureusement, subsistent malgré la mondialisation ? Une telle démarche ne relève-t-elle pas

d'une forme d'ethnocentrisme occidental ? Et, surtout, envisager une telle possibilité est-il

scientifiquement acceptable ? Sur le site internet de PISA et dans la brochure de présentation

de l'enquête, nous lisons que celle-ci « évalue l’acquisition de savoirs et savoir-faire essen-

tiels à la vie quotidienne », qu'elle « teste l’aptitude des élèves à appliquer les connaissances

acquises à l’école aux situations de la vie réelle », ou encore qu'elle « vise à évaluer dans

quelle mesure les adolescents de 15 ans [...] sont préparés à relever les défis de la société de

la connaissance ». Mais les savoirs et savoir-faire essentiels sont-ils les mêmes en tout point

du globe ? La vie quotidienne est-elle la même dans les pays riches ou pauvres (en dépit de la

situation supposément transitoire des derniers...) ? La vie réelle dans des régions monta-

gneuses ou désertiques sous-développées et dans des mégapoles est-elle comparable ? Enfin,

il y a-t-il un sens à mesurer l'aptitude à relever les défis de la société de la connaissance dans

des pays où la démocratie demeure un concept très théorique ou dans des régions où les popu-

lations luttent encore pour leur survie ? Ces questions soulèvent le problème de la

comparabilité intrinsèque des curricula réels dans une perspective internationale. Il est clair

que le programme PISA a été voulu, conçu et développé par et pour les dirigeants des pays

riches. Son caractère international doit se comprendre dans l'acception purement spatiale du

terme et non dans sa dimension socioculturelle.

Enfin, d'un point de vue plus instrumental, les comparaisons entre pays présentent deux autres

caractéristiques propres : elles ne peuvent être considérées comme fidèles qu'à condition de

prouver l'équivalence des mesures dans les différentes cultures (équivalence de construit,

équivalence de mesure, équivalence scalaire) ; elles nécessitent l'application d'une procédure

91 NORMAND Romuald, « Les comparaisons internationales de résultats : problèmes épistémologiques et questions de justice », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 82.

92 OCDE, La définition et la sélection des compétences clés. Résumé, 2005.

51/191

MARDIF Élaboration

de parallélisation93 permettant de reporter les résultats obtenus aux différentes versions

linguistiques ou nationales, non comparables en l'état, sur une échelle commune.

2.3.2 Problèmes épistémologiques

Comme a pu le rappeler Thierry Rocher (DEPP/MEN) le 14 mai 2009 lors d'un séminaire à

l'EHESS, pour assurer la comparabilité synchronique et diachronique des évaluations il est

essentiel d'utiliser un instrument de mesure fiable (mesure objective) et stable (échelle de

mesure identique au cours du temps). Et s'il convient certes de garder à l'esprit le fait que,

comme toute vérité scientifique, l'objectivité recherchée dans la mesure des acquis scolaires

n'est que l'expression d'un consensus inscrit dans un contexte socio-historique et temporel

donné, il importe que les instruments psychométriques utilisés permettent de fonder les

comparaisons internationales sur des bases aussi solides et objectives que possibles. C'est-à-

dire en évitant les biais de toute nature, interne (méthodologiques) ou externe (culturels,

linguistiques...) et en contextualisant les résultats pour éviter des conclusions erronées. Rappe-

lons ici pour mémoire que toute observation modifie le comportement de la personne observée et

que la quantification de ces modifications est impossible ou, à tout le moins, incertaine.

Les sources d'erreurs en psychométrie comparée sont nombreuses. Elles peuvent être :

• internes, c'est-à-dire liées à l'appareil de mesure : défaut de qualité métrologique des instru-ments psychométriques, en l'occurrence les items (sensibilité, fidélité, validité insuffisante), défaut d'étalonnage des items, modèle d'analyse des données inapproprié, défaut d'échan-tillonnage, présence de biais (cf. ci-après) ;

• externes : disponibilité, qualité et homogénéité des données d’échantillonnage et contex-tuelles, écart entre caractéristiques formelles et fonctionnement réel du système, etc.

Bernaud identifie trois types de biais possibles94 :

• biais liés au construit : ce sont par exemple les biais socioculturels relatifs aux acquis évalués (l'objet mesuré n'a pas la même signification dans différentes cultures). En l'espèce, le problème se pose différemment pour les enquêtes de l'IEA et pour PISA. En effet, dans le premier cas, le construit évalué étant bâti sur un noyau curriculaire commun, son équiva-

93 En anglais : equating ou scaling.94 BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007, p. 61.

52/191

MARDIF Problèmes épistémologiques

lence d'un pays à l'autre est a priori assurée. En revanche, dans le cas de PISA (évaluation de compétences auto-référencées), l'équivalence du construit dans les différentes cultures devra être démontrée ;

• biais liés à la méthode : il s'agit des biais d'échantillonnage, qui entachent la comparabilité des échantillons testés (motivation des élèves face aux évaluations internationales variable selon les pays...) ; des biais liés aux instruments (familiarité inégale au formalisme des items : présentation des questions, instructions, modalités des réponses...) ; des biais liés à l'administration des épreuves (conditions matérielles de passation...) ;

• biais d'items : items ayant des propriétés statistiques culturellement différenciées, par exemple du fait d'erreurs de traduction ou d'un texte faisant référence à une activité cultu-rellement marquée (pétanque, baseball...). L'équivalence entre les différentes versions linguistiques/culturelles d'un test doit être établie par l'identification d'un éventuel fonction-nement différentiel des items (FDI). Cette procédure est systématiquement exécutée pour les comparaisons internationales sur les acquis des élèves ; les items présentant un FDI en sont retirés. Cependant, pour Bottani et Vrignaud, les résultats de ce « toilettage » ne sont pas totalement satisfaisants (problème de choix du/des référent(s), traitement imparfait des différentes versions linguistiques, insuffisances méthodologiques). Tout comme Goldstein, ces auteurs suggèrent par ailleurs, que le FDI est porteur d'informations intéressantes sur les différences entre pays et que la cause pourrait en être analysée.

Nous concentrerons notre analyse dans les pages qui suivent sur les écueils les plus caractéris-

tiques des comparaisons internationales.

2.3.2.1 Problèmes d'échantillonnage

L'échantillonnage de la population testée dans chaque pays participant est une opération

complexe faisant appel à des techniques statistiques sophistiquées. Nous n'entrerons pas ici

dans le détail de la construction mathématique des échantillons (rappelons que deux échan-

tillonnages sont nécessaires : l'un pour la sélection des établissements scolaires, l'autre pour le

choix des élèves) ; sujet trop vaste et de peu intérêt pour notre recherche. En revanche, nous

porterons notre attention sur quelques questions plus particulièrement spécifiques aux évalua-

tions internationales sur les acquis des élèves.

Bottani et Vrignaud rappellent que dès la conception de la première étude pilote de

l'UNESCO (1959-1962) « deux problèmes s’imposèrent d’emblée : celui des critères de défi-

53/191


nition de la population concernée (l’âge ou le degré d’école) et celui de la construction d’un

échantillon représentatif »95. En d'autres termes, se pose, d''une part, la question de la repré-

sentativité statistique de l'échantillon testé au niveau du pays ou de la région concernée ; et,

d'autre part, la question de la comparabilité des échantillons testés d'un pays / d'une région à

l'autre, particulièrement dans le cas de PISA puisque le résultat est exprimé sous forme de

classement.

Du strict point de vue de la représentativité statistique, les techniques modernes d'échantillon-

nage des populations devraient théoriquement permettre d'obtenir des données fiables. Mais

de nombreuses questions spécifiques se posent pour en garantir la comparabilité. Par exemple,

les élèves dont la langue maternelle n'est pas celle de l'évaluation doivent-ils être exclus ? Si

oui, après combien d'années de scolarisation dans la langue d'évaluation un élèves d'origine

linguistique différente doit-il être intégré au test ? Les élèves pris en charge dans des struc-

tures ad hoc extra-scolaires pour cause de troubles du comportement ou d'apprentissage, de

handicap, etc., doivent-ils être évalués avec les autres, sachant que dans certains systèmes

éducatifs ces élèves sont scolarisés sans distinction dans les établissements scolaires ? Il est

bien évident que les réponses apportées à ces questions auront un impact sur les résultats.

Pour des raisons évidentes d'accès aux informations requises, l'échantillonnage de la popula-

tion cible est effectué par chaque pays participant. Dans ces conditions, bien que les questions

d'échantillonnage fassent l'objet d'un arbitrage international et d'une supervision technique par

le maître d'œuvre, la tentation peut être grande pour certains pays d'orienter l'échantillon, dans

un sens favorable ou défavorable, pour des raisons de stratégie politique.

La question des critères de définition de la population étudiée ne semble pas tranchée à ce

jour. Alors que l'OCDE a choisi de s'intéresser aux élèves de 15 ans, les enquêtes réalisées par

l'IEA (TIMSS, PIRLS...) concernent des populations définies par leur année – ou degré – de

scolarisation. Dans un rapport publié en 2002, le National Research Council américain

concluait que chacune de ces approches présente des avantages et des inconvénients96.

95 BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 13.96 Actes d'un symposium organisé en novembre 2000 par le Board on International Comparative Studies in

Education (BICSE) du National Research Council américain, publiés en 2002 sous le titre « Methodological advances in cross-national surveys of educational achievement ». Références complètes en bibliographie sous l'auteur National Research Council.

54/191


D'une manière générale, les évaluations sur population d'un âge donné sont plus difficiles à

organiser du fait de l'éparpillement des individus dans des classes de différents niveaux –

rendant en outre impossible toute évaluation basée sur les curricula – et de la plus grande

complexité dans le cas de l'échantillonnage par grappes, ce qui en accroît le coût. De plus, les

élèves d'un âge donné n'ont pas tous suivi le même nombre d'années de scolarisation du fait

de la différence d'âge légal d'instruction obligatoire d'un pays à l'autre. La pratique du redou-

blement, très variable également d'un système à l'autre, introduit des disparités importantes

entre élèves évalués quant au niveau (degré) de scolarisation. A titre d'exemple, en France, les

élèves de 15 ans pourront être en classe de 4ème, 3ème, 2nde voire 1ère97. Enfin, dans le cas

de PISA, « les données, portant sur les élèves (encore) scolarisés à 15 ans, vont concerner un

pourcentage d’une génération variable selon les pays, proche de 100 % dans les pays de

l’OCDE les plus riches, mais bien plus faible dans des pays comme la Thaïlande, le Brésil et

le Mexique »98, ce qui ne sera pas sans influence sur les résultats.

D'un autre côté, les évaluations sur population d'un niveau donné posent des problèmes de

comparabilité des résultats obtenus du fait de la variation importante de l'âge des individus

testés99 et des différences curriculaires entre pays, notamment quant au nombre d'années de la

scolarité primaire et secondaire et à la répartition des apprentissages sur cette période. En

outre, cette alternative avantage les pays pratiquant le redoublement par rapport à ceux qui ne

le pratiquent pas.

Parallèlement se pose également la question de la pertinence des populations choisies en fonc-

tion de l'objet d'étude. L'objet des évaluations de l'IEA et de l'OCDE étant a priori identiques

(même si les objectifs divergent), il est surprenant de constater les différences d'option entre

les deux institutions. Nous l'avons vu, la première évalue des élèves de 9-10 ans (4ème année

de scolarisation) et de 13-14 ans (8ème année)100 ; la seconde s'intéresse aux jeunes de 15 ans.

Si l'âge de 9 ou 10 ans est aisément compréhensible car il représente généralement la fin du

97 Pour PISA 2000, environ 50 % des Français étaient scolarisés en classe de 2nde, 36 % en 3ème, 10 % en 4ème. (Source : RÉMOND Martine, « Éclairage des évolutions internationales PIRLS et PISA sur les élèves français », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 77)

98 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, op. cit.99 A titre d'exemple, l'âge moyen des élèves évalués pour PIRLS 2006 s'échelonnait de 9,7 ans en Italie à 11

ans en Lettonie. (Source : PISA 2006 Technical report)100 Nous faisons ici référence à TIMSS et PIRLS.

55/191


cycle primaire, la différence dans les choix effectués sur le cycle secondaire inférieur peut

étonner. Cet écart est peut-être justifié par la composition du panel de pays participants. En

effet, certains des pays participants aux évaluations de l'IEA étant relativement pauvres, la

durée de scolarisation obligatoire y est plus faible que dans les pays membres de l'OCDE,

dont le niveau de développement est généralement élevé. Il est évident que la réalisation

d'évaluations de masse sur un échantillon représentatif de l'ensemble de la population mais

dont les individus ne sont plus scolarisés pose des problèmes organisationnels difficilement

surmontables. Les populations étudiées ont donc probablement été choisies en fonction de ce

critère (Bottani et Vrignaud).

2.3.2.2 Problèmes de traduction et biais culturels

Une mesure est dite biaisée si elle mesure imparfaitement ce qu'elle est supposée mesurer. Le

problème des biais édumétriques ne se limite donc pas aux biais d'origine linguistique ou

culturelle. Nous concentrerons néanmoins notre analyse sur ces derniers car ce sont les biais

les plus fréquemment invoqués à l'encontre des évaluations comparatives internationales.

Nous l'avons dit, l'objet d'évaluation (connaissances, compétences, aptitudes, attitudes...) est

ici un construit porteur d'une charge socioculturelle et non une grandeur objectivable. Comme

il est établi que la présentation ou le contenu des items peuvent avantager certains élèves, le

problème n'est pas de mesurer « objectivement » des acquis mais de réduire au minimum la

marge d'erreur et d'en contrôler autant que possible les paramètres, afin de neutraliser les biais

internes et externes.

Le problème des biais socioculturels et linguistiques, bien connu des psychométriciens101, a

été identifié dès l'origine des comparaisons en éducation. L'étude pilote réalisée en 1961 sous

l'égide de l'UNESCO comportait déjà un test non verbal, c'est-à-dire ne mobilisant pas les

compétences verbales ou linguistiques du sujet testé. Dans le rapport qu'il a rédigé sur le sujet

en 1993 à la demande de l'UNESCO, Harvey Goldstein estimait d'ailleurs qu'il est impossible

de déterminer si un test mesure les mêmes connaissances dans deux cultures différentes :

101 Bottani et Vrignaud rappellent toutefois qu'après le quasi abandon de l'idée de tests culture free, les concepteurs de tests ont plutôt cherché à développer et à perfectionner des méthodes d'identification des biais, en vue d'assurer l'équité entre les individus lors des évaluations.

56/191


« Il s'agit plutôt pour les auteurs des diverses versions d'un même test de définir l'équivalence de ces versions. La décision sera normalement provisoire et le plus souvent satisfera à des critères raisonnables, par exemple en matière de traduction. »102

La problématique des biais en éducation comparée ne se pose pas en termes d'équivalence

absolue mais bien en termes d'équivalence statistique, la solution passant par la recherche du

meilleur ajustement possible des modèles explicatifs développés pour tenir compte des diffé-

rences observées. Rappelons que la problématique des biais est beaucoup plus prégnante pour

les comparaisons internationales qui évaluent des compétences (PISA...) que pour celles

basées sur les curricula (TIMSS, PIRLS...), ces dernières limitant grandement les biais liées

au construit.

Nous proposons dans les paragraphes qui suivent une brève analyse des biais linguistiques et

socioculturels. Des exemples extraits d'un article de Goldstein paru dans la Revue française

de pédagogie sont par ailleurs reproduits en annexe à titre illustratif.

2.3.2.2.1 Biais linguistiques

Le nombre de langues parlées dans le monde se situe selon les évaluations entre six et sept

mille103. Selon le modèle gravitationnel développé par Calvet104, le système linguistique

mondial serait structuré de manière hiérarchisée, les rapports entre les langues du monde

pouvant se représenter en termes de gravitations étagées autour de langues pivots de niveaux

différents ; avec au sommet du système l’anglais, langue hypercentrale, puis des langues

supercentrales (espagnol, français, hindi, arabe, malais...), etc. Ce modèle sociolinguistique

théorique montre bien ce qui, par ailleurs, peut paraître une évidence empirique : l'inégale

position des langues dans le monde et la position dominante de l'anglais. Dans ces conditions,

comment tenir compte du différentiel (positif ou négatif) entre les locuteurs natifs anglo-

phones de culture anglo-saxonne et les autres individus testés dans le cadre d'évaluations

comparatives internationales dont les items sont majoritairement conçus et rédigés initiale-

102 GOLDSTEIN Harvey, « Interprétation des comparaisons internationales des résultats scolaires », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 28.

103 Source : OSEKI-DÉPRÉ Inês, Questions de traductologie, cours de Master-2 « Coopération linguistique et éducative », Université de Provence, 2008.

104 CALVET Louis-Jean, « Les effets linguistiques de la mondialisation », article publié en 2004 sur le site Cafés géographiques, reproduit sur le site de l'Observatoire européen du plurilinguisme (http://plurilinguisme.europe-avenir.com).

57/191

http://plurilinguisme.europe-avenir.com/


ment en anglais par des experts issus d'un nombre restreint de sphères socio-linguistiques et

culturelles puis traduits ? D'autant que la langue est au minimum vecteur des savoirs évalués

(mathématiques, sciences) mais parfois l'objet même du test (compréhension de l'écrit).

Une autre caractéristique du modèle de Calvet réside dans l'importance du bilinguisme dans la

diffusion des langues et la structuration du système linguistique mondial, avec d'un côté des

anglophones, généralement monolingues, et de l'autre des régions entières du globe ou le

multilinguisme est aujourd'hui la règle. Dans ces dernières, quelle doit alors être la langue de

passation des évaluations internationales ?

Si l'on accepte l'idée que le langage structure la pensée, la perspective universaliste adoptée

par les concepteurs d'évaluations internationales basées sur des compétences (non curricu-

laires) est tout à fait discutable. Les difficultés phonologiques et lexicales, l'acquisition des

concepts, l'usage de figures de style, etc. ne sont pas les mêmes d'une langue à l'autre.

Certaines inférences sont probablement plus difficiles à faire dans certaines langues que dans

d'autres. Par exemple, il est connu que les langues endémiques aux régions septentrionales

extrêmes comportent une grande variété de mots pour désigner ce que nous appelons commu-

nément la neige ; en existe-t-il seulement un dans toutes les langues des régions au climat

tropical ? Autre exemple : il est établi qu'un même texte sera plus long en français qu'en

anglais, donc plus long à lire... Par ailleurs, les rapports entre langue et culture, les questions

de fidélité de la traduction (traduire = trahir ?) ou l’opposition source/cible (traduction

orientée vers la langue/culture de départ ou la langue/culture d’arrivée) sont bien connus. Ces

difficultés ont conduit les concepteurs des tests à édicter certaines règles de rédaction des

items pour en limiter les biais. Néanmoins, ces règles risquent d'être elles-mêmes porteuses de

biais (Goldstein). En outre, en évitant par exemple certaines formes syntaxiques, elles font

l'impasse sur la maîtrise des compétences correspondantes.

Certaines recherches semblent indiquer que les erreurs de traduction constituent la première

source d'imperfections dans ce type d'enquêtes internationales105, avant les problèmes de biais

culturel ou de curriculum évalué. Différentes techniques sont certes utilisées par les concep-

105 Auteurs cités dans le rapport technique de PISA 2006 : Harkness, Van de Vijver et Mohler, Hambleton, Merenda et Spielberger.

58/191


teurs des évaluations pour limiter les risques d'erreurs : double traduction, rétro-traduction,

double traduction depuis deux langues sources différentes, etc. Mais des erreurs subsistent et

certains obstacles sont difficilement surmontables.

Tous ces éléments mettent en évidence la complexité des problématiques linguistiques et,

surtout, l'imbrication difficilement quantifiable des enjeux sociaux, culturels et cognitifs liés à

la traduction. Pour toutes ces raisons, les biais linguistiques constituent un obstacle substantiel

à la comparabilité des résultats de tests psychométriques réalisés à une échelle internationale,

du fait du caractère interculturel et interlinguistique de telles épreuves. Ces biais sont

d'ailleurs depuis l'origine des évaluations internationales l'un des obstacles majeurs auxquels

ont été confrontés les concepteurs de ces enquêtes, sources de contestation des résultats par

les dirigeants de certains pays et de nombreuses controverses entre experts.

Une des solutions possibles permettant d'éviter les biais linguistiques consiste à utiliser des

tests non traduits. Ainsi, des épreuves originales dans la langue nationale des élèves ont été

conçues par plusieurs pays européens avec le soutien du RERPESE pour évaluer leur compé-

tences en compréhension de l'écrit106. L'élaboration des grilles de compétences communes

présente certes des difficultés d'étalonnage importantes. Néanmoins, pour Bottani et Vrignaud,

cette piste est insuffisamment explorée et mériterait un plus fort investissement de la part des

acteurs concernés.

2.3.2.2.2 Biais socioculturels

L'un des biais observés dans les tests édumétriques provient du degré de familiarité des élèves

avec le type de questionnaire utilisé, tant sur le fond que sur la forme : rédaction et présenta-

tion des items ; neutralité culturelle du contenu des items. La force de la dimension culturelle

de l'apprentissage de la lecture à l'école trouve d'ailleurs son illustration dans la part générale-

ment négligeable de la littérature étrangère dans les programmes scolaires de nombreux pays

européens107. Au-delà de la familiarité plus ou moins importante des élèves avec le type de

106 Cette réflexion du RERPESE a conduit à la création du projet C-BAR (Culturally Balanced Assessment of Reading) auquel ont participé huit pays européens : Angleterre, Belgique (Communauté flamande), Finlande, France, Italie, Pays-Bas, Norvège et Suède.

107 Ce constat a notamment été mis en évidence par Françoise Mattossi, inspectrice de l'Éducation nationale chargée de mission pour les écoles européennes, dans un compte-rendu de recherche non publié intitulé « Place de la culture européenne au travers de la littérature à l’école en France » (2009).

59/191


tests auquel ils sont soumis, les modalités mêmes d'évaluation varient grandement d'un pays à

l'autre : fréquence et importance relative des contrôles (continu vs terminal), mode d'évalua-

tion privilégié (sommatif vs formatif), importance de l'écrit par rapport à l'oral, etc. Les

dimensions psychologiques et cognitives liées à la passation d'évaluations diagnostiques ne

peuvent être ignorées.

Un autre problème, si l'on s'attache à mesurer l'efficacité ou la performance d'un système d'en-

seignement, réside dans la différence de niveau des élèves à leur entrée dans la scolarité, et, plus

généralement, nous l'avons évoqué, dans la part des acquis imputables au système éducatif. Il

faut d'ailleurs noter que la scolarisation pré-élémentaire varie grandement d'un pays à l'autre. Il

est bien évident que les facteurs tels que le milieu social, la santé ou l'éducation donnée par les

parents influent sur le niveau et le champ des connaissances et des compétences préscolaires

acquises par les enfants, ces facteurs dépendant eux-mêmes de la situation socio-démogra-

phique et socio-économique du pays, et, plus largement, de son niveau de développement. À cet

égard, pays pauvres et pays riches ne peuvent être considérés sur un pied d'égalité. Duru-bellat,

Mons et Suchaut rappellent que les relations dégagées dépendent de l’échantillon de pays sur

lequel on travaille. Ainsi, certaines corrélations pourront varier sensiblement selon que l’on

traite l’ensemble des pays ou seulement les plus riches.

Bien que les outils de redressement statistique aient été perfectionnés au fil du temps, ces

derniers ne semblent pas avoir permis de résoudre le problème de façon unanime et les spécia-

listes ne paraissent pas s'accorder sur cette question. Dans le rapport publié en 2002 par le

National Research Council (op. cit., chapitre « Problèmes d'échantillonnage »), les experts

américains faisaient d'ailleurs d'une meilleure connaissance et d'une meilleure prise en compte

de l'influence du contexte socioculturel propre à chaque pays sur les résultats des évaluations

comparatives internationales l'un des enjeux du futur.

Pour ce qui concerne la France, le problème des biais culturels a souvent été invoqué pour

contester les comparaisons internationales au motif que ces évaluations étaient imprégnées de

la culture anglo-saxonne. D'un point de vue technique, cet argument est contesté par certains

chercheurs. Duru-Bellat, Mons et Suchaut, par exemple, adoptent une rhétorique plus

nuancée :

60/191


« A cela on peut objecter que techniquement, toutes les précautions ont été prises : les matériaux d’évaluation ont été préparés à la fois en anglais et en français, et traduits par la suite dans les langues des pays participants, à partir de ces deux sources, dans la plupart des cas, le format des items a été diversifié autant que possible… On note par ailleurs qu’à la fois les pays dont les élèves sont le plus performants appartiennent à des aires culturelles très différentes (Corée, Finlande, Canada) et que les élèves des pays culturellement proches peuvent manifester des performances relativement inégales (les USA et le Canada par exemple). La question de la réalité de biais culturels reste néanmoins ouverte, même si la recherche peine à les identifier. Les chercheurs responsables du dispositif ont en effet ré-estimé les performances des élèves à la seule aune d’items considérés par les pays eux-mêmes comme particulièrement bien adaptés à leurs élèves, et cela ne modifie que fort peu la position des différents pays (par exemple, la France passe de la 14ème à la 12ème position). Ceci constitue à l’évidence un argument fort à l’encontre de la thèse selon laquelle les résultats de l’enquête PISA seraient disqualifiés par l’existence de biais culturels. »108

Si le débat reste ouvert, il semble qu'il doive être en tout cas porté plutôt sur le terrain de la

valeur explicative accordée aux évaluations comparatives que sur leur validité générale.

En définitive, bien que très réels d'un point de vue scientifique, peut-être les problèmes de

biais culturels ne sont-ils que d'une importance opératoire relative. En effet, compte tenu – ou

en dépit – de ces biais, les élèves qui obtiennent les meilleurs scores sont peut-être ceux qui

s'avèrent finalement les mieux adaptés à la réalité socio-professionnelle dans laquelle ils

devront s'insérer. Dans une telle optique, peu importe les biais culturels ; la raison instrumen-

tale pourrait valider les comparaisons internationales sur les acquis des élèves du seul point de

vue du capital humain, car ces enquêtes sont bien le révélateur de la capacité d'un système

éducatif à préparer les élèves au monde actuel, dominé par les valeurs anglo-saxonnes de

régulation sociale par l'économie libérale de marché. Mais une telle approche met à mal la

dimension axiologique de l'éducation et se trouve en porte à faux avec les fondements huma-

nistes des systèmes éducatifs de certains pays, dont la France.

2.3.2.3 Problèmes de méthodologie

Nous avons évoqué, dans la partie consacrée à l'élaboration technique des évaluations interna-

tionales, les difficultés conceptuelles liées à la mesure de compétences. Cette approche

comporte une autre difficulté, plus prosaïque, liée au caractère polysémique et flou de la

notion de compétence : une fois un domaine de compétence défini, comment s'assurer que

108 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, op. cit., p. 4.

61/191


l'ensemble du domaine est bien intégré dans les items du test ? Comment définir précisément

les contours d'un domaine de compétence ? Comment garantir l'exhaustivité de la mesure ?

Comment éviter que les contenus assignés aux domaines de compétence ne soient culturelle-

ment marqués ? Autrement dit, pour paraphraser Binet et sa célèbre formule à propos de

l'intelligence, comment éviter d'en rester au constat suivant : « la compétence, c'est ce que

mesure mon test » ?

Consciente de ces problèmes, l'OCDE a mis en place le programme DeSeCo109 (Définition et

Sélection des Compétences clés), indépendant de PISA mais qui fournit un cadre conceptuel

pour orienter le développement à long terme des évaluations. Selon les termes du document

de présentation du DeSeCo proposé sur son site internet, le cadre conceptuel de ce programme

classe les compétences en trois catégories transdisciplinaires et interdépendantes : 1°) Se

servir d’outils de manière interactive ; 2°) Interagir dans des groupes hétérogènes ; 3°) Agir de

façon autonome. Selon cette rhétorique officielle, la capacité des individus à réfléchir et à agir

de façon réflexive est au cœur de ce cadre de compétences ; cette pratique réflexive n’im-

plique pas seulement d’appliquer une formule ou une méthode de manière routinière dans une

situation donnée, mais aussi de faire face au changement, de tirer des enseignements des

expériences et de réfléchir et d’agir avec esprit critique. La notion de compétence définie dans

le DeSeCo sur des bases théoriques – et non psychométriques – apparaît conceptuellement

très ouverte. Son opérationnalisation semble toutefois poser problème.

L'approche de PISA demeure à ce jour beaucoup plus actionnelle, très instrumentale et condi-

tionnée par la nécessité de mesurabilité. Pour Vrignaud, ce type d’évaluation des compétences

n'est pas exempt de questionnement :

« Il y a un risque de dérive idéologique à considérer ces compétences comme dotées d’une réalité autonome et objective alors qu’elles sont étroitement dépendantes d’un modèle de mesure. »110

Cet auteur observe par ailleurs le danger de réification auquel l'approche par compétences

peut donner lieu.

109 Le programme DeSeCo fait l'objet d'un site internet dédié : http://www.deseco.admin.ch/ 110 VRIGNAUD Pierre, « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle

était la question ? », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 38.

62/191

http://www.deseco.admin.ch/


« Dans le cadre de l’évaluation psychométrique qui est celui de ces enquêtes, les compétences sont avant tout des construits et ne sont pas séparables de la manière dont ces construits ont été opérationnalisés. Perdre de vue cette caractéristique laisse la porte ouverte à des généralisations abusives voire à des extrapolations que ne soutiennent pas réellement l’interprétation des résultats. »111

Nous pouvons également nous demander si la mesure comparée de compétences en compré-

hension de l'écrit peut avoir une valeur interprétative en termes de performance relative des

systèmes éducatifs alors que les langues ont des degrés de difficulté différents. Pour employer

une métaphore sportive, si le nombre et la hauteur des haies varient d'un couloir à l'autre de la

piste, que nous dira le classement d'arrivée sur la performance de chaque coureur ?

Une autre source de difficulté résultant de l'approche par compétences provient de ce que les

compétences acquises par des élèves ne l'ont pas toutes été dans le cadre scolaire. En effet, la

famille, les pairs, les médias, la vie quotidienne, etc., sont également une source importante

d'apprentissages. La question est alors, tant d'un point de scientifique que politique, de distin-

guer la part imputable au système éducatif, dans toutes ses dimensions (structurelles,

pédagogiques...), de celle due au contexte extérieur.

Un certain nombre de critiques ont également pu être émises à l'encontre des modèles de

réponse à l'item utilisés pour les enquêtes de l'IEA et PISA. Ces critiques soulignent que les

conditions de validité des MRI sont délicates à respecter et mettent en cause la pertinence

psychologique du modèle. Les deux conditions de validité jugées problématiques dans la litté-

rature consultée sont l'unidimensionnalité, et l'indépendance conditionnelle des items.

L'unidimensionnalité traduit le caractère univoque de la mesure de l'item, présupposant que, la

réussite à l'item ne mettant en jeu qu'une seule compétence, les différences interindividuelles

ne résultent que de différences de puissance et les différences de difficultés entre items ne sont

que quantitatives. Or l'idée selon laquelle les individus mettent en œuvre des stratégies et des

processus identiques – ou même similaires – pour répondre aux items est contestable. Politi-

quement parlant, la condition d'unidimensionnalité a des conséquences importantes sur la

111 VRIGNAUD Pierre, op. cit., p. 28.

63/191


présentation des résultats des comparaisons internationales car elle conduit à privilégier dans

l'exploitation des résultats l'ordre de performances des pays, c'est-à-dire leur classement.

L'indépendance conditionnelle de l'item, quant à elle, traduit le fait que la réponse à un item

ne dépend aucunement de la réponse donnée aux autres items du test, notamment ceux situés

chronologiquement avant. Vrignaud observe, d'une part, que cette caractéristique est difficile à

tester faute d'outil statistique adéquate et, d'autre part, que de nombreuses situations de testing

ont été identifiées où, par construction, la condition d’indépendance conditionnelle n’est pas

respectée. En effet, pour des raisons évidentes d'optimisation du temps (rentabilisation de l'in-

vestissement cognitif du répondant pour prendre connaissance de l'item), il est fréquent que

les épreuves comportent plusieurs questions sur un même texte ou énoncé. Une non-réponse

ou une réponse erronée risque donc d'influer négativement sur les autres réponses se rappor-

tant à ce texte ou cet énoncé. Les effets des biais ainsi induits ne sont pas négligeables112,

comme l'ont montré les recherches de Wainer et Thissen (1996)113.

Nous l'avons vu, les MRI sont des modèles probabilistes. La définition de la zone de compé-

tence d'un sujet nécessite de décider du seuil de probabilité de réussite à partir duquel un item

est considéré comme maîtrisé : 50 %, 80 %, 100 % ? Le bon compromis n'est pas aisé à déter-

miner, ce qui questionne la pertinence de cette approche probabiliste : un sujet évalué comme

ne maîtrisant pas une compétence donnée pourra malgré tout réussir une tâche relevant de la

zone de compétence correspondante voire d'un niveau de difficulté supérieur ; a contrario, un

sujet jugé « compétent » pourra échouer sur des compétences inférieures. Ce problème est

d'autant plus gênant que les évaluations internationales utilisent une classification en plusieurs

niveaux de compétence (cinq généralement) qui « caricature » les résultats en les simplifiant.

Surtout, pour Vrignaud, « l’interprétation en termes de fonctionnement cognitif n’est pas

fondée sur l’analyse des tâches et des processus mais apparaît plutôt comme un produit

dérivé du modèle de mesure psychométrique »114. Sans être totalement invalide, la notion de

niveau de compétence est donc moins objective qu'elle ne peut sembler au premier abord.

112 Ces biais conduisent notamment à surestimer la consistance interne des évaluations.113 Cités par : VRIGNAUD Pierre, op. cit., p. 31.114 VRIGNAUD Pierre, op. cit., p. 34.

64/191


Bien évidemment, les problèmes méthodologiques relatifs à l'évaluation des acquis ne se

limitent pas à la construction des items ou à l'analyse des données. Fabrice Murat115 rappelle

que des études ont mis en évidence l'incidence du protocole de collecte des informations sur

les résultats. Des écarts importants ont pu être observés sur les résultats obtenus par une popu-

lation évaluée sur un même corpus d'acquis selon différents protocoles. Dans le cas de

comparaisons internationales, un protocole pourra avantager les répondants de certains pays.

Nous avons vu que pour mettre en relation les résultats des élèves avec certaines variables

explicatives, des questionnaires contextuels sont complétés par les élèves, les chefs d'établis-

sement concernés et, pour certaines enquêtes, les enseignants. Goldstein observe toutefois que

la fiabilité de ces questionnaires risque d'être faible et de varier d'un système éducatif à l'autre,

notamment parce que le niveau d'information des répondants fluctue selon les pays. L'inter-

prétation des résultats pourra donc être faussée.

Concernant la comparaison des résultats dans le temps, c'est-à-dire entre deux cycles d'en-

quêtes, Goldstein estime que, compte tenu du changement de contexte social, culturel ou

scolaire, il est très difficile d'interpréter la variation de performance d'un groupe d'élèves. Par

exemple, en cas d'amélioration du score, celle-ci est-elle due à l'augmentation du niveau des

élèves ou à la baisse relative du niveau du test ? Les procédures de parallélisation (test equa-

ting) utilisées ne permettraient pas de garantir la justesse de l'interprétation.

Deux critiques très générales sont encore adressées par certains auteurs à l'encontre des instru-

ments édumétriques développés et mis en œuvre dans les évaluations internationales sur les

acquis des élèves : leur extrême sophistication en rend la compréhension et l'utilisation

éclairée difficiles (phénomène accentué par la non-diffusion des items), y compris pour les

chercheurs concernés par les questions éducatives non spécialistes des techniques psychomé-

triques ; les problèmes méthodologiques qui subsistent fragilisent (invalident ?) l'ensemble de

l'instrument en dépit – ou à cause – de sa sophistication. D'autre part, la recherche et la réduc-

tion systématique des biais conduisent à gommer des informations potentiellement

intéressantes dans une approche qui serait plus axée sur l'analyse interprétative de la diversité.

115 MURAT Fabrice, « L’évaluation des compétences des adultes : des méthodes en plein développement », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 85-96.

65/191


Enfin, à la frontière entre dimensions épistémologiques et politiques se trouve un autre effet

pervers des évaluations, surtout lorsque celles-ci sont mal utilisées par le politique ou mal

comprises par les acteurs du système éducatif. Ce que Demeuse appelle l'effet de reflux : le

contenu du test finit par déterminer ce qui est enseigné et non plus l'inverse. Cette inversion

des rôles se produit lorsque, se sentant déconsidérés ou menacés par des résultats jugés

médiocres comparativement à ceux des autres, tout ou partie du système adapte l'enseigne-

ment à la forme et au contenu des évaluations. Dans le cas des comparaisons internationales,

le caractère collectif des résultats et l'échantillonnage partiellement aléatoire des élèves

limitent les risques de déviance individuelle dans ce sens de la part des enseignants, mais la

tentation pour certains responsables politiques « d'adapter » leur système aux évaluations pour

en améliorer le classement ne peut être écartée. De fait, la diffusion des items de PISA hors du

cadre des enquêtes est très contrôlée et restreinte à quelques exemples. Ce teaching-to-test a

au moins deux conséquences : d'une part il biaise le résultat du groupe concerné car le score

obtenu est imputable non à une bonne maîtrise des compétences testées mais à une prépara-

tion efficace aux évaluations ; d'autre part il modifie le curriculum réel – et parfois formel –

du système concerné dans les domaines testés, hors de toute réflexion de fond sur les contenus

d'enseignement.

Ce bref aperçu des aspects conceptuels et techniques des évaluations comparatives internatio-

nales sur les acquis des élèves met en lumière l'importance des choix effectués à chaque étape

de leur élaboration et de leur mise en œuvre. L'investissement humain, institutionnel et finan-

cier des pays participants à chacune de ces étapes en détermine le rôle et la position : acteur

du processus décisionnel ou « client » passif d'un produit fini. Ces choix, apparemment pure-

ment techniques, peuvent être lourds de conséquences quant aux résultats obtenus, à leurs

validité, à leur intérêt et à leur portée. D'autant que, comme nous allons le voir, les enjeux

politiques – visibles ou sous-jacents – sont loin d'être anodins.

2.4 Enjeux politiques et analyse critique des comparaisons internationales« À l'évidence, les études comparatives internationales sont soumises à des contraintes politiques »116.

116 GOLDSTEIN Harvey, « Interprétation des comparaisons internationales des résultats scolaires », dans Etudes et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 11.

66/191

MARDIF Enjeux politiques et analyse critique des comparaisons internationales

Si la littérature détaillée émanant de chercheurs français sur les aspects techniques et métho-

dologiques des comparaisons internationales en éducation est relativement peu abondante,

celle qui traite des enjeux socio-politiques ou éducatifs de ces enquêtes s'avère plus riche.

Après avoir établi la présence formelle de ces évaluations comparatives dans la gestion des

politiques éducatives en France, nous tenterons d'en exposer brièvement l'essentiel des tenants

et aboutissants.

2.4.1 Comparaisons internationales et politiques éducatives en France

Les comparaisons internationales sont entrées dans l'arsenal juridique français comme outil de

pilotage des politiques éducatives en 2006, par un décret117 d'application de la loi du 23 avril

2005 d'orientation et de programme pour l'avenir de l'école. Ces textes ont depuis été codifiés.

Ainsi, dans son Chapitre II consacré aux objectifs et missions de l'enseignement scolaire,

après avoir constaté que « l'établissement d'un socle commun des savoirs indispensables

répond à une nécessité ressentie depuis plusieurs décennies en raison de la diversification des

connaissances » et que « la scolarité obligatoire doit au moins garantir à chaque élève les

moyens nécessaires à l'acquisition d'un socle commun constitué d'un ensemble de connais-

sances et de compétences qu'il est indispensable de maîtriser pour accomplir avec succès sa

scolarité, poursuivre sa formation, construire son avenir personnel et professionnel et réussir

sa vie en société », le Code de l'éducation stipule que « la définition du socle commun prend

également appui sur la proposition de recommandation du Parlement européen et du Conseil

de l'Union européenne en matière de " compétences clés pour l'éducation et l'apprentissage

tout au long de la vie" » et que cette définition se réfère « aux évaluations internationales,

notamment au Programme international pour le suivi des acquis des élèves (PISA) »118.

En juillet 2007, la lettre de mission de Nicolas Sarkozy, Président de la République, à son

nouveau ministre de l'Éducation nationale, Xavier Darcos, mentionne les classements aux

évaluations internationales à la fois comme indicateur de diagnostic du système scolaire fran-

çais et comme objectif à atteindre :

117 Décret n°2006-830 du 11 juillet 2006 relatif au socle commun de connaissances et de compétences.118 Code de l'éducation, partie réglementaire, article « Annexe ». Consultable en version consolidée sur le site

Legifrance.

67/191

MARDIF Comparaisons internationales et politiques éducatives en France

« Les classements internationaux des différents systèmes éducatifs montrent pour leur part que notre école ne tire pas assez vite les conséquences de la bataille mondiale de l'intelligence sur le niveau de formation requis des élèves et les qualités intellectuelles qu'il convient de développer chez eux pour répondre aux attentes du monde professionnel. […] Sur l'ensemble des points de cette lettre de mission, vous nous proposerez des indicateurs de résultat dont le suivi sera conjoint. Nous souhaitons que figurent notamment, parmi ceux-ci […] l'amélioration de notre classement dans l'évaluation internationale des systèmes éducatifs... »119 (Nous soulignons.)

Par ailleurs, le projet annuel de performance de la mission interministérielle « Enseignement

scolaire » annexée au projet de loi de finances (PLF) 2010 prévoit deux indicateurs de perfor-

mances qui font explicitement référence à PISA (cf. tableau ci-dessous).

Tableau 6 : Extrait du projet annuel de performance de la mission interministérielle « Enseignement scolaire » (PLF 2010)

Programme 141, « Enseignement scolaire public du second degré »

Objectif n° 1 :Conduire le maximum d’élèves aux niveaux de compétences attendues en fin de scolarité et à l’obtention des diplômes correspondants

Indicateur 1.7 :Proportion des jeunes de 15 ans "ayant d’importantes difficultés de lecture" (dont le niveau 1 de lecture est inférieur ou égal à 1 aux tests de PISA)

Programme 139, « Enseignement privé du premier et du second degrés »

Objectif n° 2 :Conduire le maximum d’élèves aux niveaux de compétences attendues en fin de scolarité et à l’obtention des diplômes correspondants

Indicateur 2.3 :Proportion des jeunes de 15 ans "ayant d’importantes difficultés de lecture" (dont le niveau 1 de lecture est inférieur ou égal à 1 aux tests de PISA)

Source : http://www.performance-publique.gouv.fr/farandole/2010/pap/pdf/PAP2010_BG_Enseignement_scolaire.pdf

Ainsi, les comparaisons internationales, et plus particulièrement le programme PISA de

l'OCDE apparaissent explicitement dans les orientations politiques, dans les lois de finances

et dans le droit français.

2.4.2 Enjeux politiques

En matière de gestion publique, la notion même de résultat ne va pas de soi ; elle ne peut être

dissociée des missions du service publique et, en définitive, des objectifs politiques sous-ja-

cents. Comme a pu le dire Nathalie Mons120, l'évaluation est un acte politique et non

technique. Il importe donc d'en définir clairement les enjeux politiques, ce qui, nous le

verrons, n'est pas toujours le cas sur la scène politico-médiatique.

119 Cité dans : MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009, p. 59.

120 MONS Nathalie, « La gouvernance des établissements et leurs performances dans les pays de l'UE », conférence du 15 octobre 2009, La Sorbonne, Paris .

68/191

http://www.performance-publique.gouv.fr/farandole/2010/pap/pdf/PAP2010_BG_Enseignement_scolaire.pdf

MARDIF Enjeux politiques

En préambule, il convient de souligner à quel point la réalisation d'évaluations comparatives

internationales à grande échelle sur les acquis des élèves est une opération complexe à mettre

en œuvre, notamment du fait de l'articulation des niveaux international, national et local.

Bottani et Vrignaud121 en proposent la synthèse suivante :

Tableau 7 : Composantes de mise en œuvre d'un projet d'évaluations comparatives internationales sur les acquis des élèves

OrganisationPilotageGestion

Financementet

comptabilité

Opérationnalisation : construction des

instruments

Centre de calculs

Niveau international

Coordination internationale

Gestion du financement de la partie internationale (ticket d’entrée par pays/système d’enseignement ; répartition des frais, etc.)

Construction des instruments :- cadre théorique- typologie des problèmes- recueil d’items- sélection des itemsValidation des instrumentsTraductionÉchantillonnage

Traitement des données et production des résultats

Niveau national

Coordination nationale

Financement des frais nationaux

Proposition d’itemsModules nationauxAdministration des testsApprofondissements analytiques

Vérification, nettoyage, extraction des données

Source : Bottani, Vrignaud, 2005

Comme nous l'avons vu, et comme le soulignent ces deux auteurs, les pays qui ne disposent

pas de l'expertise et des moyens nécessaires pour participer activement aux différentes

composantes de projets d'une telle complexité sont condamnés à mettre à exécution, voire

subir, les décisions prises par d'autres en fonction de leurs objectifs et de leurs intérêts

propres. Or peu de pays disposent des ressources internes, notamment en matière d'expertise

et d'infrastructures, leur permettant de jouer un rôle actif en matière d'évaluation en éducation

et de psychométrie comparée. En l'espèce, nous ne pouvons non plus faire abstraction de la

dimension géopolitique de ces projets, qui se trouvent inévitablement soumis aux rapports de

forces et tensions spécifiques aux relations internationales. Pour ces raisons, il est bien évident

que la conception et la mise en œuvre des évaluations internationales sur les acquis des élèves

ne peuvent être vues comme un simple champ de recherche scientifique autonome. Bien au

contraire, ces évaluations, tant par leur objet que par leurs conditions de réalisation recèlent

des enjeux éminemment politiques qui ne peuvent être ignorés pour en faire bon usage.

121 BOTTANI Norberto, VRIGNAUD Pierre, op. cit., p. 47

69/191


Au delà des problèmes spécifiques de biais évoqués par ailleurs, les évaluations comparatives

internationales font l'impasse sur de nombreuses compétences/connaissances transmises dans

les établissements scolaires mais jugées secondaires, ou moins essentielles, par les concep-

teurs de ces études ou, plus précisément, par leurs donneurs d'ordre et financeurs, à savoir les

responsables politiques des pays participants. Résultat d'un compromis entre nations, les

compétences testées dans PISA se concentrent autour d'un socle jugé indispensable pour vivre

et travailler dans le monde actuel. Mais à l'aune de quelles valeurs, de quelles finalités éduca-

tives, ces compétences ont-elles été choisies ? En vertu de quelle logique d'autres

compétences, telles que l'intelligence relationnelle ou le raisonnement philosophique, ne sont-

elles pas mesurées/valorisées ? Évoquées avec les aspects techniques de l'élaboration des

enquêtes, ces questions ont également – et avant tout – une portée politique. La relativité d'un

construit aussi consubstantiel aux fondements éducatifs et philosophiques de nos sociétés

confère à ces comparaisons un caractère éminemment politique dont il importe d'examiner les

conséquences, notamment pour ce qui concerne la France.

2.4.2.1 Conséquences (implicites) des comparaisons internationales

Les comparaisons internationales induisent un changement de perspective quant aux finalités de certains systèmes éducatifs.

L'impact des comparaisons internationales ne peut être considéré isolément et doit être replacé

dans un contexte éducatif plus large. En effet, les politiques éducatives s'inscrivent dans le

cadre plus général des orientations politiques qui prévalent à chaque période. Elles ne sont pas

définies par le pouvoir en place selon une logique rationnelle autonome mais dépendent des

multiples facteurs qui déterminent les décisions politiques : contexte économique, social,

démographique, etc. ; situation et calendrier politiques (forces politiques en présence, réparti-

tion des pouvoirs, échéances électorales...) ; stratégies individuelles et collectives de conquête

ou de conservation du pouvoir ; état des connaissances scientifiques, controverses « idéolo-

giques » et phénomènes de mode en matière d'idées éducatives et dans les sciences de

l'éducation ; etc.

Depuis une trentaine d'années et la fin des Trente Glorieuses, les enjeux économiques ont,

avec la montée du chômage dans les pays occidentaux et le développement des moyens de

70/191


transport et de communication, progressivement envahi la sphère politique. Ce mouvement

s'est accéléré avec la chute du bloc soviétique au début des années quatre-vingt-dix, qui a

rendu possible la globalisation à l'échelle planétaire du libre échange des biens et services,

accompagnée de la diffusion d'un modèle de pensée dit « néolibéral », phénomène aujourd'hui

appelé mondialisation.

Dans ce contexte, les États, plus particulièrement ceux des pays les plus riches, se trouvent

confrontés à une concurrence internationale qui les amène à revoir leurs politiques afin de

permettre au secteur marchand de leurs économies de renforcer sa compétitivité, particulière-

ment face à la concurrence étrangère. Dans cette optique, l'éducation tend à perdre sa valeur

normative (disparition de la dimension axiologique) et à abandonner les projets humaniste –

issu des Lumières – et républicain qu'elle poursuivait dans certains pays dont la France, au

profit d'une visée instrumentale. Ainsi, un certain nombre de pays dont les politiques

publiques étaient assises sur le concept d'État-providence, ou du moins sur un État interven-

tionniste et régulateur, ont progressivement engagé des réformes visant à réduire les dépenses

publiques afin de diminuer le poids de la fiscalité qui pèse sur les charges des entreprises.

Cette rationalité instrumentale fondée sur la théorie du capital humain développée par Gary

Becker dans les années soixante est d'ailleurs explicitement assumée, encouragée, voire

promue par l'Union européenne et l'OCDE. En effet, sur son site internet, après avoir défini le

capital humain comme « l'ensemble des capacités, connaissances et compétences que les

personnes acquièrent par l'éducation, la formation et l'expérience », la Commission euro-

péenne rappelle que « en assignant à l'UE l'objectif global de devenir l'économie de la

connaissance la plus compétitive et la plus dynamique au monde, le Conseil européen de

Lisbonne a placé le capital humain au cœur de sa stratégie de développement »122. Par

ailleurs, le site internet de l'OCDE explicite clairement les conceptions éducatives de cette

organisation intergouvernementale : « Le capital humain joue un rôle important dans la crois-

sance économique et les résultats des individus sur le marché du travail sont liés à leur

niveau d'instruction. L'OCDE examine les mesures qui influent sur les incitations à investir

122 Site de la Commission européenne, rubrique « Emploi, affaires sociales et égalité des chances / Capital humain » : http://ec.europa.eu/social/main.jsp?catId=643&langId=fr

71/191

http://ec.europa.eu/social/main.jsp?catId=643&langId=fr


en capital humain et sur l'efficience des services d'éducation »123. On notera que le terme d'ef-

ficience utilisé ici n'est évidement pas neutre.

S'inscrivant dans cette dynamique générale, l'État français s'est lancé depuis une dizaine d'an-

nées dans un vaste mouvement de réformes visant à dynamiser son économie et à renforcer sa

position sur les marchés mondiaux. Ce mouvement a été marqué par deux grands chantiers.

En premier lieu, la Loi organique relative aux lois de finances (LOLF) d'août 2001124, qui

modifie l'architecture du budget de l’État dans le but d'accroitre la lisibilité de l'action

publique et l'efficacité de la dépense publique. A propos de la LOLF, le site internet du minis-

tère de l'Éducation nationale indique explicitement qu'elle vise « à réformer en profondeur la

gestion publique en instaurant une culture de la performance et du résultat »125. Plus récem-

ment, en juillet 2007, le gouvernement français a lancé un grand chantier de modernisation de

l'action publique baptisée « Révision générale des politiques publiques » (RGPP), qui a pour

objectif de « réduire les dépenses de l’État, tout en en améliorant l’efficacité des politiques

publiques »126. Cette initiative conçue comme un coup d’accélérateur à la réforme de l'État est

justifiée selon ses promoteurs par le fait que « les citoyens sont en droit d’attendre des

services publics efficaces au moindre coût »127.

Intuitivement, nous sentons bien que ces évènements ont une incidence sur les politiques

éducatives des pays concernés. Comme l'écrit Derouet, « l'enjeu principal [des politiques

d'éducation] n'est plus l'égalité ou la cohésion à l'intérieur d'une société nationale mais le

maintien des performances du pays dans la compétition internationale »128. Ainsi, l'école

semble de plus en plus soumise à des tensions nées des forces contradictoires qu'elle subit :

être un lieu d'éducation protégé des influences extérieures et apporter une réponse immédiate

et concrète aux besoins d'un marché de plus en plus concurrentiel.

123 Site de l'OCDE, rubrique « Département des Affaires économiques / Capital humain » : http://www.oecd.org/department/0,3355,fr_2649_34605_1_1_1_1_1,00.html

124 Loi organique n°2001-692 du 1er août 2001 relative aux lois de finances. Version consolidée au 13/07/2005. 125 Site du MEN, page consacrée à l'évaluation globale du système éducatif :

http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html126 La révision générale des politiques publiques, dossier du 10 juillet relatif au lancement de la RGPP, en

ligne : http://www.rgpp.modernisation.gouv.fr/uploads/media/dossier_RGPP_10_juillet_2007.pdf 127 Ibid.128 DEROUET Jean-Louis, NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et

politique, Lyon, INRP, 2007, p. 144.

72/191

http://www.rgpp.modernisation.gouv.fr/uploads/media/dossier_RGPP_10_juillet_2007.pdf


http://www.oecd.org/department/0,3355,fr_2649_34605_1_1_1_1_1,00.html


Parallèlement, la fin des « grands récits » positivistes qui caractérise notre société postmoderne

marque un glissement du collectif vers l'individuel qui accompagne, facilite et légitime l'avène-

ment de la gestion par projet (projet pédagogique, projet d'orientation, projet professionnel...), la

contractualisation (contrats d'objectifs...) et la responsabilisation individuelle. Les parcours de

réussite et les programmes personnalisés de réussite éducative (PPRE), pour ne citer que deux

dispositifs en vigueur, s'inscrivent dans cette logique. Nous assistons véritablement à un change-

ment de paradigme. Agnès Van Zanten relève d'ailleurs qu'« il existe aujourd'hui un discours

global sur l'éducation composé d'un certain nombre de concepts comme la décentralisation,

l'évaluation, la professionnalisation, le management ou le marché »129.

Comme nous l'avons évoqué, les comparaisons internationales sont entrées dans le droit fran-

çais comme outil de pilotage des politiques éducatives par un décret du 11 juillet 2006 relatif au

socle commun de connaissances et de compétences qui fait explicitement référence à l'enquête

PISA. De plus, certains indicateurs de performances des documents budgétaires annexés aux

projets de lois de finances pour la mission « Enseignement scolaire » mentionnent également le

programme de l'OCDE . Cette situation est d'ailleurs illustrée par les propos de Cytermann,

inspecteur général de l’administration de l’Éducation nationale et de la recherche et professeur

associé à l'EHESS, lors d'un séminaire organisé dans cette école en novembre 2005130, consta-

tant que l’interprétation des indicateurs internationaux est « au cœur de la réforme de la

procédure budgétaire axée sur la notion de performance et d’ indicateurs de résultats ».

De toute évidence, l'utilisation des comparaisons internationales pour le pilotage des poli-

tiques publiques n'est pas une spécificité du domaine éducatif. Elle découle plus largement

des nouveaux modes de pilotage par les résultats prenant appui sur les méthodes et concepts

anglo-saxons de benchmarking131, evidence-based policy132 et accountability133, dont la formu-

129 VAN ZANTEN Agnès, « Régulation des systèmes éducatifs - entre globalisation et localisation », dans DEROUET Jean-Louis, NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et politique, Lyon, INRP, 2007, p. 135.

130 CYTERMANN Jean-Richard., « La lecture et l’interprétation des indicateurs internationaux », intervention dans le cadre d'un séminaire à l'École des Hautes Études en Sciences Sociales (EHESS) le 27/11/2005.

131 Le terme anglais benchmarking, qui désigne la mise en œuvre d'un processus de comparaison des performances et de diffusion des meilleures pratiques, peut être traduit ici par analyse comparative, un benchmark étant un indicateur chiffré de performances (repère de référence).

132 Evidence-based policy : politique fondée sur des preuves, des choix éprouvés empiriquement.133 Accountability : obligation faite aux services publics de rendre des comptes sur leur gestion, leur efficacité et

leur efficience. Ce terme peut être traduit par redevabilité (Mons).

73/191


lation synthétique, et parfois incantatoire, peut se résumer par l'expression nouvelle gouvernance.

Ainsi peut-on lire sur le site du ministère français du Budget, des comptes publics, de la fonc-

tion publique et de la réforme de l'État :

« L'étude des modèles étrangers et de leurs expériences innovantes de réforme est riche en enseignements, dans les domaines les plus divers. C'est pourquoi le ministère de l'économie, des finances et de l'industrie s'est doté de plusieurs dispositifs d'études, de veille et de comparaisons internationales. Le but de cette démarche est simple : identifier les bonnes pratiques et, quand elles sont transposables, s'en inspirer dans la démarche de performance et de modernisation de la gestion publique que la France a engagée. »134

Ainsi, comme l'écrit Hélène Buisson-Fenet, « la définition de " bonnes pratiques" devient

centrale dans le développement de politiques éducatives supranationales »135, et la diffusion

de ces « bonnes pratiques » participe d'un mouvement d'uniformisation des systèmes éduca-

tifs, corollaire de la mondialisation, qui néglige les dimensions socio-historique et politique de

la construction de ces systèmes. Or il faut rappeler qu'en France, l'éducation a été un instru-

ment d'unification nationale. Aujourd'hui encore, l'État-éducateur des lois de Jules Ferry

habite l'imaginaire collectif français.

En s'affranchissant des programmes scolaires, en se fixant pour objectif d'évaluer l'acquisition

de savoirs et savoir-faire « universels » définis en référence à la vie quotidienne – ou réelle –

et en focalisant le débat sur les résultats, l'évaluation PISA opère donc un changement, impli-

cite mais fondamental, de perspective quant aux finalités de certains systèmes éducatifs

nationaux. Cette approche très opératoire des contenus d'enseignement sous-tend une concep-

tion instrumentale de l'éducation en décalage avec la vision humaniste officiellement en

vigueur dans certains pays, dont la France. Le caractère implicite de ce changement de para-

digme nous semble poser problème.

134 Site du ministère du budget, des comptes publics, de la fonction publique et de la réforme de l'État, rubrique « Les ressources documentaires », http://www.performance-publique.gouv.fr/les-ressources-documentaires/les-enjeux-des-finances-publiques/la-veille-internationale.html (consultée le 20/12/09).

135 BUISSON-FENET Hélène, « L’éducation scolaire au prisme de la science politique : vers une sociologie politique comparée de l’action publique éducative ? », dans Revue internationale de politique comparée 2007/3, Volume 14, p. 386.

74/191

http://www.performance-publique.gouv.fr/les-ressources-documentaires/les-enjeux-des-finances-publiques/la-veille-internationale.html

http://www.performance-publique.gouv.fr/les-ressources-documentaires/les-enjeux-des-finances-publiques/la-veille-internationale.html


L'approche techniciste des comparaisons internationales déplace les centres de décision hors de tout débat démocratique.

Certains auteurs considèrent que le discours technicien tend à se substituer au discours poli-

tique. Ils dénoncent le fait que l'approche techniciste des organisations internationales déplace

les centres de décision, confisquant le pouvoir aux représentations nationales hors de tout

débat démocratique et instituant une forme de gouvernement par les normes. Ainsi, pour

Normand136, les organisations internationales édictent des normes, standards, etc., internatio-

naux, sans processus de contrôle (donc sans légitimité) démocratique qui, même si elles n'ont

pas de caractère réglementaire, s'imposent aux États du fait de l'importance médiatique des

résultats et classements des pays dans les comparaisons internationales. Ce qui, selon Jean-É-

mile Charlier137, pose la question de la place du débat politique et démocratique dans le choix

des orientations des systèmes éducatifs nationaux. Pourtant, ces règles supranationales ne sont

pas imposées de manière autoritaire, comme le montre Charlier138 dans une analyse très éclai-

rante des conséquences du processus Bologne sur les politiques éducatives des pays

européens. Le fait que les décideurs et experts de différents pays finissent par adopter les

mêmes référentiels peut s'expliquer par les nécessités du dialogue sur un sujet aussi multidi-

mensionnel et protéiforme que l'éducation. En effet, les experts, par leurs compétences et leur

autorité institutionnelle, finissent par « imposer » de facto, non par volonté hégémonique mais

parce que les circonstances et la complexité du sujet les y amènent, les termes dans lesquels le

débat collectif doit être conduit. Ainsi, exposés aux mêmes informations, soumis aux mêmes

sollicitations, dans un environnement de travail mondialisé de plus en plus décloisonné, ils en

viennent à élaborer spontanément des solutions communes à des problèmes posés dans des

termes identiques en dépit de conditions socio-historiques, culturelles, géographiques, etc. très

différentes. Et, « pour que la mesure des performances des systèmes éducatifs et des établis-

sements soit possible, il est indispensable de leur imposer des règles homogènes de

fonctionnement permettant des comparaisons internes et externes »139.

Finalement, comme le souligne Charlier, « les influences internationales ne prennent pas la

forme de prescriptions impératives. Celles-ci cessent d'être nécessaires quand un savoir

136 DEROUET Jean-Louis , NORMAND Romuald, (s. d.), , op. cit., p. 201.137 CHARLIER Jean-Émile, « Les citoyens et les politiques éducatives européennes », dans DEROUET Jean-

Louis , NORMAND Romuald, (s. d.), op. cit., p. 181-197.138 Ibid.139 Ibid., p. 184.

75/191


commun s'élabore spontanément parmi les groupes d’experts nationaux et internationaux,

parce qu'ils sont amenés à nourrir leur réflexion aux mêmes sources »140. Ce processus trouve

sa traduction institutionnalisée dans la méthode ouverte de coordination, notamment mise en

œuvre au sein des institutions européennes, qui permet aux organisations internationales qui y

recourent « d'orienter sans jamais imposer explicitement »141 et d'intervenir dans des

domaines qui relèvent de la souveraineté nationale, sous couvert d'accompagnement tech-

nique, d'instruments communs et d'indicateurs réputés incontestables, à partir d'un diagnostic

partagé établi en fonction d'objectifs définis collectivement, dont la formulation imprécise et

générale (en substance, améliorer le niveau d'éducation...) ne peut que faire l'unanimité. La

pression des pairs (peer pressure) s'avère ici redoutablement efficace pour contraindre sans

obliger. Plus généralement, ce processus participe du glissement observé par Rochex142 ou

Mahieu et Moens143 de la politique vers le management, à l'œuvre en Europe depuis la fin de

la croyance en l'État-providence.

Charlier poursuit son analyse en observant que l'approche techniciste vide l'école de tout

projet politique. Elle n'est alors plus guidée que par l'obligation qui lui est faite de se

comparer à ses concurrentes et se voit contrainte de s'aligner sur les pratiques et les références

les plus communément admises. Les effets de cette situation sont d'autant plus pervers que le

pilotage par les résultats et son corollaire la contractualisation, qui, nous l'avons évoqué,

constitue un autre versant des nouveaux modes de gouvernance, obligent les acteurs du

système à établir eux-mêmes les règles auxquelles ils devront se soumettre pour atteindre des

objectifs dont les modalités leur échappent. Ce processus est facilité par le fait que les déci-

sions techniques sont segmentées, chaque intervenant ne prenant qu'une responsabilité limitée

sur des éléments qui, envisagés isolément, ne paraissent pas entrainer des changements

majeurs pour l'ensemble du système. Ce dernier est ainsi amené à changer de nature et de

finalités sans avoir fait l'objet d'une réforme contrôlée démocratiquement.

140 Ibid., p. 187.141 CHARLIER Jean-Émile, « La douce violence de la “Méthode ouverte de coordination” et de ses

équivalents », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 9.142 ROCHEX Jean-Yves, « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques », dans

Revue française de pédagogie, n° 164, INRP, 2008, p. 81.143 MAHIEU Céline, MOENS Frédéric, « De la libération de l’homme à la libéralisation de l’éducation.

L’éducation et la formation tout au long de la vie dans le discours et les pratiques européennes », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 35-55.

76/191


Outil de management par les résultats, les comparaisons internationales contribuent à modifier les rapports entre acteurs du système éducatif.

Nos sociétés postmodernes en crise (crise de la culture, de l'éducation, des savoirs, etc.) sont

traversées par des évolutions qui touchent également les systèmes éducatifs : dévalorisation

voire décrédibilisation des savoirs scientifiques, perte des repères axiologiques traditionnels

notamment ceux fondant le respect de l'autorité, « lente désacralisation de l'école » (Prairat),

etc. Dans ce contexte, le management par les résultats peut être vu comme une tentative de

réponse permettant à des responsables politiques, au mieux désarmés, au pire indifférents face

aux enjeux, de masquer leur impuissance en déplaçant le problème sur le terrain actionnel,

leur évitant ainsi de s'engager sur la voie difficile de la réflexion collective. Mais ce faisant,

ils rejettent la responsabilité d'insuffisances éventuelles présentées comme une réalité objec-

tive sur les différents acteurs du système, notamment l'école inefficace. C'est en tout cas le

constat effectué par House, pour qui en période de crise économique les évaluations peuvent

être utilisées par les responsables politiques pour « faire peser le poids de l’échec sur [les

derniers maillons] du système éducatif et les en rendre responsables »144.

Pour accompagner le glissement d'une gestion de moyens vers une obligation de résultats

imposés aux professionnels de l'éducation, le politique s'appuie sur la multiplication des

évaluations externes (nationales et internationales) qui, associées à la place grandissante

accordée aux parents d'élèves dans les processus décisionnels et la vie des établissements

scolaires, tendent à modifier les rapports du couple parents-élèves avec les enseignants, dont

l'autonomie, l'autorité voire la compétence sont parfois contestées. Délégitimés par le poli-

tique et les marchés, ces derniers ne peuvent alors qu'assister impuissants à « la

transformation de citoyens assujettis en clients »145.

Nous l'avons évoqué, ces changements se traduisent par une contractualisation des relations

école/famille et, plus largement, école/société civile. Associée à ce phénomène, la place grandis-

sante des évaluations externes, notamment des comparaisons internationales, pose un problème

de légitimation de l'action des professionnels de l'éducation dont le rapport à la société civile se

144 HOUSE Ernest, « Aspects politiques des évaluations à grande échelle aux États-Unis », dans Politiques d’éducation et de formation, Analyses et comparaisons internationales, n°11, 2004/2, pp. 94-101. Cité dans : BOTTANI N., VRIGNAUD P., op. cit. p. 32.

145 DEMAILLY Lise, de LA BROISE Patrice, « Les enjeux de la déprofessionnalisation », dans Socio-logos, avril 2009. En ligne : http://sociologos.revues.org/2305

77/191

http://sociologos.revues.org/2305


trouve modifié. D'agents au service de l'État éducateur ceux-ci deviennent responsables des

résultats d'un système dont ils ne maîtrisent pourtant pas les entrants (inputs).

Pour finir, il nous semble nécessaire de mentionner succinctement deux autres conséquences

probables des comparaisons internationales. D'une part, comme le souligne Jürgen Schriewer,

les comparaisons d'indicateurs de performances et le benchmarking international entrepris

dans une perspective politique produisent « non pas une contextualisation, mais une décontex-

tualisation ; ils ne génèrent pas la complexité mais l’abstraction de modèles ; et ce faisant, ils

semblent promouvoir des vagues de standardisation et d’alignement toujours renouvelées »146.

D'autre part, la diffusion simpliste d'évaluations, généralement réduites au classement des

pays, à un large public non outillé pour en interpréter les résultats et en percevoir les limites,

ne peut que favoriser le développement d'une attitude consumériste des élèves et des parents

vis-à-vis d'une école dont les dimensions normative et sociale sont ignorées par ces enquêtes.

Elle ouvre ainsi la porte à toutes formes d'instrumentalisation.

2.4.2.2 La question de l'instrumentalisation des comparaisons internationales

Les comparaisons internationales sont-elles utilisées par les responsables politiques comme

instrument de pilotage éclairé ou font-elles l'objet d'une instrumentalisation à des fins idéolo-

giques ? Officiellement, nous l'avons vu, elles ont pour objet d'apporter des éléments de

connaissance et de compréhension des systèmes éducatifs aux chercheurs (but scientifique) et,

surtout, d'aide à la décision aux gouvernements (but politique). Cette dualité est d'ailleurs

soulignée par Bottani et Vrignaud, qui laissent entrevoir le rôle ambivalent de la comparaison

comme instrument de réforme :

« La comparaison est à la fois un instrument de connaissance et un levier du changement, car elle sert pour légitimer des réformes de l’enseignement, en apportant par exemple des preuves validées scientifiquement de l’utilité d’une démarche ou de la nécessité d’une réforme, contrecarrant les résistances d’ordre idéologiques. »147

Certains auteurs vont plus loin, estimant que les comparaisons internationales, et tout particu-

lièrement l'enquête PISA, pourraient servir en réalité à justifier des réformes à caractère

146 SCHRIEWER Jürgen, « L’internationalisation des discours sur l’éducation : adoption d’une " idéologie mondiale " ou persistance du style de " réflexion systémique " spécifiquement nationale ? », dans Revue française de pédagogie, n° 146, INRP, 2004, p. 22.

147 BOTTANI Noberto, VRIGNAUD Pierre, op. cit., p. 32.

78/191


idéologique par un habillage scientifique. La question est clairement posée par Mons : « Est-

ce PISA qui induit vraiment les réformes, ou ces projets préexistaient-ils et ont été a posteriori

légitimés pas l'étude ? »148 . Normand répond à cette question sans ambiguïté : « De fait, les

comparaisons internationales de résultats sont utilisées dans de nombreux pays pour criti-

quer l’enseignement national et faire adopter des réformes jugées indispensables »149. Dans

un article du Monde daté du 05/12/2007, Catherine Rollot et Marie De Vergès rapportent les

propos tenu le 23 décembre 2007, sur France-Culture, par Xavier Darcos, alors ministre de

l'Éducation nationale, qui « évoquait ainsi les mauvais résultats en mathématiques des élèves

français [à PISA 2006] pour justifier de "remettre de l'école dans l'école " et plaider en

faveur d'un recentrage du primaire sur l'acquisition des savoirs fondamentaux, l'un des axes

de sa future réforme ».

Pour ce qui concerne la France, Nathalie Mons et Xavier Pons dressent un constat nuancé de

la situation. Pour ces deux chercheurs, après la sortie des résultats de PISA 2000, la théma-

tique de l'instrumentalisation a été particulièrement portée par deux ouvrages qui ont eu une

forte audience auprès du public syndiqué : « Le nouvel ordre éducatif mondial » (Laval,

Weber, 2002) et « L'école n’est pas une entreprise » (Laval, 2003) »150. Dans les faits, l'instru-

mentalisation de PISA semble avoir été faible et ponctuelle lors des deux premières

occurrences de l'enquête (2000, 2003), qui reste globalement une affaire d'initié jusqu'en

2004. Par la suite, la situation est totalement différente :

« Outil désormais largement apprivoisé par le politique, PISA 2006, est l’occasion d’une forte instrumentalisation lors de la publication des résultats de l’enquête en décembre 2007. Elle passe principalement par la mobilisation des médias (voir la section suivante). Ce qui peut de l’extérieur ressembler à un plan organisé commence tout d’abord par une communication du Ministère amorcée bien en amont de la sortie officielle des deux enquêtes PISA et PIRLS sur les acquis des élèves au primaire. Ces "fuites" qui mettent en avant des mauvaises performances françaises sont savamment orchestrées en parallèle de l’organisation d’un voyage d’études réunissant certains membres du ministère et des journalistes pour un tour européen de certains systèmes éducatifs érigés en modèle.

148 ROLLOT Catherine, DE VERGES Marie, « La France paralysée devant ses mauvais résultats scolaires », Le Monde, 05/12/07. Article reproduit sous le titre « Les performances scolaires de la France selon l'enquête PISA 2006 » dans : Cahier français. Le système éducatif et ses enjeux, n° 344, mai-juin 2008, Paris, La documentation française, 2008, p. 18.

149 NORMAND Romuald, « Les comparaisons internationales de résultats : problèmes épistémologiques et questions de justice », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 80.

150 MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009, p. 35.

79/191


Ainsi, dès la fin du mois d’octobre 2007, alors que les données des enquêtes internationales sont encore sous embargo jusqu’au début du mois de décembre, Xavier Darcos se répand sur un ton alarmiste dans les médias en développant le thème de la régression du niveau scolaire français, à propos des résultats en mathématiques de la France à PISA 2006 […]. Ce discours gouvernemental catastrophiste sera d’ailleurs rappelé par la presse lors de la publication des résultats de PIRLS et de PISA (voir plus loin).

Une fois la sonnette d’alarme tirée en amont et les pays qui peuvent servir de modèles visités, le cabinet du ministère ne commentera pas de façon officielle les résultats des deux enquêtes PIRLS et PISA lors de leurs publications début décembre. Dans la majorité des cas, ce silence entraîne peu de questionnements chez les journalistes, le Ministère ayant désamorcé le problème en communiquant en amont sous forme de fuites alors que les données étaient encore sous embargo. La communication est efficace puisque le ministère se présente comme fournisseur d’information et ne peut donc plus être accusé de « cacher » ou de sous-valoriser les données PISA et PIRLS. De responsable des résultats médiocres français, le ministère, en dénonçant lui-même les dysfonctionnements de l’école française, a réussi à se positionner en héraut réformateur du système.

A partir de la publication des résultats de PISA 2006, les statistiques internationales sont fortement sollicitées pour appuyer les thèses gouvernementales sur la réforme nécessaire de l’enseignement primaire et du lycée. […] Couplé aux autres indicateurs de l’OCDE, issus de Regards sur l’Education, PISA permet de développer une thèse simple : la France dépense beaucoup pour l’éducation – en particulier du fait du nombre important d’enseignants dans le secondaire supérieur – pour des performances scolaires à la fois médiocres et en régression.

La mobilisation de PISA résulte d’un ensemble de facteurs qui se conjuguent. Tout d’abord, l’enquête se présente comme un outil de diagnostic. Du fait des résultats français tout à fait moyens, elle permet de s’adapter sans difficulté majeure à la thèse du déclin éducatif. »151

Pour notre part, il nous semble trouver une illustration de l'instrumentalisation dont a pu faire

l'objet PISA dans la déclaration de Nicolas Sarkozy, alors ministre de l'intérieur et de l'aména-

gement du territoire et président de l'UMP, du 22 février 2006 :

« Ensuite, je voudrais que l'on tire les conséquences de ce que nous apprennent les enquêtes internationales, en particulier les enquêtes PISA. [...] Ce qui résulte de ces analyses, c'est que les facteurs clé de la réussite d'un système éducatif sont la qualité des enseignants, leur liberté pédagogique et l'autonomie des établissements. »152

151 MONS Nathalie, PONS Xavier, op. cit. p. 60-61.152 Déclaration de Nicolas Sarkozy, alors ministre de l'intérieur et de l'aménagement du territoire et président de

l'UMP, sur ses propositions de réforme du système éducatif, ZEP et carte scolaire, autonomie des établissements, rémunération des enseignants au mérite, enseignement privé et éducation sportive, Paris le 22 février 2006. Document consultable en ligne : http://discours.vie-publique.fr/notices/063000731.htm (consulté le 15/05/2010).

80/191

http://discours.vie-publique.fr/notices/063000731.htm


Les résultats de PISA sont ici invoqués pour avancer trois facteurs clés de la réussite d'un

système éducatif : la qualité des enseignants, leur liberté pédagogique et l'autonomie des

établissements. Concernant ce dernier point, si l'on s'en réfère à PISA, la relation entre le

degré d’autonomie des établissements et la performance des élèves est pour le moins ténue.

En effet, dans l'analyse des résultats de PISA 2003 proposée par l'OCDE, nous pouvons lire

que :

« La corrélation entre les différents aspects de l’autonomie des établissements et les résultats des élèves est souvent faible. […] les chiffres indiquent que la performance moyenne en mathématiques tend à être supérieure dans les pays où, aux dires des chefs d’établissement, les établissements jouissent d’une plus grande autonomie dans certains domaines. […] Comme dans les autres analyses de cette nature, ces corrélations ne peuvent être interprétées dans un sens causal, car de nombreux autres facteurs sont susceptibles d’entrer en ligne de compte. »153

Le constat de l'OCDE est donc largement nuancé, ce qui ne transparaît guère dans les propos

du futur président de la République. Les résultats de PISA 2006 seront à cet égard encore plus

réservés154.

« Il ressort de l’analyse après contrôle des facteurs démographiques et socioéconomiques que les indices d’autonomie dans le recrutement du personnel, dans les matières budgétaires et dans les contenus d’enseignement ne sont pas corrélés à la performance en sciences dans une mesure qui soit statistiquement significative. »155

L'analyse des résultats de PISA pourrait donc logiquement conduire, non à une autonomie

accrue des établissements, mais à un assouplissement des contenus et programmes, ce qui ne

semble pas avoir été à l'ordre du jour dans les réformes conduites depuis. Quant au fait que la

réussite d'un système éducatif dépende de la qualité des enseignants, il n'était peut-être pas

utile de dépenser des millions d'euros en évaluation comparée pour le savoir.

L'analyse de House mentionnée dans le chapitre précédent, estimant que les évaluations

peuvent être utilisées par les responsables politiques pour imputer l’échec du système éducatif

aux personnels, laisse entrevoir une autre forme d'instrumentalisation. Dans certains cas, les

évaluations peuvent probablement être utilisées au détriment des établissements ou des ensei-

153 OCDE, Apprendre aujourd’hui, réussir demain – Premiers résultats de PISA 2003, 2004, p. 250.154 Ces résultats ne sont pas encore connus au moment de la déclaration citée.155 OCDE, PISA 2006 : Les compétences en sciences, un atout pour réussir. Volume 1 – Analyse des résultats,

2007, p. 272.

81/191


gnants, pour imposer des réformes aux professionnels de l'éducation en affaiblissant leur posi-

tion dans l'opinion publique. Les réductions massives d'effectifs dans l'Éducation nationale en

France ces dernières années et le mode de conduite des réformes actuelles, notamment celle

relative au recrutement des enseignants (mastérisation), en sont peut-être une illustration.

2.4.3 Intérêt et limites des comparaisons internationales

Nonobstant les analyses précédentes, les comparaisons internationales ne semblent pas

dénuées de tout intérêt. À condition toutefois d'en connaître – et reconnaître – les limites.

Pour Rolf et Svein, « la grande qualité de ces études est d'être très bien documentées »156. Ces

auteurs observent d'ailleurs que peu de moyens sont investis dans l'exploitation des données

comparativement au coût important de leur collecte, et soulignent l'intérêt qu'il y aurait à

développer les analyses secondaires157 rendues possibles par l'abondance et la précision de la

documentation, que ce soit pour en approfondir les enseignements ou pour en étayer la

critique.

Mons estime que ces évaluations ont permis d'établir, grâce aux questionnaires contextuels

complétés par les élèves, les chefs d'établissement et parfois les enseignants, un état des lieux

extensif couvrant plusieurs dizaines de pays, sur les conditions d'apprentissage, les contenus

des programmes, le fonctionnement des établissements, etc. Elles offrent ainsi une vision

moins institutionnelle et plus réelle de l'école. Ces évaluations ont également permis d'établir

certaines corrélations qui peuvent intéresser les responsables des politiques éducatives : les

systèmes à filières ou le redoublement sont associés à des résultats médiocres, par exemple.

Toutefois, elles renseignent peu, voire pas du tout, sur les facteurs explicatifs d'ordre pédago-

gique ou didactique, que PISA tend même à occulter.

Comme nous l'avons vu, les comparaisons internationales comportent de forts enjeux poli-

tiques aux conséquences contradictoires. Pour Goldstein, « ces contraintes [politiques] sont

une source à la fois de force et de faiblesse »158 car si ces enjeux politiques en permettent le

156 ROLF V. Olsen, SVEIN Lie, op. cit., p. 17.157 Rolf et Svein reprennent à ce sujet la définition des analyses secondaires suggérée par Bryman : « L'analyse

secondaire est l'analyse des données par des chercheurs qui n'ont probablement pas participé au recueil de ces données et dont le but n'a très probablement pas été envisagé par les responsables de ce recueil. » (p. 16)

158 GOLDSTEIN Harvey, « Interprétation des comparaisons internationales des résultats scolaires », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 11.

82/191

MARDIF Intérêt et limites des comparaisons internationales

financement et la réalisation matérielle (autorisations d'accès aux établissements), dans le

même temps ils interfèrent dans les choix méthodologiques et la présentation des résultats.

Ces contraintes ne sont d'ailleurs pas spécifiques aux comparaisons éducatives. Comme le

rappellent Lima et Steffen à propos des comparaisons internationales en politiques publiques,

« la stratégie de recherche peut ainsi nous éloigner de la science pour nous rapprocher de

l’action. Les acteurs et l’action publique peuvent interférer sur les méthodes, lorsqu’ils

passent commande de comparaisons internationales »159.

Le problème se situe notamment lors de l'élaboration des réformes du système éducatif, la

tentation pouvant être grande de transposer les « bonnes pratiques » des pays bien classés vers

les pays moins performants. Mais ce type de raisonnement simpliste risque fort de ne pas

donner les résultats escomptés car, comme le note Cytermann à propos des politiques éduca-

tives des États européens, « même s’il est intéressant de connaître et d’analyser les politiques

des autres états [...] l’idée d’une diffusion et d’une reproduction des pratiques innovantes ou

des bonnes pratiques séparées de leur contexte est un leurre […] et l’ analyse comparative ne

peut être un instrument direct légitimant des réformes »160. Cytermann reprend d'ailleurs les

propos de Charlier et Moens, précisant que « même les partisans du benchmarking soulignent

les risques qu'il comporte de conduire à une imitation non critique de pratiques qui cessent

d’être efficaces quand elles sont extraites du milieu où elles sont apparues et se sont

épanouies ». Cet appel à la prudence interprétative est encore formulé conjointement par

Cytermann et Demeuse à propos des indicateurs publiés par l'OCDE ou Eurydice : « l’une des

limites des indicateurs tels qu’ils sont présentés tient à leur nature essentiellement descrip-

tive. Il est illusoire, la plupart du temps, de vouloir leur donner un caractère explicatif à

travers une relation causale »161. Pour Duru-Bellat, Mons et Suchaut, « il est en général

fragile de travailler à partir de corrélations rapprochant terme à terme telle performance et

telle caractéristique du système éducatif, alors que sont vraisemblablement à l'œuvre des

ensembles de traits constituant des cohérences sociétales spécifiques à chaque pays »162.

159 LIMA Léa, STEFFEN Monika, « Comparaisons internationales en politiques publiques : stratégies de recherche, méthodes et interprétation », dans Revue internationale de politique comparée, 2004/3, Vol. 11, p. 343.

160 CYTERMANN Jean-Richard, « La convergence des systèmes éducatifs européens », PRISME, janvier 2005. En ligne : http://www.prisme-asso.org/spip.php?article202

161 CYTERMANN Jean-Richard, DEMEUSE Marc, La lecture des indicateurs internationaux en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2005. p. 23.

162 DURU-BELLAT Marie, MONS Nathalie, SUCHAUT Bruno, op. cit., p. 5.

83/191

http://www.prisme-asso.org/spip.php?article202


Comme le soulignent Lima et Steffen, en matière de politiques publiques, « la complexité

[des comparaisons] résulte du fait que différentes variables peuvent produire des résultats

semblables et, inversement, différents résultats peuvent être produits par la même variable,

dans un contexte, par exemple national ou historique, différent »163. Ces auteurs insistent tous

sur la nécessité de ne pas conclure trop vite à des relations causales phénomène/facteur et

invite à rechercher des ensembles de facteurs qui influent de concert. Démarche qui, au

demeurant, comme dans toute comparaison des politiques publiques ou de l'action publique,

ne peut avoir de sens que sur un « échantillon raisonné d'un groupe de pays homogènes »164.

Plus radicaux dans leurs conclusions, certains chercheurs, comme Prenzel et Zimmer165,

estiment même que PISA a une valeur descriptive et comparative mais ne peut nullement

expliquer les différences ou les faits constatés. Toutes ces précautions semblent d'autant plus

cruciales que, comme Moreau, Nidegger et Soussi, l'on peut se demander si les méthodes

statistiques sophistiquées utilisées permettent « la transparence et l'appropriation des

données par les décideurs politiques et les acteurs de l'école »166.

En outre, concernant plus particulièrement les études de l'IEA, le cadre conceptuel des

enquêtes en limite la portée interprétative, comme le rappelait Masters, alors président du

Comité technique consultatif de l'IEA :

« Dans les études de l'IEA, on ne vise nullement à examiner de manière exhaustive les programmes d'enseignement prévus ou mis en œuvre par un pays quel qu'il soit. On cherche plutôt à évaluer un ensemble de connaissances de base commun aux différents pays. Il s'en suit que les mesures effectuées par l'IEA des résultats obtenus dans une matière comme la physique peuvent ne pas rendre suffisamment compte de tout ce que les élèves d'un pays donné apprennent dans cette matière. [nous soulignons] En réalité, l'IEA définit les résultats atteints en physique par rapport à un corpus central de connaissances et de compétences arrêté d'un commun accord par les pays participants. La question posée est alors de savoir si ce contenu est bien enseigné et bien appris dans les différents pays. »167

163 LIMA Léa, STEFFEN Monika, op. cit., p. 340.164 LIMA Léa, STEFFEN Monika, op. cit., p. 346.165 PRENZEL Manfred, ZIMMER Karin, « Études complémentaires de PISA 2003 en Allemagne : principaux

résultats et enseignements », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 69.166 MOREAU Jean, NIDEGGER Christian, SOUSSI Anne, « Définition des compétences, choix

méthodologiques et retombées sur la politique scolaire en Suisse », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 43-54.

167 MASTERS Goeff N., « Élaboration d'échelles de mesure et agrégation dans les études de l'IEA : critique du rapport du professeur Goldstein », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995, p. 38.

84/191


En fait, compte tenu des différents problèmes épistémologiques évoqués, Goldstein estime

que le véritable intérêt de ce type d'évaluations réside non dans le classement ou les perfor-

mances relatives des systèmes éducatifs testés mais dans la mesure de leur valeur ajoutée

respective, c'est-à-dire de l'impact de chaque système sur le niveau d'éducation atteint par la

population concernée. Or cette valeur ajoutée ne peut être mesurée que par des analyses longi-

tudinales, qui, compte tenu du temps éducatif, doivent être envisagées sur le long terme. De

plus, pour être réellement profitables, les résultats doivent en être analysés de manière

détaillée et contextualisée, ce qui ne peut pas être réalisé par l'unidimensionnalité des échelles

de scores. Force est pourtant de constater que ces options ne sont pas précisément celles rete-

nues par l'OCDE pour PISA, tout au moins dans l'exploitation qui en est faite par les

responsables politiques en France.

Pour Bottani, on ne peut pas considérer que les résultats des évaluations internationales sont

parfaitement comparables et, s'ils sont les meilleurs disponibles actuellement, il convient de

les utiliser avec beaucoup de précautions. Mons partage ces réserves lorsqu'elle estime que

leurs résultats, par nature fragiles et contextualisés, ne doivent pas conduire à la croyance en

un système éducatif « idéal » transposable. Aussi fiables et instructives soient-elles, les

comparaisons internationales ne sauraient être le seul déterminant de la qualité des systèmes

éducatifs. Elles ne peuvent en être qu'un élément d'évaluation associé à d'autres indicateurs.

Maroy et Mangez plaident « pour un pluralisme et un croisement méthodologique des

approches [qualitatives] locales et des approches comparatives, macro-institutionnelles et

statistiques »168. D'autres auteurs observent que des démarches différentes pourraient aboutir à

des ensembles alternatifs d'indicateurs de la qualité d'un système d'enseignement, par exemple

celles assises sur les concepts de développement humain ou d'équité des systèmes éducatifs169.

Pour terminer cette partie descriptive de notre travail, nous reviendrons sur l'une des critiques

souvent exprimées à l'encontre des évaluations internationales, notamment de PISA : l'argu-

ment selon lequel la présentation des résultats privilégie le classement unidimensionnel au

détriment de l'analyse interprétative. Force est de constater que la complexité de ce type

168 MAROY Christian, MANGEZ Catherine, « Rationalisation de l'action publique ou politisation de la connaissance ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 89.

169 Un tel ensemble d'indicateurs est proposé, par exemple, par le Groupe européen de recherche sur l'équité des systèmes éducatifs (GERESE) dans le cadre d'un projet soutenu par la Direction générale de l'éducation et de la culture de la Commission européenne.

85/191


d'évaluations favorise la diffusion de masse de résultats réducteurs et partiels, limités à leur

plus simple expression. Cette situation qui semble difficilement dépassable produit, nous

l'avons vu, des effets indiscutablement négatifs : stigmatisation des pays/régions « mauvais

élèves », mise en concurrence des systèmes et de leurs acteurs sans prise en compte suffisante

des facteurs explicatifs des écarts de résultat, développement du culte de la performance au

détriment du contenu axiologique de l'éducation, risque de transposition inappropriée de

pratiques jugées « bonnes » sans tenir compte du contexte culturel et historique qui les légi-

time, etc. En définitive, la conception d'évaluations comparatives sur les acquis des élèves

ayant pour objet de mesurer la performance des systèmes éducatifs pose l'éternelle question

des finalités de l'éducation. Quoi enseigner ? Pourquoi (et pour quoi) ?...

Après ce bref tour d'horizon, il nous semble que les évaluations comparatives internationales

se caractérisent par une assez grande complexité due à l'imbrication étroite de leurs dimen-

sions techniques et politiques. Techniquement pointu et politiquement sensible, le sujet prête

le flanc à toutes formes d'incompréhension, de mésinterprétation, voire de manipulation.

Reste à savoir dans quelle mesure, ces écueils sont évités par la population, et plus particuliè-

rement par les personnels de l'Éducation nationale. C'est la question à laquelle nous essaierons

d'apporter quelques éléments de réponse dans la suite de ce travail.

86/191

MARDIF Approche expérimentale : la recherche

3 APPROCHE EXPÉRIMENTALE : LA RECHERCHELa définition de la problématique, le choix de la méthodologie, l'élaboration et l'exploitation

des outils et des données de cette recherche s'appuient essentiellement sur les éléments théo-

riques et les recommandations issus des ouvrages de Bardin170, Berthier171, Blanchet et

Gotman172, Robert et Bouillaguet173, et de Singly174, ainsi que du cours de méthodologie de

Desmet, Lahaye et Pourtois175.

3.1 Définition de la problématique

Avant de définir notre problématique, rappelons que ce travail a pour objet de mettre à jour

quelques éléments de compréhension des rapports d'influence qui lient comparaisons interna-

tionales et politiques éducatives nationales.

A l'origine de ce projet de recherche, nous pensions mesurer l'impact des comparaisons inter-

nationales sur les politiques éducatives en établissant scientifiquement une causalité liant les

premières aux secondes, sans idée précise sur la manière d'atteindre cet objectif, et témoignant

rétrospectivement d'une naïveté sans doute caractéristique du néophyte. En effet, lors de la

revue de la littérature relative à l'objet de recherche et dès la lecture des premiers ouvrages

traitant des méthodologies de recherche, nous avons rapidement dû nous rendre à l'évidence :

cet objectif était beaucoup trop ambitieux. Comment, en effet, établir une causalité formelle

entre comparaisons internationales et politiques éducatives, surtout dans le cadre limité d'une

recherche s'inscrivant dans un cursus universitaire de master ? D'ailleurs, Bottani et Vrignaud

ne nous rappellent-ils pas à la raison lorsque, dans leur rapport intitulé « La France et les

évaluations internationales » rédigé pour le Haut Conseil de l'Évaluation de l'École, ils

écrivent qu'il « est prétentieux de se fixer un objectif de ce type [établir des explications

170 BARDIN Laurence, L'analyse de contenu, Paris, PUF, Quadrige, 2007.171 BERTHIER Nicole, Les techniques d'enquête en sciences sociales. Méthodes et exercices corrigés, Paris,

Armand Colin/VUEF, 2002.172 BLANCHET Alain, GOTMAN Anne, L'enquête et ses méthodes. L'entretien, Paris, Armand Colin, 2007.173 ROBERT André D., BOUILLAGUET Annick, L'analyse de contenu, Paris, PUF, « Que sais-je ? », n° 3271,

1997.174 SINGLY (de) François, L'enquête et ses méthodes. Le questionnaire, Paris, Armand Colin, 2008.175 DESMET Hugiette, LAHAYE Willy, POURTOIS Jean-Pierre, « Les points-charnières de la recherche

scientifique », Cours de méthodologie du MARDIF, Faculté de Psychologie et des Sciences de l'Éducation, Université de Rouen, 2008.

87/191

MARDIF Définition de la problématique

causales], car d’autres études et d’autres données [que celles disponibles] seraient néces-

saires »176. Nous avons donc dû envisager d'autres possibilités d'investigation, pour orienter

dans un premier temps notre travail sur une recherche de corrélations. Deux pistes au moins

étaient alors envisageables :

• la recherche de synchronie entre la diffusion des résultats des comparaisons internationales et la chronologie des réformes éducatives d'un ou plusieurs pays ;

• la recherche de références explicites ou implicites aux comparaisons internationales pour justifier les réformes curriculaires ou structurelles de l'Éducation nationale en France, au moyen d'une analyse de contenu.

A la réflexion, la recherche de synchronie nous a semblé insuffisamment probante en soi au

regard de notre questionnement initial pour justifier une recherche dont le résultat serait fina-

lement peu significatif. En effet, si une telle synchronie n'a pas été formellement établie

scientifiquement à notre connaissance, il semble assez clair en revanche que le développement

des comparaisons internationales depuis les années soixante se soit effectué concomitamment

à l'accélération générale du rythme des réformes en matière éducative dans de très nombreux

pays depuis une cinquantaine d'années. Comme nous l'avons vu, les comparaisons ont

toujours eu vocation à identifier les facteurs de réussite éducative. Il est donc logique qu'elles

se traduisent par des évolutions des systèmes éducatifs et que, globalement, elles accom-

pagnent les réformes. En outre, le lien entre comparaisons internationales et politiques

éducatives apparaît explicitement dans les objectifs de ces évaluations, comme nous l'avons

constaté. Pour autant, Bottani et Vrignaud observent que les corrélations demeurent difficiles

à établir précisément : « dans certains cas, [ces études] ont indéniablement influencé la poli-

tique, quoiqu’en général il ne soit pas aisé de démontrer la présence d’une corrélation

directe entre ces études et le changement en éducation »177.

Dans ce contexte, la mise en évidence éventuelle d'une synchronie avérée entre la publication

des comparaisons internationales et le lancement des réformes serait finalement porteuse

d'une information assez peu intéressante, sauf à être complétée d'une recherche permettant

176 BOTTANI Norberto, VRIGNAUD Pierre, op. cit. p. 15.177 Ibid.

88/191


d'établir des corrélations entre les résultats des évaluations internationales et le contenu des

réformes, ou éventuellement l'existence d'un débat public sur ces réformes.

En explorant ce dernier point, nous avons constaté que des recherches existaient déjà, notam-

ment celles de Martens et Niemann178. Ces deux chercheurs de l'université de Brème

(Allemagne), ont étudié l'impact des évaluations et des classements sur les politiques d'éduca-

tion nationales, à partir du cas de PISA. Partant du postulat que la couverture médiatique de

PISA dans un pays est corrélée à l'intérêt du public pour les résultats à cette enquête (présence

d'un débat public), ces chercheurs émettaient l'hypothèse que plus les résultats d'un pays à

PISA étaient éloignés de la moyenne, plus importante était la couverture médiatique relative à

PISA dans ce pays. Or cette hypothèse s'est vue infirmée par l'analyse du nombre d'articles de

presse parus, entre 2001 et 2008, dans 22 pays de l'OCDE ayant participé à PISA et la mise en

relation de ce cette couverture médiatique avec le classement de chaque pays. Cette analyse

est illustrée par les deux graphiques ci-dessous.

Graphique 1 : Couverture médiatique de PISA dans 22 pays de l'OCDE entre 2001 et 2008

Source : MARTENS Kerstin, NIEMANN Dennis179

178 MARTENS Kerstin, NIEMANN Dennis, « Governance by Comparison – How Ratings &Rankings can Impact National Policy Making in Education », article présenté au 50ème congrès annuel de l'ISA (International Studies Association) ayant pour thème « Exploring the past, anticipating the future », New York Marriott Marquis, New York, NY, USA, 15/02/2009.

179 Reproduction expressément autorisée par les auteurs.

89/191


Graphique 2 : Classement à PISA et couverture médiatique dans 22 pays de l'OCDE

Source : MARTENS Kerstin, NIEMANN Dennis

Martens et Niemann ont alors cherché à comprendre ce qui pouvait expliquer la présence plus

ou moins marquée des comparaisons internationales dans le débat public sur l'éducation des

pays participant à PISA. À partir des cas extrêmes de l'Allemagne, qui a connu un véritable

choc suite à la parution de ses résultats inférieurs à la moyenne lors de la première enquête

(2000), et des États-Unis, où les résultats médiocres obtenus à PISA n'ont eu pratiquement

aucun retentissement dans le débat public, les deux chercheurs allemands en sont arrivés à la

conclusion que deux conditions cumulatives doivent être réunies pour que les comparaisons

internationales aient un impact sur l'opinion publique et sur les politiques éducatives natio-

nales d'un pays :

1. l'éducation, plus précisément le système d'enseignement national, doit être perçu dans le pays comme étant important, notamment pour la performance économique globale du pays ; et

2. les résultats obtenus doivent être en décalage substantiel par rapport à la perception du système éducatif national prévalant dans le pays. Concrètement, le classement du pays doit être situé largement en deçà de celui attendu.

90/191


Sur la question de la relation entre les résultats des évaluations internationales et l'existence

d'un débat public sur de nécessaires réformes éducatives, il ne nous semblait guère envisa-

geable d'apporter une contribution originale et scientifiquement pertinente au vu de l'existant.

A ce stade, restait donc à envisager d'évaluer l'impact des comparaisons internationales sur les

décisions politiques et l'action publique en matière éducative par le biais d'une analyse de

contenu sur un corpus de textes juridiques, d'articles de presse ou de communications gouver-

nementales (discours, lettres de mission, déclarations...). La poursuite de la revue de la

littérature sur le sujet nous a toutefois amené à constater que de tels travaux avaient déjà été

réalisés par des équipes de chercheurs, notamment Mons et Pons180 pour ce qui concerne la

France.

Les travaux de ces chercheurs français ont mis en évidence l'absence de « choc PISA » en

France, contrairement à ce qui a pu se produire dans d'autres pays dont le plus emblématique

est sans doute l'Allemagne. Ces chercheurs ont également montré, comme nous l'avons

évoqué par ailleurs, que le programme de l'OCDE a connu une fortune très évolutive auprès

des responsables politiques français. D'abord minimisés et contestés, notamment par le

recours à l'argumentaire des biais, les résultats de PISA ont dans un deuxième temps été

instrumentalisés pour justifier des réformes pouvant être qualifiées d'idéologiques, puis-

qu'elles ne reposaient pas sur des données scientifiquement éprouvées mais sur une vision

purement politique de ces questions. Mons et Pons concluent à un « profond décalage entre

les connaissances à l’origine de la conception de Pisa au niveau international et celles sur

lesquelles se fondent les discours sur PISA en France, dans la mesure où ces dernières sont

perpétuellement traduites par les acteurs en fonction de leurs intérêts politiques du moment,

de leurs compétences et de leur identité professionnelle »181.

La lecture de ces différents travaux révèle en outre que ces types d'approche nécessitent des

moyens dont nous ne disposions pas, par exemple l'accès (payant) à des bases de données

documentaires permettant le dépouillement automatisé de la presse. Un autre point d'achoppe-

ment s'est avéré être la difficulté à constituer un corpus cohérent et homogène de textes

accessibles et suffisamment pertinents pour permettre d'espérer en extraire des informations

180 MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009.

181 MONS Nathalie, PONS Xavier, op. cit., p. 109.

91/191


intéressantes. Par exemple, une recherche rapide dans le recueil des lois et règlements (RLR)

de l'Éducation nationale (qui inclut les circulaires, notes de service et instructions) révèle une

quasi absence de référence aux comparaisons internationales dans ce corpus : PISA (1 occur-

rence), évaluation internationale (1 occurrence, dans le même texte que pour PISA), aucune

occurrence sur les descripteurs suivants : comparaison internationale, enquête internationale,

PIRLS, TIMSS, OCDE, IEA.

Fort de ce constat, nous avons envisagé d'autres pistes de recherche. Il nous a alors semblé

qu'il serait intéressant de questionner des personnels de l'Éducation nationale pour tenter de

répondre aux deux grandes interrogations suivantes :

• Ces personnels connaissent-ils les évaluations comparatives internationales ? Qu'en savent-ils vraiment ? Sur la méthodologie, les résultats, les enjeux politiques sous-jacents ? Il était d'autant plus intéressant d'essayer d'apporter des éléments de réponse à cette question que Mons et Pons ont analysé le discours des organisations syndicales à propos de PISA.

• Ces personnels perçoivent-ils les comparaisons internationales comme utiles, fiables, scien-tifiques, (politiquement) neutres, sources de connaissance des systèmes étrangers, d'amélioration du système éducatif français en général et de questionnement de leurs pratiques professionnelles en particulier ?

La revue de la littérature que nous avons effectuée pour ce travail n'a révélé aucune recherche

similaire en France. Nous n'avons trouvé aucune référence à une quelconque consultation des

personnels de l'Éducation nationale sur cette question dans un cadre scientifique. Ainsi, pour

des raisons de faisabilité technique et pratique d'une part, et d'opportunité (intérêt de la

recherche) d'autre part, nous avons finalement défini notre problématique de la manière

suivante :

Quelle connaissance les personnels de l'Éducation nationale en France ont-ils des

comparaisons internationales ? Qu'en pensent-ils ? Les résultats des élèves français à

ces évaluations comparatives conduisent-ils ces personnels à modifier ou questionner

leurs pratiques professionnelles, ou à accepter différemment les changements imposés

par les réformes curriculaires ou structurelles engagées par les responsables poli-

tiques ?

92/191


Compte tenu de l'absence apparente de travaux semblables en France, notre recherche s'inscri-

vait résolument dans une perspective exploratoire. Il n'était pas question, à ce stade, de

répondre aux questions posées de façon certaine ou d'atteindre une quelconque vérité scienti-

fique. Nous avons plus modestement tenté de faire émerger quelques tendances, de mettre à

jour quelques pistes pour d'éventuelles recherches futures en « vraie grandeur ».

Le caractère exploratoire et la formulation de la problématique nous plaçaient résolument

dans une démarche qualitative et a posterioriste182. Nous ne posions aucune hypothèse quant

aux réponses aux questions posées, réservant la formulation éventuelle de celles-ci conjointe-

ment à la phase d'interprétation des discours collectés.

3.2 Choix de la méthodologie

La problématique étant définie, il nous restait à définir la méthodologie à utiliser. Comment

interroger des personnels de l'éducation nationale sur les comparaisons internationales ? Deux

grandes options s'offraient d'évidence à nous : le questionnaire ou l'entretien.

Nous avons d'abord envisagé de procéder par questionnaire en ligne à l'aide du logiciel

Google documents. Cette application libre de droit permet de créer un questionnaire qui peut

être complété en ligne par les personnes interrogées. Elle autorise les questions ouvertes ou

fermées. Les premières étant saisies dans un champ textuel, plusieurs options de saisie sont

proposées pour les réponses fermées : liste déroulante, case à cocher, etc. Par ailleurs, des

contrôles de valeur ou de format peuvent être programmés sur les champs de réponse. L'in-

térêt majeur de ce type d'application réside dans la transcription automatique des réponses

sous forme de tableau de données récupérable sous différents formats lisibles à l'aide des

tableurs courants (Excel, Calc, etc.). Un essai rapide semblait montrer que, techniquement,

cela pouvait fonctionner.

Nous envisagions de solliciter les personnes ciblées par courrier électronique intégrant un lien

renvoyant directement vers le questionnaire. Nous pensions utiliser pour cela des listes de

diffusion internes à l'Éducation nationale qui permettent de contacter différentes catégories de

personnels d'un département ou d'une académie, sous réserve d'obtenir les autorisations néces-182 DESMET Hugiette, LAHAYE Willy, POURTOIS Jean-Pierre, op. cit., p 5.

93/191

MARDIF Choix de la méthodologie

saires183. Ces listes nous auraient permis de solliciter aisément plusieurs centaines, voire

milliers, de personnes, et d'obtenir un nombre que nous espérions significatif de question-

naires exploitables, même avec un faible taux de réponse. Cependant, plusieurs questions

demeuraient sans réponse :

• Il n'était pas certain que nous obtenions l'autorisation d'utiliser des listes de diffusion insti-tutionnelles pour solliciter en nombre des personnels de l'Éducation nationale. En cas de refus, la sollicitation individuelle restait possible mais difficile à gérer dans le temps imparti.

• Nous ne connaissions pas la capacité, la sécurité et la fiabilité de l'outil envisagé (Google documents) : limitation éventuelle du nombre de réponses enregistrables ; degré de confi-dentialité des données collectées (sachant que le fichier de recueil des données est hébergé par Google) ; fiabilité générale d'un outil gratuit grand public, notamment dans le temps (risque de perte de données ?). Des solutions alternatives à cette application existent certai-nement ; encore fallait-il les trouver, se les procurer, en maîtriser le fonctionnement... Compte tenu de nos contraintes de temps, ce n'était guère envisageable.

• Enfin, dernier point mais sans doute le plus important, il subsistait le problème classique de représentativité de l'échantillon, comme pour tout questionnaire auto-administré. Intuitive-ment, il nous semble que la probabilité que les personnels répondant à une requête de ce type soient représentatifs de l'ensemble de la population concernée est faible. Il paraît raisonnable de penser que les répondants auraient probablement été plus investis ou plus critiques que la moyenne sur la question des comparaisons internationales, l'indifférence incitant peu à répondre. Mais comment mesurer ce biais d'échantillon à partir des réponses obtenues ? Sans réponse à cette question, les résultats de la recherche auraient sans doute été largement hypothéqués.

Ces problèmes, dont certains nous paraissaient rédhibitoires, pouvaient être contournés en

faisant le choix d'un questionnaire administré soit in situ soit à distance (auto-administration

après accord, téléphone...) auprès d'un échantillon de taille plus modeste. Mais pour que l'ana-

lyse quantitative des données collectées soit significative, il était indispensable de travailler

sur un échantillon représentatif de la population. Deux problèmes se posaient alors :

183 Ces listes d'utilisation réservée font l'objet d'un filtrage au niveau des serveurs informatiques de l'Éducation nationale.

94/191

MARDIF Choix de la méthodologie

• La constitution de l'échantillon : quelle que soit la méthode d'échantillonnage choisie (échantillon probabiliste, échantillon stratifié, méthode des quotas), la constitution de l'échantillon posait le problème d'accès aux données relatives à la population, celle-ci étant constituée de l'ensemble ou, au minimum, d'une catégorie de personnels de l'Éducation nationale. Il ne nous semblait pas réaliste d'espérer obtenir les autorisations et l'assistance technique requise de la part de la Direction des ressources humaines du ministère pour une recherche de master. Restait la possibilité de travailler en connaissance de cause sur un échantillon stratifié empirique non représentatif, en sachant qu'aucun résultat ne pourrait être généralisé à l'ensemble de la population étudiée, ce qui limitait l'intérêt de la recherche et la condamnait à demeurer purement exploratoire. Dans ce cas, une enquête par entretien serait sans doute plus riche d'enseignements.

• Le temps nécessaire à l'administration des questionnaires : comme le rappelle Berthier, « on considère en général qu'une enquête quantitative sur échantillon doit avoir un minimum de 80 sujets »184, quelle que soit la méthode choisie pour constituer l'échantillon. Une adminis-tration in situ était exclue pour des raisons évidentes de temps et de coût (déplacements), compte tenu des contraintes de représentativité interdisant a priori d'interroger des person-nels exerçant dans un nombre réduit d'établissements concentrés géographiquement. Malgré certains avantages, l'administration par téléphone ne résolvait pas tous les problèmes. En outre, il convient d'ajouter au temps d'administration le temps de prise de contact initiale, amplifié par les probables refus conduisant à multiplier les contacts pour obtenir un nombre suffisant de répondants respectant les contraintes d'échantillonnage.

Compte tenu de l'ensemble des contraintes épistémologiques, matérielles, temporelles et

financières évoquées, nous avons finalement opté pour une enquête par entretiens semi-direc-

tifs permettant tout à la fois de recueillir une parole libre par le choix de questions ouvertes

tout en orientant l'entretien par le biais de questions précises afin d'obtenir des éléments de

réponses aux questions de notre problématique. Cette méthode permettait en outre de

recueillir des informations plus proches du vécu professionnel des personnels interrogés, limi-

tant du même coup certains biais liés au questionnaire difficiles à éviter à l'aide d'un support

élaboré sur des bases purement théoriques. Elle nous a donc semblé tout à fait pertinente dans

le cadre d'une démarche exploratoire.

184 BERTHIER Nicole, op. cit., p. 125.

95/191

MARDIF Conception de l'enquête

3.3 Conception de l'enquête

3.3.1 Détermination de la population

D'un point de vue théorique, la population parente pouvait a priori englober tous les person-

nels participant à la mise en œuvre des politiques éducatives en France. Mais une définition

aussi large ne semblait ni opératoire ni pertinente. En effet, dans son acception la plus

étendue, cette population comprend des personnes qui ne sont pas clairement identifiables

d'un point de vue statistique et dont l'effectif est vraisemblablement très difficile, voire impos-

sible, à circonscrire avec précision du fait des différences statutaires de ces personnels, du

nombre d'opérateurs concernés et de la difficulté à cerner avec précision les limites de l'action

éducative en termes d'activités professionnelles : personnels titulaires et non titulaires de l'État

et des collectivités territoriales, salariés relevant du secteur privé autonome ou des établisse-

ments privés sous contrat, personnels des associations complémentaires œuvrant dans le

domaine péri-éducatif agréées ou non par le ministère de l'Éducation nationale, personnels de

l'enseignement supérieur, etc. En outre, une acception aussi large du concept d'acteur profes-

sionnel du système éducatif ne nous semblait pas cohérente, car insuffisamment homogène

pour être interrogée avec pertinence et trop différenciée dans son action et ses missions pour

que la question des comparaisons internationales puisse être posée dans les mêmes termes.

Pour des raisons de lisibilité, de comparabilité et de pertinence des données à traiter, nous

avons choisi de restreindre la population potentielle en référence au cadre fixé par la Direction

de l'évaluation, de la prospective et de la performance du ministère de l'Éducation nationale,

dont nous extrayons un premier groupe avant d'aller plus loin dans la réflexion, à savoir les

personnels titulaires du ministère de l'Éducation nationale rémunérés au titre du secteur

public. (Cf. tableau ci-dessous185.)

185 Ministère de l'Éducation nationale, Repères et références statistiques sur les enseignements, la formation et la recherche (RERS 2009), Paris, DEPP, 2009, p. 278.

96/191

MARDIF Détermination de la population

Tableau 8 : Personnels titulaires du ministère de l'Éducation nationalerémunérés au titre du secteur public

Source : Ministère de l'Éducation nationale, DEPP, données janvier 2009Les enseignants. Instituteurs, professeurs des écoles et autres enseignants du premier degré chargés de classe, directeurs d'écoles ; enseignants du second degré y compris les documentalistes et les enseignants affectés aux remplacements et à la suppléance. Ne sont pas inclus les enseignants-stagiaires en IUFM et les élèves-enseignants des ENS. Les enseignants du CNED sont comptabilisés dans chacun des deux niveaux en fonction de leur corps d’appartenance.Les autres personnels. Personnels administratifs, techniques, d’éducation, d’encadrement, de surveillance et d’assistance éducative. Quel que soit le corps d’origine, ces personnels exercent des fonctions d'inspection, de direction, d'éducation, de surveillance, d'orientation ou sont des personnels administratifs, techniques, de service et de santé (ATSS). Dans cette rubrique sont également comptabilisés certains enseignants exerçant en inspection académique et rectorat et appartenant le plus souvent au programme “soutien” de la politique de l’Éducation nationale.

Fallait-il en rester là, et considérer ce groupe comme constitutif de notre population parente,

ou était-il plus pertinent d'en extraire un sous-groupe ? Dans ce dernier cas, sur quels critères

définir notre population parente ? Dans la perspective de notre questionnement sur la récep-

tion des comparaisons internationales par les personnels de l'Éducation nationale en vue d'en

comprendre l'impact, il y avait peu d'intérêt à définir la population en fonction de caractéris-

tiques socio-démographiques dans la mesure où l'activité professionnelle de ces personnels

n'est pas définie en fonction de tels critères (âge, sexe, domicile, etc.). En revanche, nous

pouvions nous attendre à des attitudes différenciées selon la catégorie fonctionnelle d'emploi,

autrement dit en fonction du « métier » (enseignant, personnel administratif, personnel d'enca-

drement, personnel technicien et de service, etc.), et, éventuellement, le type d'établissement

d'exercice (école, collège-lycée, services déconcentrés et administration centrale, etc.). En

effet, la proximité fonctionnelle et cognitive à l'action éducative, d'une part, et la proximité

physique à l'élève, d'autre part, paraissaient pouvoir influer sur la réception des comparaisons

internationales par les personnels.

97/191

Enseignants Autres personnels Total

Enseignement du premier degréPart des femmes 81,3% 45,7% 81,1%Enseignement du second degréPart des femmes 57,7% 70,3% 59,3%

Part des femmes 75,9% 75,9%Vie de l'élèvePart des femmes 81,5% 81,5%Administration centralePart des femmes 63,1% 63,1%Total Part des femmes 68,6% 73,1% 69,1%

321 443 1 842 323 285

377 603 57 658 435 261

Soutien de la politique de l'Éducation nationale (hors adm. centrale) 19 904 19 904

22 790 22 790

3 029 3 029

699 046 105 223 804 269

MARDIF Détermination de la population

Compte tenu du caractère spécifique de l'objet d'étude, nous avons finalement décidé de

restreindre la population aux personnels enseignants de tous grades exerçant dans les premier

et second degrés et aux personnels non enseignants de catégorie A de tous corps profession-

nels. Il est entendu que cette définition assez extensive demeurait quelque peu théorique dans

la mesure où nous savions ne pas pouvoir interroger des personnels appartenant à tous les

métiers de l'Éducation nationale. Cependant, dans l'optique d'une recherche ultérieure de plus

grande ampleur et dans une perspective théorique, il nous a semblé que la problématique, telle

qu'elle était posée, concernait l'ensemble de cette population.

3.3.2 Constitution du corpus : choix des enquêtés

S'agissant d'entretiens exploratoires, nous n'avions pas à constituer d'échantillon, la représen-

tativité statistique n'étant pas requise dans ce cadre. Il nous fallait tout de même déterminer la

taille du corpus (nombre d'entretiens), les variables stratégiques (critères de sélection des

enquêtés) et le mode d'accès aux personnels à interroger.

3.3.2.1 Taille du corpus

Sur ce point, les auteurs consultés, notamment Berthier ou Blanchet et Gotman, ne donnent

pas d'indications chiffrées. Le nombre d'entretiens nécessaires « dépend, en premier lieu, du

thème de l'enquête (faiblement ou fortement multidimensionnel) et de la diversité des attitudes

supposées par rapport au thème, du type d'enquête (exploratoire, principale ou complémen-

taire), du type d'analyse projeté […], et enfin des moyens dont on dispose (en temps et en

argent) »186. L'important est de diversifier au maximum le corpus en fonction des variables

stratégiques (cf. ci-après). En théorie, il peut être souhaitable de chercher à atteindre le point

de saturation, c'est-à-dire l'entretien à partir duquel les informations recueillies deviennent

redondantes et n'apportent plus rien à la recherche. En l'espèce, la diversité fonctionnelle des

personnels constituant la population et le caractère multidimensionnel de l'objet de recherche

auraient sans doute nécessité un nombre d'entretiens assez élevé (plusieurs dizaines). Toute-

fois, compte tenu des moyens limités dont nous disposions, et en accord avec notre directeur

de recherche, le corpus a été limité à dix entretiens pour cette recherche de Master.

186 BLANCHET Alain, GOTMAN Anne, op. cit., p. 50.

98/191

MARDIF Constitution du corpus : choix des enquêtés

3.3.2.2 Critères de sélection des enquêtés : variables stratégiques

Les variables stratégiques ont été déterminées en vue de contraster les individus en fonction

du thème de l'entretien. La question posée à ce stade était donc la suivante : quelle caractéris-

tique socio-démographique ou professionnelle pourrait jouer un rôle significatif dans la

structuration des réponses ? Les choix opérés sont récapitulés dans la tableau ci-dessous.

Effectués en fonction de la population parente, ces choix résultent d'une analyse intuitive

réalisée en tenant compte des différentes dimensions des comparaisons internationales.

Tableau 9 : Détermination des variables stratégiques pour la sélection des enquêtés

Variable Caractère stratégique

Observations

Âge oui De l'âge des personnels dépend leur période de formation initiale. Le discours sur les comparaisons internationales dans les formations a certainement évolué au cours du temps, ce qui pourrait avoir une incidence sur leur réception actuelle chez les intéressés.

Sexe non Aucun élément ne permet de supposer une discrimination des réponses entre hommes et femmes.

Corps / grade d'appartenance

non Approche très statutaire. La fonction semble plus déterminante.

Fonction occupée (« métier »)

oui La fonction occupée semble à l'évidence déterminante dans le regard posé sur les problématiques éducatives et dans le positionnement individuel.

Discipline d'enseignement (enseignant uniquement)

oui Il est envisageable que les enseignants des disciplines/compétences évaluées dans les comparaisons internationales réagissent différemment.

Ancienneté dans la fonction

oui Même argumentaire que pour la variable « âge ».

Lieu d'exercice (localisation géographique)

non Aucun élément ne permet de supposer une discrimination des réponses selon l'origine géographique. Les sources d'informations relatives aux comparaisons internationales (médias grand public, presse professionnelle et syndicale, information institutionnelle) sont identiques et également accessibles partout. Le caractère international des comparaisons, le niveau national de leurs résultats et l'absence, en France, de déclinaison régionale des résultats obtenus ne laissent présager aucune différentiation sur ces variables.

Environnement géographique urbain/rural

non

Environnement social favorisé/défavorisé

non Aucun élément ne permet de supposer une discrimination sur ce critère.

Établissement d'exercice (type)

oui Parmi les enseignants, une différentiation est envisageable en fonction du type (école, collège, lycée...) et, éventuellement, de la taille de l'établissement (plus grande ouverture, dynamique dans les établissements de taille importante ?)

D'un point théorique, il convenait donc d'interroger des personnels d'âge et ancienneté variable,

occupant différentes fonctions, au sein de divers types d'établissements. Il était évident que le

99/191


nombre d'entretiens prévus ne permettrait pas d'explorer ce cadre théorique de manière exhaus-

tive. En outre, bien que probablement influentes, les variables d'âge et d'ancienneté semblaient

difficiles à mobiliser comme conditions préalables, vu la difficulté que nous anticipions à obtenir

l'accord des personnels sollicités, ce qui s'est confirmé lors des prises de contact. Nous avons donc

déterminé un corpus cible théorique diversifié selon trois variables : la fonction occupée, la disci-

pline d'enseignement (pour les enseignants) et le type d'établissement d'exercice. Il convient de

préciser que la liste théorique ainsi constituée comportait 11 hypothèses d'entretien (pour 10 entre-

tiens à réaliser) en raison des possibles difficultés à obtenir des entretiens pour certaines fonctions.

Tableau 10 : Liste théorique d'entretiens

Fonction (« métier ») Établissement d'exercice

1. Professeur des écoles / instituteur École maternelle

2. Professeur des écoles / instituteur École élémentaire

3. Professeur de lettres collège

4. Professeur de mathématique ou sciences collège

5. Conseiller principal d'éducation Collège ou lycée

6. Documentaliste indifférent

7. Chef d'établissement Collège

8. Chef d'établissement Lycée

9. Inspecteur de l'Éducation nationale premier degré Circonscription du premier degré

10. Inspecteur d'académie – inspecteur pédagogique régional Discipline littéraire ou scientifique

11. Cadre administratif Établissement ou services académiques

3.3.2.3 Mode d'accès aux enquêtés

Notre propre appartenance aux personnels de l'Éducation nationale doit ici être mentionnée

car elle avait deux conséquences antagonistes importantes pour l'accès aux enquêtés. Nous

disposions d'informations institutionnelles et d'un réseau relationnel à même de faciliter

l'accès à certaines personnels. Néanmoins, nos fonctions passées et présentes compliquaient la

relation à certains corps de métier vis-à-vis desquels un lien hiérarchique direct ou indirect,

effectif ou potentiel, pouvait exister. En particulier, notre position professionnelle risquait de

biaiser les réponses obtenues du fait de la réserve qui pourrait être observée par les répon-

dants, au moins dans notre département d'exercice. Plusieurs questions risquaient en outre

d'indisposer les personnes interrogées, en cas d'ignorance de certaines réponses ou de sujet

jugé politiquement sensible, ce qu'il convenait d'éviter. Il convient de rappeler que cette

100/191


enquête s'adresse à des fonctionnaires astreints par leur statut au devoir de réserve. En l'occur-

rence, notre position d'enquêteur appartenant par ailleurs aux personnels de l'Éducation

nationale risquait d'être vécue par les intéressés comme ambiguë, malgré toutes les garanties

de confidentialité données dès la prise de contact initiale.

Dans ces conditions, nous nous sommes fixé comme règle d'exclure du champ d'investigation,

d'une part les personnels actuellement ou potentiellement situés dans la même chaîne hiérar-

chique que nous et exerçant dans le même département, d'autre part les personnes que nous

connaissions personnellement dès lors que le relationnel entretenu avec ces dernières risquait

de porter atteinte à la neutralité de l'échange. Les contacts ont été pris sans intermédiaire mais

dans certains cas avec recommandation. La méthode de proche en proche187 a également été

exploitée ; certains contacts positifs ont été obtenus par cette voie.

3.3.3 Élaboration du guide d'entretien

Variables descriptives indépendantes

Les données descriptives collectées lors de l'entretien correspondent aux variables straté-

giques déterminées dans la phase de constitution du corpus : âge, fonction, ancienneté dans la

fonction, type d'établissement d'exercice, nombre d'élèves (pour les établissements scolaires).

Thèmes et questions relatives à l'objet d'enquête

Outil opérationnel du chercheur qui conduit l'entretien, le guide d'entretien constitue égale-

ment un « travail de traduction des hypothèses de recherche en indicateurs »188. En

l'occurrence, la posture a posterioriste adoptée nous a conduit à traduire en indicateurs non

pas des hypothèses mais plutôt des questions de recherche. Au vu des indicateurs définis (cf.

tableau ci-après), et compte tenu des caractéristiques du champ et de l'objet de recherche

(milieu professionnel / technicité élevée), nous avons fait le choix de mener des entretiens très

structurés, avec souvent des questions précises de type questionnaire comme point de départ.

En effet, en interrogeant des professionnels sur un domaine à la fois très technique et précis

mais faisant par ailleurs l'objet d'un traitement médiatique à large spectre et potentiellement

187 Contacts fournis par des enquêtés.188 BLANCHET Alain, GOTMAN Anne, op. cit., p. 58.

101/191

MARDIF Élaboration du guide d'entretien

constitutif du débat public, nous souhaitions d'une part éviter d'en rester à des généralités

faiblement porteuses d'informations et, d'autre part, explorer spécifiquement certains aspects

précis des comparaisons internationales difficiles à aborder sur un mode peu structuré. Nous

avons donc reformuler pour chaque indicateur des questions d'enquête. Le principe théorique

de construction du guide d'entretien pouvait donc être formulé de la manière suivante :

Questions de recherche →→ Indicateurs →→ Questions d'enquête

Partant des trois grandes questions de recherche sur le rapport des personnels de l'Éducation

nationale aux comparaisons internationales – qu'en savent-ils ? Qu'en pensent-ils ? Quel

impact ont-elles sur eux ? – une liste de 35 questions d'enquête a donc été définie :

Tableau 11 : Construction théorique du guide d'entretien

Questions de recherche

Indicateurs Questions d'enquête N°

Que savent les personnels de l'Éducation nationale des comparaisons internationales ?

Connaissance des programmes d'enquête existants

Quels programmes d'évaluation internationale sur les acquis des élèves l'enquêté peut-il citer ?

1

L'enquêté connaît-il la fréquence de l'évaluation PISA ? 13

L'enquêté connaît-il la fréquence de l'évaluation PIRLS ? 18

L'enquêté connaît-il la fréquence de l'évaluation TIMSS ? 23

L'enquêté connait-il les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Sait-il si ces objectifs diffèrent de ceux des autres évaluations ?

25

Connaissance des publics évalués

L'enquêté peut-il indiquer quels élèves sont concernés par PISA ? 10

L'enquêté peut-il indiquer quels élèves sont concernés par PIRLS ? 15

L'enquêté peut-il indiquer quels élèves sont concernés par TIMSS ? 20

Connaissance des savoirs et/ou savoir-faire évalués

L'enquêté peut-il indiquer quels domaines sont évalués dans PISA ?

12

L'enquêté peut-il indiquer quels domaines sont évalués dans PIRLS ?

17

L'enquêté peut-il indiquer quels domaines sont évalués dans TIMSS ?

22

Connaissances des acteurs impliqués

L'enquêté connaît-il le nombre de pays qui ont participé à la dernière évaluation PISA ?

11

L'enquêté sait-il quelle organisation pilote l'évaluation PISA ? 14

L'enquêté connaît-il le nombre de pays qui ont participé à la dernière évaluation PIRLS ?

16

L'enquêté sait-il quelle organisation pilote l'évaluation PIRLS ? 19

L'enquêté connaît-il le nombre de pays qui ont participé à la dernière évaluation TIMSS ?

21

L'enquêté sait-il quelle organisation pilote l'évaluation TIMSS ? 24

102/191


Questions de recherche

Indicateurs Questions d'enquête N°

Connaissance des résultats de la France à PISA

L'enquêté sait-il comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?

26

L'enquêté sait-il comment se situent globalement les résultats de la France à la dernière évaluation PISA ?

27

Sources d'information utilisées

Quelles sont les sources d'informations de l'enquêté sur la question des comparaisons internationales ?

5

Que pensent les personnels de l'Éducation nationale des comparaisons internationales ?

Utilité des comparaisons internationales

Dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?

3

Dans l'ensemble, l'existence des comparaisons internationales est-elle profitable pour les pays participants ?

4

Quelle a été l'influence des résultats obtenus par la France aux évaluations internationales sur les réformes conduites par le ministère de l'Éducation nationale depuis dix ans ?

33

Fiabilité des comparaisons internationales

Les solutions adoptées dans les pays qui obtiennent les meilleurs résultats aux évaluations internationales telles que PISA devraient-elles être mises en application en France ?

31

D'une manière générale, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ?

34

Certains aspects des comparaisons internationales sont-ils problématiques ?

35

Enseignements tirés des comparaisons internationales

Que pense l'enquêté du résultat de la France à PISA 2006 ? 28

Les résultats obtenus par la France à PISA 2006 paraissent-ils conformes au niveau des élèves français ?

29

Qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?

30

Fréquence des informations dans les médias

Les médias grand public relatent-ils suffisamment les résultats des évaluations internationales ?

6

La presse spécialisée/professionnelle relate-t-elle suffisamment les résultats des évaluations internationales ?

8

Qualité des informations dans les médias

Les médias grand public relatent-ils les résultats des évaluations internationales de façon satisfaisante ?

7

La presse spécialisée/professionnelle relate-t-elle les résultats des évaluations internationales de façon satisfaisante ?

9

Quel est l'impact des comparaisons internationales sur les personnels de l'Éducation nationale ?

Implication personnelle / distance

À quel degré l'enquêté s'estime-t-il concerné par les évaluations internationales sur les acquis des élèves ?

2

Remise en cause des pratiques professionnelles

Les résultats de la France aux évaluations internationales ont-ils amené l'enquêté à s'interroger sur ses pratiques professionnelles ?

32

NB : La numérotation correspond à l'ordre des questions d'enquête dans le guide d'entretien finalisé.

103/191


Ordonnancement des thèmes et questions d'enquête

Le guide d'entretien a été rédigé à partir des 35 questions d'enquête référencées dans ce cadre

théorique. La formulation et la chronologie définitives des questions ont été déterminées en

prenant soin de limiter au maximum les refus de répondre et les biais, particulièrement les

biais d'ordre, l'effet de halo, les biais de formulation, la tendance à l'acquiescement et les biais

de réaction de prestance. En l'espèce, le risque de refus de répondre à certaines questions ou

les biais de réaction de prestance ne devaient pas être négligés compte tenu du statut des

personnels interrogés (devoir de réserve des fonctionnaires, position de « détenteur du

savoir » propre à certaines fonctions...). Les biais d'ordre et l'effet de halo présentaient égale-

ment une difficulté non négligeable du fait de la concomitance de questions de connaissance

et de questions d'opinion. En effet, pour alimenter la réflexion des personnes interrogées, il

pouvait être utile de leur communiquer des informations. Mais il convenait de s'assurer que

ces dernières n’interféraient pas avec les questions de connaissance.

Toutes les questions ont été formulées de manière ouverte. Toutefois, pour faciliter l’exploita-

tion des données, il a semblé opportun de prévoir une pré-codification de type ordinal de

certaines questions d'opinion, qui a pu se traduire dans la rédaction du guide d'entretien et lors

de ce dernier par des propositions de réponse graduées (variable à 4 ou 5 modalités189 ; par

ex. très profitable / plutôt profitable / peu profitable / inutile). Néanmoins, les personnes inter-

rogées ont toujours été invitées à développer leur réponse et à s'exprimer librement.

Par ailleurs, certaines questions de connaissance ont fait l'objet de fiches supports comportant

des propositions de réponse (réponse à choix multiple) pouvant être soumises aux personnes

interrogées en cas de non réponse spontanée. D'une part, nous n'étions pas sûr d'évaluer

correctement le degré de difficulté de certaines questions assez précises, d'autre part, compte

tenu de la non préparation de l'entretien par les répondants du fait du peu d'informations préa-

lables qui leur étaient communiquées, et du caractère vraisemblablement erratique du sujet

dans le vécu professionnel des intéressés, il était envisageable que les modalités proposées

réactivent une connaissance passive des réponses à ces questions.

189 Le choix entre cinq modalités a autant que possible été évité afin de limiter les biais de modalité médiane (tendance à choisir cette dernière).

104/191


Le guide d'entretien finalisé et les fiches supports associées sont joints en annexe.

3.4 Collecte des données : réalisation des entretiens

Prises de contact

Partant de la liste théorique d'entretiens préalablement définie (cf. plus haut), nous avons

sollicité des personnels issus de notre réseau relationnel direct ou indirect (recommandations).

Les contacts ont généralement été pris par courrier électronique. Le courriel de sollicitation

précisait le cadre général et le sujet de l'enquête, mais sans en préciser précisément les objec-

tifs de manière à préserver au maximum une parole spontanée. En effet, le mode opératoire

imposant une prise de rendez-vous se traduisant par un délai de plusieurs jours, il convenait

d'éviter toute préparation éventuelle qui aurait biaisé les informations collectées. Au total,

nous avons dû solliciter 19 personnes pour obtenir 10 entretiens (8 non-réponses ; 1 refus).

Les entretiens réalisés sont récapitulés dans le tableau ci-dessous, par ordre chronologique.

Tableau 12 : Liste des entretiens de recherche réalisés

N° Fonction Établissement d'exercice Sexe * Âge Ancienneté dans la fonction

Date Durée Lieu

1 Professeur certifié documentaliste CDDP F 46 ans 17 ans 27/04/10 32 min Lieu de travail

2 Professeur certifié de lettres Collège public (Cité scolaire) F 49 ans 25 ans 29/04/10 38 min Lieu de travail

3 Professeur certifié de sciences physiques / chimie

Collège public (Cité scolaire) F 37 ans 15 ans 14/05/10 41 min Lieu de travail

4 Proviseur de lycée Lycée d'enseignement général, technologique et professionnel public

F 60 ans 20 ans 21/05/10 41 min Lieu de travail

5 Professeur des écoles maître-formateur

École élémentaire publique F 40 ans 17 ans 23/05/10 1 h 12 min Domicile

6 Principal de collège Collège public F 52 ans 17 ans 28/05/10 46 min Lieu de travail

7 Inspecteur de l'Éducation nationale du 1er degré (IEN)

Circonscription du 1er degré H 48 ans 5 ans 31/05/10 1 h 16 min Lieu de travail

8 Inspecteur d'académie-Inspecteur pédagogique régional de sciences physiques et chimiques (IA-IPR)

Rectorat F 46 ans 4 ans 17/06/10 58 min Lieu de travail

9 Professeur des écoles École maternelle publique F 36 ans 11 ans 02/07/10 1 h 00 Domicile

10 Conseiller principal d'éducation Collège public F 43 ans 19 ans 07/07/10 1 h 08 Domicile

* F = femme ; H = homme

105/191

MARDIF Collecte des données : réalisation des entretiens

La lecture du tableau d'entretiens permet de constater que la diversification des profils selon

les variables stratégiques fonction et type d'établissement d'exercice a pu être respectée. À une

exception près, le corpus émane exclusivement de femmes, mais rien ne laisse supposer que

ce facteur soit discriminant. En revanche, l'étendue et la moyenne des modalités de la variable

d'âge (respectivement 36-60 ans et 45,7 ans) révèlent un manque de diversification, qui se

retrouve logiquement sur la variable d'ancienneté. Concernant cette dernière, il convient de

distinguer les personnels éducatifs (ancienneté moyenne : 17,3 ans) des personnels d'encadre-

ment (direction/inspection ; ancienneté moyenne : 11,5 ans) dont le recrutement par concours

ou promotion interne conduit inévitablement à retarder l'entrée dans la fonction. En particu-

lier, il aurait été intéressant de pouvoir recueillir des informations provenant de personnels

ayant suivi leur formation initiale plus récemment, notamment ayant accédé à leur fonction au

cours des dix dernières années, c'est-à-dire depuis l'apparition de PISA. Cela n'a pas été

possible faute de temps. La présence dans le corpus d'un entretien avec un cadre administratif

aurait également été intéressante, notamment pour voir si une différentiation catégorielle des

réponses se dessinait. Les personnes contactées n'ont pas répondu à la sollicitation.

Le durée moyenne des entretiens a été de 53 minutes. On notera la rupture apparue à partir du

cinquième entretien, avec une durée moyenne de 38 minutes pour les quatre premiers puis de

1 h 03 pour les six suivants. Cet allongement s'explique par l'approfondissement des relances

dans le deuxième groupe d'entretiens, déjà signalé par ailleurs.

Passation des entretiens

Les entretiens ont été enregistrés en vue de leur retranscription pour l'analyse de contenu. La

passation des entretiens a nécessité les précautions habituelles à ce genre de protocole expéri-

mental. Rappelons à cet égard que la situation d'entretien est un processus de communication

qui « déclenche une série d'interactions entre l'enquêteur et l'enquêté »190 mettant notamment

en jeu « l'idée que chacun a de l'autre, et aussi ce que chacun pense que l'autre va penser de

lui »191. Le résultat de l'enquête est donc susceptible d'être biaisé par ces interactions. En outre

les sujets sensibles (e.g. en lien avec la politique) pour lesquels la liberté de parole est habi-

tuellement limitée par les codes sociaux peuvent indisposer le répondant. Toute la difficulté

190 BERTHIER Nicole, op. cit., p. 51191 Ibid.

106/191

MARDIF Collecte des données : réalisation des entretiens

réside donc dans l'art de concilier dimension heuristique des échanges et respect de l'enquêté.

Dans le cas présent, il était d'autant plus important d'avoir ces éléments à l'esprit durant les

entretiens et d'en maîtriser si possible les effets, que notre propre appartenance aux personnels

de l'Éducation nationale pouvait ne pas être neutre dans le processus communicationnel avec

certains enquêtés, particulièrement les chefs d'établissement, malgré les précautions observées

à cet égard lors du choix des personnels sollicités. Nous nous sommes donc attaché à observer

une attitude alliant distance et neutralité bienveillante afin d'encourager sans influencer. Le

cadre général de l'enquête et les objectifs poursuivis ont été systématiquement rappelés en

début d'entretien, de même que la garantie de confidentialité. Précisons que tous les entretiens

ont pu être menés à leur terme et qu'aucune question n'a fait l'objet d'un refus de répondre.

Par ailleurs, il n'était a priori pas exclu – ce qui s'est vérifié – que certains répondants

connaissent très peu le sujet des comparaisons internationales et soient déstabilisés par le fait

d'avouer leur ignorance. Nous avons dès les premiers entretiens pris la précaution de rassurer

les personnes interrogées afin de désamorcer autant que possible ce phénomène et de

« libérer » une parole non experte. En outre, à l'issue des premiers entretiens, il s'est avéré

nécessaire d'apporter quelques éléments supplémentaires à la connaissance ou à la réflexion

des enquêtés, le sujet étant pour la plupart assez éloigné de leur quotidien professionnel. À

partir du cinquième entretien, nous avons donc introduit de nouvelles questions de relance

lorsque cela était nécessaire, ce qui peut entacher la comparabilité des deux groupes d'entre-

tiens. L'introduction possible de biais d'ordre et l'éventuel effet de halo ont, autant que

possible, été pris en compte lors de ces relances.

3.5 Dépouillement, analyse et traitement des données

Il n'existe pas de méthode universelle « clé en main » pour l'exploitation scientifique du

contenu d'entretiens. Robert et Bouillaguet rappellent que « comme toujours en analyse de

contenu […], il appartient au chercheur de définir en cours de route la méthode la plus

appropriée à son objet »192. Les entretiens réalisés ont fait l'objet d'une analyse de contenu

suivant une méthode empirique dont nous nous attacherons à décrire et justifier les compo-

santes dans ce chapitre.

192 ROBERT André, BOUILLAGUET Annick, op. cit., p. 111.

107/191

MARDIF Préparation des données : retranscription des entretiens193

3.5.1 Préparation des données : retranscription des entretiens193

Étape incontournable dans ce type de protocole expérimental, les entretiens enregistrés ont

fait l'objet d'une retranscription. Bardin194 et Berthier195 précisent à ce propos que, pour faire

l'objet d'une analyse de contenu systématique, les entretiens doivent être retranscrits intégrale-

ment, avec leurs hésitations, répétitions, fautes de syntaxe, rires, silences, etc. Ces principes

généraux ont été appliqués, avec toutefois quelque nuance. Devant la technicité du sujet, les

personnes interrogées ont souvent eu du mal à produire au pied levé un discours construit et

argumenté, la réflexion s'élaborant généralement au fil de l'énoncé. Ce phénomène n'est pas

spécifique à cette recherche mais nous avons estimé que, au vu de la problématique et des

objectifs de recherche, certains « repentirs » n'étaient en l'espèce porteur d'aucun sens singu-

lier196. Sans négliger ce constat d'ensemble lors de l'interprétation ultérieure des résultats, nous

avons fait le choix – on pourra nous le reprocher – de « gommer », ou d'atténuer, dans certains

cas, des défauts de langage répétitifs dont nous jugions ne pouvoir tirer aucune inférence et

qui altéraient inutilement la lisibilité du texte retranscrit.

3.5.2 Traitement des informations

Rappelons que cette enquête par entretiens se situait dans une perspective qualitative, aucune

analyse quantitative des données ne pouvant être tirée d'un nombre aussi réduit de réponses.

Cependant, pour faciliter l'interprétation de certains indicateurs, nous avons vu que plusieurs

questions d'enquête ont fait l'objet d'une formulation bivalente ouverte/fermée avec dans

certains cas des propositions de réponses, sur une échelle nominale ou ordinale, doublant la

réponse libre. Ces dernières n'ont toutefois pas été traitées statistiquement dans une optique

quantitative mais en appui à l'analyse de contenu effectuée sur les entretiens. Le tableau de

données issu de cette dernière ne comporte donc pas de codification conventionnelle des

variables quantitatives. La littérature sur le sujet décrit différents types d''analyse de contenu,

qui ne sont d'ailleurs pas exclusives : entretien par entretien, thématique, lexicographique, de

l'énonciation, propositionnel, par déchiffrement structural, etc. Quelle que soit la méthode

choisie, elle doit idéalement respecter certaines règles : principe d'extension (exhaustivité)197, 193 La retranscription de deux entretiens est proposée en annexe.194 BARDIN Laurence, op. cit., p. 93. 195 BERTHIER Nicole, op. cit., p. 57.196 En outre, le sujet n'est a priori pas porteur d'une forte charge émotionnelle directe. 197 L'analyse de contenu doit rendre compte de la totalité du corpus.

108/191

MARDIF Traitement des informations

fidélité (objectivité198), auto-suffisance199. Après lecture complète du corpus, compte tenu du

caractère exploratoire de la démarche, de la forte structuration des entretiens, des objectifs et

du contexte de la recherche, nous avons opté pour une analyse de contenu empirique classique

à grille d'analyse catégorielle200 , essentiellement transversale201, basée sur l'identification et

l'analyse fréquentielle de thèmes. Il convient toutefois de préciser que l'analyse fréquentielle

des thèmes portait uniquement sur la fréquence globale, c'est-à-dire sur la présence ou l'absence

des thèmes dans chaque entretien et non sur le nombre d'occurrences unitaire (par entretien) ou

cumulé (pour tous les entretiens) des thèmes. En effet, après lecture approfondie du corps, il

nous a semblé que « l'intensité » des thèmes était difficilement exploitable compte tenu de la

structure des entretiens et de la relative vacuité des argumentaires développés spontanément

dans la majorité des cas. Les relances risquaient de biaiser l'interprétation des fréquences. En

outre, ce paramètre ne nous semblait pas central au vu de la problématique posée.

Nous avons donc procédé par catégorisation des réponses selon un procédé similaire à l'ana-

lyse des réponses aux questions ouvertes d'un questionnaire. Les entretiens ont été analysés

question par question202, à la recherche d'indices permettant de catégoriser les réponses. La

grille d'analyse ainsi définie a ensuite été formalisée puis complétée sous forme de tableau de

données, dont un extrait est reproduit ci-dessous203. Compte tenu des objectifs, les réponses

n'ont pas toujours été catégorisées sous forme de modalités exclusives. En effet, pour synthé-

tiser les informations reçues en fonction du cadre de référence (questionnements de départ,

problématiques relatives aux comparaisons internationales mises en évidence dans la partie

descriptive de ce travail), des catégories juxtaposables ont parfois été constituées. Dans

certains cas, des arguments plausibles mais sans occurrence ont été reportés dans le tableau

pour en souligner l'absence quand cela semblait signifiant. Ainsi, par exemple, à la question

« Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à

l'évaluation PISA ? », il était envisageable que des causes historiques ou politiques soient

198 « L'objectivité – dont on sait qu'elle ne peut être que tendancielle – se reconnaîtrait au fait que plusieurs codeurs bien informés de la problématique enregistreraient les unités du corpus dans les mêmes catégories. » (ROBERT André, BOUILLAGUET Annick, op. cit., p. 30).

199 BLANCHET Alain, GOTMAN Anne, op. cit., p. 93.200 BARDIN Laurence, op. cit., p. 95.201 Rappelons que l'objectif primaire consistait à découvrir des éléments concernant l'ensemble de la population,

la différentiation inter-critérielle étant secondaire.202 Les réponses données à chaque question d'enquête par les dix enquêtés étaient analysées conjointement.203 Le tableau de données complet est reproduit en annexe.

109/191


invoquées après une relance explicite alors même que ce type d'arguments n'avait pas été

avancé spontanément. Le fait que ce ne fut pas le cas nous semble porteur de sens.

Tableau 13 : Tableau de données (extrait)

110/191

N° r

épon

se Questions N° d'entretien

Tota

l

Indi

cate

ur

1 2 3 4 5 6 7 8 9 10

12 3 O1

13 pas du tout 0 O114 assez peu 1 1 1 3 O115 assez 1 1 1 1 4 O116 beaucoup 1 1 1 3 O117 1 1 1 1 1 5 O1

18 1 1 1 1 4 O1

18 3a La transposition des pratiques est-elle possible ? O119 refus de principe (impossib le...) 0 O120 réticence (possib le mais difficile...) 1 1 1 3 O121 acceptation conditionnelle (possible sous certaines conditions...) 1 1 1 3 O1

22 acceptation inconditionnelle (absence d'esprit critique...) 0 O1181 28a O3

182 exprime de l'étonnement 1 1 1 1 1 5 O3183 exprime un doute sur la validité des résultats 0 O3184 exprime de l'inquiétude 1 1 1 1 4 O3185 exprime un questionnement sur les causes 1 1 1 3 O3202 30 O3

203 1 1 1 1 1 1 1 1 1 9 O3

204 0 O3

205 1 1 1 1 4 O3

206 1 1 1 3 O3

207 1 1 O3

208 1 1 2 O3

209 0 O3

210 1 1 2 O3

211 1 1 1 3 O3

212 0 O3

213 0 O3

Réponses catégorisées (1)

Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?

référence aux différences culturelles entre pays comme facteur limitatif

référence aux différences de contexte socio-démographique comme facteur limitatif

Que pensez-vous de ce résultat ? Comment jugez-vous ce résultat ?

Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?

mentionne spontanément des raisons de fond endogènes au système éducatif : pédagogie/système éducatif plus performants

mentionne spontanément des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus

proche de la logique de l'évaluation PISAmentionne spontanément des raisons exogènes au système

éducatif : culturelles/linguistiquesmentionne spontanément des raisons exogènes au système

éducatif : socio-démographiquesmentionne spontanément des raisons exogènes au système

éducatif : politiques/historiquesmentionne spontanément des raisons exogènes au système

éducatif : économiquesmentionne après question des raisons de fond endogènes au

système éducatif : pédagogie/système éducatif plus performants

mentionne après question des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus

proche de la logique de l'évaluation PISAmentionne après question des raisons exogènes au système

éducatif : culturelles/linguistiquesmentionne après question des raisons exogènes au système

éducatif : socio-démographiquesmentionne après question des raisons exogènes au système

éducatif : politiques/historiques


Qualité des données obtenues

Concernant l'étendue et, surtout, les limites de la qualité heuristique des discours produits, il

convient peut-être de rappeler que « l'entretien qui modifie les rapports entre interviewer et

interviewé modifie aussi la nature de l'information produite »204. Ce type d'interlocution

déclenche inévitablement un processus d'objectivation qui transforme l'expérience cognitive

de l'interviewé. La réponse produite est donc un discours sur l'objet et non l'objet lui-même.

En l'espèce, le fait pour des personnes d'être interrogées sur les comparaisons internationales a

certainement conduit ces dernières à réfléchir spécifiquement aux questions qui leur ont été

soumises, ce qui a pu les amener à modifier leur point de vue sur le sujet.

Plus prosaïquement, il est évidemment difficile de s'assurer de la sincérité des discours ou de

déterminer la part d'auto-censure éventuelle qui a pu biaiser le contenu des entretiens. Le

thème général de l'enquête ne mettant pas, a priori, en jeu l'intégrité psychologique ou affec-

tive des répondants, les principales sources de biais potentielles dans les réponses étaient

probablement les suivantes :

• Les positions respectives de l'enquêteur et de l'interviewé au sein de l'Éducation nationale : rappelons que notre propre appartenance à l'institution était signalée dès la prise de contact initiale et que les personnels sollicités l'ont été en tenant compte de ce paramètre. En outre, le mode d'approche par courriel laissait toute latitude aux intéressés pour ne pas répondre. On peut donc estimer ce risque plutôt faible, mais nous ne pouvons écarter l'hypothèse que notre situation professionnelle ait influé, consciemment ou non, sur certaines des réponses obtenues.

• Le devoir de réserve des fonctionnaires, qui pouvait entrer en conflit avec certains aspects liés à la dimension politique des comparaisons internationales. A une exception près205, l'analyse des discours ne laisse toutefois transparaître aucune gène majeure. Rappelons qu'aucun refus de répondre ne nous a été opposé pendant les entretiens.

Le croisement des réponses et l'analyse de cohérence interne des discours permettent généra-

lement de vérifier la fiabilité de l'information recueillie. A cet égard, il peut paraître paradoxal

de constater que certains interviewés ayant déclaré ne connaître aucun programme d'évalua-

tion internationale sur les acquis des élèves, avancent tout de même, par exemple, que les 204 SINGLY (de) François, op. cit., p. 7.205 Propos tenus par un personnel d'inspection : « ...si on m'entendait parler on pourrait croire que je vote Front

National, c'est une horreur ce que je raconte [rire]... »

111/191


résultats de ces évaluations les ont amenés à s'interroger sur leurs propres pratiques profes-

sionnelles (e.g. entretien n° 3). Nous faisons l'hypothèse que cette situation révèle une

connaissance diffuse, parfois inconsciente ou passive, des évaluations internationales –

notamment de PISA – dont les résultats sont rapportés dans les médias grand public, certes

ponctuellement mais parfois en « Une ». Comme nous le verrons par la suite, tous les répon-

dants ont par exemple semblé connaître, d'une façon ou d'une autre, les bonnes performances

des pays scandinaves (en particulier de la Finlande), même si ces performances ne sont pas

toujours rattachées précisément à l'outil ayant permis de les mesurer. D'une façon générale,

aucun élément susceptible de remettre sérieusement en cause la sincérité des discours

collectés n'a été détecté.

3.6 Interprétation des résultats

Que nous apprennent ces entretiens ? Autrement dit, que pouvons-nous inférer du tableau de

données élaboré à partir du matériel collecté ? Étant entendu qu'« il s'agit d'en tirer non des

conclusions définitives, mais des indications »206. Pour structurer l'interprétation des résultats,

nous partirons des questions de recherche.

3.6.1 Que savent les personnels interrogés des comparaisons internationales ?

Quelles sont les différentes évaluations internationales sur les acquis des élèves ? Quels en

sont les protagonistes ? Quel est leur mode de financement ? Par qui sont-elles conçues, mises

en œuvre puis exploitées ? Autant de questions dont les réponses nous semblent nécessaires à

qui souhaite en appréhender correctement les enjeux et la validité. Qu'en est-il des personnels

de l'Éducation nationale interrogés dans cette enquête ?

En préambule, il convient de rappeler que malgré la forte structuration de l'entretien, appro-

chant dans sa forme le questionnaire pour ce qui concerne les questions de connaissance, il

convient d'être prudent dans l'interprétation des résultats, dans la mesure où ni la constitution

ni la taille du groupe interviewé ne lui confèrent les qualités de représentativité d'un échan-

tillon statistique. Aucune généralisation ne peut donc en être tirée.

206 ROBERT André, BOUILLAGUET Annick, op. cit., p. 44.

112/191

MARDIF Que savent les personnels interrogés des comparaisons internationales ?

Sur les différents programmes d'évaluations internationales

Interrogées sur les programmes dont elles avaient connaissance, six personnes sur les dix ont

mentionné spontanément PISA ; deux personnes seulement ont évoqué PIRLS ; aucune n'a

déclaré connaître TIMSS. Le fait de leur proposer les sigles n'a suscité aucune activation de

connaissance passive. Plus étonnant peut-être, parmi les personnels éducatifs en contact avec

les élèves (enseignants du primaire et du secondaire, conseiller d'éducation), seule une ensei-

gnante a su mentionner un programme d'évaluation, en l'occurrence PISA. Encore faut-il

préciser qu'il s'agissait d'une enseignante maître-formateur, donc au contact du milieu univer-

sitaire (IUFM) et peut-être plus engagée dans une démarche de questionnement permanent sur

ses propres pratiques que la moyenne des enseignants. En outre, l'analyse des entretiens laisse

apparaître de nombreuses confusions ; dans plusieurs cas les répondants ont manifestement

confondu PISA ou PIRLS avec d'autres dispositifs nationaux ou internationaux d'évaluation

externe, notamment avec des évaluations en langues vivantes.

Au-delà du simple fait de connaître le nom de certains programmes d'évaluation, les répon-

dants se sont révélés très peu, et parfois mal, informés sur les comparaisons internationales.

Le programme TIMSS leur était totalement inconnu. Si ce constat d'ignorance du programme

de l'IEA n'est pas surprenant concernant la plupart des enquêtés, la France s'étant retirée de

celui-ci depuis le milieu des années quatre-vingt-dix, venant d'une inspectrice pédagogique

régionale de sciences physiques et chimiques sortie de l'ESEN207 il y a quatre ou cinq ans, il

témoigne peut-être du peu d'intérêt de l'institution pour cette évaluation. Malgré son enver-

gure internationale (67 participants en 2007), nous pouvons faire l'hypothèse que ce

programme est aujourd'hui en France une affaire de spécialistes. Nous avons donc focalisé

notre analyse sur les deux autres programmes (PISA et PIRLS) et avons extrait du tableau

général de données les indicateurs de connaissance relatifs aux caractéristiques descriptives de

ces deux enquêtes (cf. tableau ci-dessous).

207 École supérieur de l'Éducation nationale

113/191


Tableau 14 : Connaissance des caractéristiques descriptives des programmes PISA et PIRLS

N° (1)

Questions d'enquête Nbre de réponses exactes

10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ? 3

11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ? 2

12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ? 2

13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ? 2

14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ? 3

15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ? 2

16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? 1

17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ? 1

18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ? 0

19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ? 0(1) Numéro de la question dans le guide d'entretien.

Le nombre total de réponses exactes sur ces données s'élève à 16, pour 100 questions208, qui se

répartissent de la manière suivante : 12 pour PISA ; 4 pour PIRLS. Une minorité des répon-

dants a su indiquer le public évalué par ces deux évaluations (trois pour PISA ; deux pour

PIRLS). Le résultat est encore plus modeste pour ce qui concerne la périodicité des évalua-

tions : deux bonnes réponses seulement sur l'ensemble, concernant PISA. Les réponses

erronées recueillies, évoquant toutes – à une exception près – une fréquence plus élevée que la

réalité, pourraient témoigner d'un sentiment de forte présence des comparaisons internatio-

nales. D'autres éléments des discours incitent cependant à nuancer cette hypothèse du fait de

la confusion déjà évoquée avec d'autres programmes d'évaluation.

Pour ce qui concerne la connaissance des savoirs évalués, pour PIRLS les choses sont

simples : seul un répondant a indiqué la bonne réponse ; deux personnes ont évoqué les

langues vivantes ; les autres enquêtés ont déclaré ne pas savoir. Pour PISA, les données sont

plus contrastée : l'ensemble du corpus ne comporte que deux réponses exactes et complètes

(les trois domaines étant cités), mais si l'on y ajoute les réponses correctes incomplètes et les

réponses partiellement exactes, le total s'élève à six. Dans ces deux derniers cas, les répon-

dants ont su mentionner la compréhension de l'écrit209 et les mathématiques. La culture

scientifique n'est par contre jamais citée.

208 Nombre cumulé de questions : 10 questions x 10 personnes209 La formulation compréhension de l'écrit n'est donnée qu'une fois, les autres réponses mentionne le français.

114/191


Interrogés sur le nombre de pays participants à ces programmes d'évaluation, deux répondants

ont su indiquer un ordre de grandeur correct210 pour PISA, un seulement pour PIRLS. Sur les

quatre personnes ayant proposé une réponse incorrecte pour PISA, trois ont sous-évalué le

chiffre réel, indiquant entre dix et vingt participants. Neuf personnes n'ont proposé aucune

réponse pour PIRLS. Concernant l'autre acteur important des comparaisons internationales, à

savoir l'organisation qui pilote chaque programme, trois personnes ont donné spontanément la

bonne réponse pour PISA, aucune pour PIRLS, la seule réponse proposée étant l'OCDE. En

cas de déclaration d’ignorance, une liste d'organisations était proposée (cf. fiches support en

annexe). Cette liste n'a suscité qu'une seule bonne réponse supplémentaire sur l'ensemble,

réactivant de manière explicite une connaissance passive de la réponse. Les autres réponses

(IAE, UNESCO, OTAN, Union européenne) ont été faites « au jugé ». Aucune des personnes

interrogées ne connaissait l'IEA.

En résumé, les personnes interrogées ont fait preuve d'une connaissance très parcellaire des

caractéristiques des comparaisons internationales. Nous observons en outre que sur les quatre

enseignants interrogés, trois ont montré n'avoir aucune connaissance précise des caractéris-

tiques générales des comparaisons internationales (aucune réponse exacte sur les éléments

suivants : évaluations existantes, publics cibles, savoirs évalués, fréquence, organisateur,

nombre de participants). Enfin, la position dominante de PISA dans le paysage de l'éducation

comparée en France, dont nous avions cherché quelques indices par des interrogations ciblées

de moteurs de recherche internet211, semble se confirmer.

Deux autres thématiques étaient abordées pour appréhender le niveau de connaissances des

comparaisons internationales des personnels interrogés : les objectifs de PISA et les résultats

de la France à cette évaluation. Le tableau ci-dessous présente le résultat de l'analyse catégo-

rielle des entretiens relativement aux objectifs de PISA.

210 Ont été considérées comme correctes les réponses à +/- 10 unités près.211 Cf. 2.2.2.1 « Les deux principaux acteurs »

115/191


Tableau 15 : Connaissance des objectifs du programme PISA

N°

(1)

Question d'enquête

Réponses catégorisées

Nombre d'occur-rences

Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Diffèrent-ils de ceux relatifs aux autres évaluations ?

160 réponse spontanée : mentionne l'objectif opérationnel « évaluer les acquis des élèves » 3

161 réponse spontanée : mentionne l'objectif opérationnel « classer les pays en fonction de leurs performances » 4

162 réponse spontanée : mentionne l'objectif opérationnel « identifier les bonnes pratiques » 5

163 réponse spontanée : mentionne un objectif politique au-delà de l'objectif opérationnel 2

164 réponse spontanée : mentionne un objectif économique au-delà de l'objectif opérationnel 1

165 réponse spontanée : mentionne un objectif éducatif au-delà de l'objectif opérationnel 2

166 mentionne un objectif politique au-delà de l'objectif opérationnel, après question 3

167 mentionne un objectif économique au-delà de l'objectif opérationnel, après question 3

168 mentionne un objectif éducatif au-delà de l'objectif opérationnel, après question 0

169 envisage une différenciation entre les objectifs de PISA et ceux des autres évaluations internationales 5(1) Numéro de la réponse catégorisée dans le tableau de données.NB : Plusieurs objectifs ont pu être mentionnés par chaque répondant.

Il semble ici intéressant d'isoler les réponses catégorisées issues du discours spontané (lignes

n° 160 à 165) de l'ensemble incluant celles suscitées par nos relances. Il ressort des premières

que les objectifs désignés de PISA ont été les suivants, par ordre de fréquence décroissant :

« identifier des bonnes pratiques », « classer les pays en fonction de leurs performances »,

« évaluer les acquis des élèves », « objectif politique », « objectif éducatif », « objectif écono-

mique ». Si l'on inclut les réponses catégorisées apportées suites aux relances, on constate que

cinq personnes y voient des objectifs politiques et quatre des objectifs économiques, dont

voici quelques exemples :

« C'est dans le cadre d'une politique libérale. » (documentaliste, E1212)

« C'est pour que chaque pays se pose des questions sur son propre système éducatif et cherche à le faire évoluer au niveau politique. » (professeure des écoles, E5)

« Alors est-ce que c'est une comparaison de programmes, une comparaison de pédagogies, une comparaison financière, donc économique... je suppose qu'il y a un petit peu de tout derrière tout ça... » (principale de collège, E6)

212 Dans cette partie du texte, il est fait référence aux entretiens par la lettre « E » suivie du numéro de l'entretien. (e.g. : E1 = entretien n° 1)

116/191


En définitive, les personnels interrogés ont eu tendance à mentionner spontanément des objec-

tifs opérationnels (identifier les bonnes pratiques, classer, évaluer), mais en y réfléchissant

certains ont envisagé des objectifs plus politiques ou économiques. Les deux occurrences

spontanées les plus élevées sont peut-être significatives d'une intégration, même inconsciente,

du discours officiel sur PISA puisque l'identification des bonnes pratiques au moyen du clas-

sement correspond précisément aux objectifs énoncés par l'OCDE et repris par les

responsables politiques français.

La moitié des personnes interrogées déclare que les objectifs de PISA diffèrent de ceux des

autres enquêtes internationales, mais ce constat résulte davantage d'un raisonnement déductif

(justification de l'existence de plusieurs programmes d'évaluations, orientation économique de

l'OCDE...) que d'une connaissance réelle des objectifs des différentes comparaisons, comme

l'illustrent les propos reproduits ci-dessous :

« On a l'impression que PISA est plus porté vers l'avenir économique, donc former de meilleurs citoyens, disons, du monde, alors que les deux autres évaluations que je ne connais pas ont l'air d'être plus fermées sur le propre système éducatif de chacun, à savoir les acquis des élèves du pays... » (professeure des écoles, E5)

« Dans la connaissance que j'en ai, on ne teste pas les mêmes choses. Donc, pour moi, les objectifs sont différents... mais pourquoi les objectifs sont-ils différents ?... »(inspecteur de l'Éducation nationale, E7)

« Je suppose que s'ils n'évaluent pas la même chose, ils ont d'autres objectifs en tête. » (conseillère principale d'éducation, E10)

En somme, les personnes interrogées semblent avoir une connaissance plutôt diffuse des objec-

tifs de PISA, les objectifs officiels (OCDE) n'étant connus que de la moitié des enquêtés.

Sur les résultats de la France à PISA

Sur cet aspect, deux questions à réponses ordonnées étaient posées, l'une sur les derniers

résultats de la France, l'autre sur leur évolution depuis dix ans. Les résultats sont synthétisés

dans le tableau ci-dessous.

117/191


Tableau 16 : Connaissance des résultats de la France à PISA

N°

(1)

Question d'enquête

Réponses catégorisées

Nombre d'occur-rences

A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?

170 se sont nettement améliorés 0

171 se sont modérément améliorés 0

172 sont restés stables 3

173 se sont modérément dégradés 7

174 se sont nettement dégradés 0

A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ?

176 très au-dessus de la moyenne des pays participants 0

177 un peu au-dessus de la moyenne des pays participants 3

178 dans la moyenne des pays participants 1

179 un peu en dessous de la moyenne des pays participants 3

180 très en dessous de la moyenne des pays participants 1

181 ne sait pas 2(1) Numéro de la réponse catégorisée dans le tableau de données.

Premier constat, dans la majorité des cas, les résultats de la France ne sont pas connus précisé-

ment. Trois personnes situent correctement la France dans une approche globalisante de PISA

(« un peu en dessous de la moyenne des pays participants »). Six personnes fournissent une

réponse éloignée de cette réalité simplifiée communément admise. Il est intéressant de remar-

quer qu'aucun répondant n'a contesté la formulation très simplificatrice de la question, les

résultats de PISA étant généralement livrés sous forme de trois classements correspondant aux

trois grands domaines d'évaluation. Autre indice de la connaissance approximative des résul-

tats des élèves français, la moitié des répondants ont exprimé de l'étonnement lorsque le

classement à PISA 2006 leur a été présenté. La lecture des entretiens révèle que les réponses

obtenues résultent davantage d'impressions diffuses, de vagues souvenirs ou d'un sentiment

général que d'une connaissance précise et étayée des résultats des élèves français au

programme de l'OCDE, comme en témoignent les propos suivants :

« Je dirais un peu en dessous de la moyenne. On disait que ce n'était pas très bien, que ce n'était pas assez bien, qu'il fallait faire des efforts... » (documentaliste, E1)

118/191


Dans certains cas, l'avis exprimé semble même exprimer davantage un sentiment personnel

sur le niveau intrinsèque des élèves français qu'une connaissance, même approximative, des

résultats de PISA :

« C’est un peu faussé par le local. Je dirais un peu en dessous de la moyenne des pays participants. Sinon dans la moyenne mais je n’irais pas plus haut. J’aurais dit un peu en dessous. Peut être que nous sommes un peu négatifs par rapport à nos élèves, mais c’est vrai qu’on essaie d’obtenir toujours plus. » (proviseure de lycée, E4)

« ...par rapport à l'ensemble des pays, nous faisons quand même partie de la première moitié, enfin j'espère ! » (professeure des écoles, E5)

Paradoxalement, l'évolution générale des résultats de la France au cours des dix dernières

années est bien située par l'ensemble des répondants, puisque sept personnes indiquent une

dégradation modérée et trois une stabilité, ces deux résultats pouvant être considérés comme

corrects selon le domaine d'évaluation concerné. Ce constat en décalage avec la connaissance

plutôt approximative du classement des élèves français est d'autant plus étonnant qu'il ne

reflète pas les commentaires alarmistes de certains responsables politiques français lors de la

parution des résultats de PISA 2006. Faut-il y voir l'expression d'un sentiment plus général de

dégradation de la situation éducative en France de la part des personnels interrogés ?

Il ressort de cette première partie de l'analyse que les personnels interrogés ont une connais-

sance réduite et diffuse des différentes composantes des comparaisons internationales.

3.6.2 Que pensent les personnels interrogés des comparaisons internationales ?

Avant d'analyser le contenu des entretiens sur cette question, signalons que, d'une manière

générale, les répondants ont eu des difficultés à exprimer spontanément un argumentaire

construit, apparemment pris au dépourvu par un sujet le plus souvent assez éloigné de leur

quotidien professionnel. Nous avons pris le parti de ne pas analyser de manière singulière et

individualisée la forme des discours, jugeant cette dernière peu porteuse de sens compte tenu

de la problématique de recherche. Cependant, ce constat d'ensemble est, lui, significatif. Il

révèle probablement la faiblesse du questionnement et du regard critique sur les comparaisons

internationales. Nous pourrions résumer la situation en disant que, globalement, les person-

119/191

MARDIF Que pensent les personnels interrogés des comparaisons internationales ?

nels interrogés « n'en pensent pas grand chose a priori »213. Toutefois, une fois la réflexion

amorcée, des opinions ont été exprimées.

Les évaluations internationales sont-elles fiables ?

Nous avons abordé la question de la fiabilité des comparaisons internationales à travers

plusieurs thématiques : les biais liés à la méthodologie des évaluations, les biais liés au

contexte culturel, économique, historique, politique, etc., la conformité des résultats de la

France à la perception du niveau des élèves français, la comparaison en éducation. Globale-

ment, les personnes interrogées se sont montrées assez peu critiques vis-à-vis des

comparaisons internationales. La méthodologie des évaluations n'a jamais été directement

mise en cause spontanément ; les questions et problèmes liés aux instruments psychomé-

triques n'ont jamais été évoqués, même en cas de relance orientée, que ce soit à propos des

résultats de la France à PISA 2006, dans les questionnements sur les causes possibles des

différences de classement ou sur le principe de la comparaison en éducation. Ces aspects

semblent donc être ignorés des répondants. D'ailleurs, neuf interviewés sur les dix ont

invoqué des causes endogènes au système d'enseignement (pédagogie, place de l'élève dans le

système, effectifs des classes, système de notation/peur de l'erreur des petits Français, etc.)

pour expliquer les différences de résultats entre pays, ce qui semble indiquer qu'un certain

crédit soit accordé aux évaluations internationales. À partir du cinquième entretien nous avons

essayé de savoir si le principe même de la comparaison en éducation était considéré comme

problématique. Aucune invalidité de principe de la comparaison n'a été avancée. Les argu-

mentaires proposés se sont partagés à part égale entre une acceptation conditionnée par le

respect de certaines précautions – attitude que nous pourrions qualifier de raisonnée – et l'ab-

sence de réflexion critique (acceptation de principe). Le seul aspect spécifiquement

méthodologique, évoqué par la moitié des interviewés, concerne un possible biais de plus

grande adaptation des évaluations à certains systèmes éducatifs. Mais cette hypothèse est rare-

ment envisagée spontanément.

« Mais comment sont-ils évalués ? J'aimerais bien savoir ça ! C'est-à-dire que peut-être que dans un système, ça va être un type d'évaluation qui va être bien connu des élèves, mais que nous, par exemple, on ne manipule pas ou on ne domine pas. Et là, forcément...

213 Il convient néanmoins de nuancer ce constat en ce qui concerne les deux personnels d'inspection, manifestement plus engagés dans la réflexion sur ces questions.

120/191


oui, ça c'est possible aussi... oui, je n'y avais pas pensé, effectivement. » (professeure de collège, E2)

Il semble donc que la rhétorique de contestation méthodologique et l'argumentaire de l'invali-

dité scientifique des comparaisons déployés en France à la suite des deux premiers cycles de

PISA (2000 et 2003) n'aient laissé que peu de traces parmi les enquêtés. En revanche, d'autres

facteurs explicatifs, exogènes au système éducatif, ont été avancés pour expliquer les diffé-

rences de classement. Ces facteurs sont essentiellement liés au contexte socioculturel,

historique et économique du pays (argument avancé par neuf personnes). Parmi ceux-ci, l'as-

pect culturel arrive en tête comme facteur limitant la validité des comparaisons internationales

(cité par sept personnes). La difficulté de la langue française comparativement à d'autres

langues a été mentionnée par deux personnes comme pouvant expliquer en partie le piètre

classement français en compréhension de l'écrit. Il convient toutefois de préciser que ces para-

mètres n'étaient pas invoqués comme biais invalidant les évaluations d'un point de vue

technique mais bien comme facteur explicatif en limitant la portée. L'importance accordée à

ce type d'arguments est d'ailleurs aisément mesurable aux réponses apportées à la question de

savoir si les différences économiques, culturelles, historiques, etc., d'un pays à l'autre peuvent

expliquer les différences de résultats des pays qui participent aux évaluations internationales.

Les personnes interviewées ont toutes répondu par l'affirmative : sept personnes ont déclaré y

voir une explication substantielle ; trois une explication décisive. A cet égard, nous relevons

par exemple les propos suivants :

« Comment ça se passe d'un point de vue culturel ? Ce qu'on va faire dans un pays ou dans un autre... comment... déjà comment l'enseignement se passe dans chaque pays ? Comment les évaluations sont faites dans chaque pays ? Ça me paraît difficile d'avoir quelque chose d'assez homogène. […] Après, l'éducation, c'est aussi lié à la société, à la façon de vivre dans un pays... » (documentaliste, E1)

« L'histoire d'un pays peut faire que l'éducation prend du retard, ne se met pas en place tout de suite, ce n'est pas la priorité, ou au contraire il ne faut surtout pas que les jeunes pensent trop. » (professeure de collège, E2)

« Pour la Corée et le Japon, par exemple, ce sont des pays dans lesquels il faut travailler, le travail est super important. J'ai en tête un reportage que j'avais vu où un élève qui ne réussit pas se suicide parce que c'est un déshonneur. » (professeure de collège, E3)

« Peut-être qu'un pays comme la Finlande, qui économiquement doit, je pense, dépendre des autres, développe plus une culture scientifique pour pouvoir travailler pour d'autres

121/191


pays. Je mettrais ça en lien avec le développement économique. » (professeure des écoles, E5)

Les répondants semblent donc avoir conscience des facteurs exogènes au système éducatif qui

influent sur sa performance. Cependant, ces réponses semblent parfois données davantage en

réaction à un classement jugé décevant et, peut-être, décourageant, que comme résultat d'une

réflexion documentée et aboutie.

« J'ai tendance à répondre avec une note d'espoir, en me disant que si cela ne fonctionne pas, cela doit être lié aussi à d'autres raisons que celles inhérentes au système éducatif. » (professeure des écoles, E5)

« C'est difficile parce que quand on voit les pays qui sont au-dessus, on se dit au premier abord que c'est notre système éducatif qui ne va pas du tout. Et là c'est inquiétant. Quand je vois ça, ça m'inquiète, alors je ne veux pas y croire, je ne veux pas me dire que notre système éducatif ne fonctionne pas du tout. Même si on sait qu'il y a beaucoup de choses à revoir, il y a quand même des choses qui fonctionnent. […] quand je regarde ça, je suis obligée de répondre oui. » (principale de collège, E6)

Mais cette même professeure des écoles nous dit un peu plus loin :

« Dans la comparaison des résultats, on a tendance à mettre en avant les différences culturelles, politiques, historiques, sociales, géographiques, etc., et pendant ce temps-là, on ne parle toujours pas des pratiques pédagogiques... mais cela veut dire que l'on remet en cause les enseignants, c'est difficile […] si on n'arrive pas au même résultat, il ne va pas falloir comparer uniquement les contenus et le contexte, il va falloir également comparer la manière d'enseigner ! […] Moi, je me dis qu'il faut tenir compte d'autres comparaisons que celles qui sont en rapport avec les facteurs historiques, sociaux, géographiques, économiques... Il faut pouvoir comparer les pratiques pédagogiques et les modes d'apprentissage chez les élèves. »

En résumé, dans l'ensemble, les personnels interrogés n'ont pas vraiment mis en cause la vali-

dité interne des évaluations internationales sur les acquis des élèves, dont les fondements

psychométriques paraissent leur échapper. Mais ils semblent en relativiser les résultats du fait

des différences culturelles et structurelles entre pays qui en limitent la comparabilité.

Les évaluations internationales sont-elles utiles ?

D'une façon générale, la connaissance des performances des autres pays est perçue comme

une source d'enrichissement et d'amélioration de son propre système, mais à divers degrés.

Les réponses à choix multiples proposées ont été choisies à parts équilibrées entre trois moda-

122/191


lités ordonnées (3 assez peu, 4 assez, 3 beaucoup), les différences culturelles et socio-démo-

graphiques étant avancées comme facteur limitatif dans l'argumentaire développé par neuf

personnes sur les dix.

« On n'est pas là pour refaire immédiatement ce qu’ont fait les autres, car on a notre culture, la culture des élèves... On a différents paramètres sociaux et éducatifs, mais je pense qu’une expérience est toujours bonne à prendre et à analyser. » (proviseure de lycée, E4)

« Il faut aussi un minimum de connaissance de la culture, des rythmes scolaires, qui ne sont certainement pas les mêmes... Vous voyez, on n’est pas du tout dans les mêmes systèmes scolaires, donc la comparaison est difficile parce qu'on ne sait pas quel est le facteur qui permet de dire si l'enfant est en meilleure réussite dans un pays que dans un autre. » (professeure des écoles, E5)

Ces éléments sont logiquement corroborés par les discours tenus sur la transposition des

pratiques par les six enquêtés avec qui cette question a été abordée explicitement. Là encore,

les arguments oscillent entre réticence (possible mais difficile) et acceptation conditionnelle

(possible sous certaines conditions), aucune position extrême d'adhésion ou de rejet de prin-

cipe n'a été enregistrée.

« Je ne pense pas qu’on puisse adopter des solutions aussi facilement que ça. Je pense qu’il faut tenir compte justement des cultures […] Mais je pense que certaines pourraient être adoptées. » (proviseure de lycée, E4)

L'existence d'évaluations comparatives internationales sur les acquis des élèves est jugée

profitable pour les pays participants par neuf des dix interviewés, mais la moitié d'entre-eux

ont nuancé leur discours en précisant que l'intérêt théorique de telles comparaisons ne se

concrétisait pas toujours dans la réalité, ce relativisme pouvant être mis en lien avec les argu-

ments exposés précédemment. Deux personnes ont exprimé des réticences, particulièrement

vis-à-vis du classement. Le risque de voir certains professeurs ou systèmes adapter leur ensei-

gnement dans un but de réussite aux évaluations sans autres finalités et objectifs éducatifs n'a

été évoqué que par un répondant (personnel d'inspection).

Le lien entre comparaisons internationales et réformes éducatives en France est perçu par huit

des dix personnels interrogés, cinq d'entre-eux y voyant une influence importante. Cette

vision semble toutefois résulter davantage d'une déduction logique que d'une connaissance

123/191


étayée et précise des rapports d'influence entre réformes et comparaisons. Ainsi, le socle

commun de connaissances et de compétences ou, plus généralement, l'approche par compé-

tences, dont le lien avec PISA est établi, n'ont été cités que par trois personnes comme ayant

un rapport avec les évaluations internationales. Autre exemple, la remise en cause du redou-

blement, dont la corrélation à de mauvais résultats dans PISA est relativement médiatisée,

n'est présente que dans un seul argumentaire. A contrario, l'autonomie des établissements,

souvent présente dans l'argumentaire gouvernemental au titre des enseignements à tirer de

PISA, n'est mentionnée par aucun répondant.

L'idée d'une accélération du rythme des réformes, c'est-à-dire de réformes en gestation dont le

contenu n'est pas directement relié aux comparaisons internationales mais dont le calendrier

de mise en œuvre a pu être modifié par ces dernières, a été évoqué par une principale de

collège. L'argumentaire de l'instrumentalisation des réformes par les responsables politiques a,

quant à lui, été avancé par un personnel d'inspection estimant que l'influence des évaluations

internationales porte davantage sur les objectifs des réformes que sur leur contenu (effet d'an-

nonce).

La légitimité de l'influence éventuelle des comparaisons internationales sur les réformes

éducatives en France n'a été contestée par aucun des répondants, ce qui témoigne sans doute

également de la faible remise en cause de leur fiabilité et de l'intégration globale de l'idée

selon laquelle les comparaisons peuvent être utiles. Le pilotage par les résultats serait donc

globalement intégré par les enquêtés. En revanche, les quatre personnes qui se sont exprimées

sur ce sujet ont estimé que l'influence des résultats de la France aux évaluations internatio-

nales sur les réformes conduites par le ministère de l'Éducation nationale n'était pas explicite.

3.6.3 Quel est l'impact des comparaisons internationales sur les personnels interrogés ?

Globalement, les personnes interrogées disent se sentir professionnellement concernées par

les comparaisons internationales : sept personnes se sont déclarées assez concernées ou très

concernées. Une enseignante de collège a déclaré ne pas être concernée par le sujet, mais cette

réponse était probablement biaisée par la position de la question posée en début d'entretien,

sur un sujet très peu maîtrisé par l'intéressée ; d'autres réponses de cette personne laissent

124/191

MARDIF Quel est l'impact des comparaisons internationales sur les personnels interrogés ?

plutôt transparaitre l'importance accordée à ces évaluations, tout au moins en théorie. La

distribution des réponses graduées à la question de savoir si les résultats obtenus par la France

aux évaluations internationales telles que PISA ont amené les enquêtés à s'interroger sur leurs

pratiques professionnelles est relativement équilibrée, allant du pas du tout au beaucoup. Elle

comporte cependant quelques réponses surprenantes parfois en décalage par rapport au

contenu des entretiens. L'analyse de ces derniers nous a conduit à nuancer le bilan ordinal en

fonction de l'approche métier. Chez les personnels éducatifs, qui sont dans la mise en œuvre,

au contact des élèves, les arguments avancés semblent illustrer davantage une intention de

principe qu'un réel investissement réflexif ou actionnel :

« Même si je n'y connais absolument rien, je pense que je suis très concernée. » (professeure de collège, E3)

« Je me sens assez concernée. C'est plus une inquiétude par rapport au système français... » (professeure des écoles, E5)

« À mon niveau ?... peu concernée puisque je n'en ai pas connaissance... […] Il s'agit beaucoup du secondaire. En maternelle, on ne considère pas que l'on puisse apporter une solution... » (professeure des écoles, E9)

« Disons que, dans ce que je peux entendre ou lire, mais ça c'est rare parce qu'il y a très peu de publications qui arrivent jusqu'à nous sur ce sujet là, j'ai toujours une oreille attentive sur les comparaisons éducatives, mais de là à être concernée précisément par l'évaluation, non... » (conseillère principale d'éducation, E10)

Les argumentaires développés témoignent d'un sentiment d'éloignement, voire peut-être d'im-

puissance, face à des résultats nationaux obtenus dans un cadre international. Du côté des

cadres, le discours est sensiblement différent. Même si l'opérationnalisation des intentions

déclarées resterait à vérifier, l'existence de ces comparaisons semble avoir un impact plus

concret sur leurs missions, notamment du point de vue du pilotage de l'établissement (person-

nels de directions) ou du système (personnels d'inspection).

« Il est forcé que tout ce que l’on peut apprendre par ces différentes évaluations, à un moment, joue dans l’impulsion que l’on peut donner à une action ou à une autre, obligatoirement. » (proviseure de lycée, E4)

« Très concernée, c'est sûr. Mais juste sur celle que je connais, parce que cela nous permet de faire un comparatif par rapport à nos taux de redoublement, etc. […] L'intérêt c'est de pouvoir nous situer par rapport à d'autres pays, pour pouvoir travailler au niveau du pilotage de l'établissement. Cela permet d'avoir des indicateurs pour les enseignants, puis de pouvoir éventuellement aller chercher des informations dans

125/191

MARDIF Quel est l'impact des comparaisons internationales sur les personnels interrogés ?

d'autres pays pour savoir comment ils fonctionnent. C'est un référent, quand même. » (principale de collège, E6)

« Inspection des personnels, évaluations nationales, formation-animation des personnels [...] seraient liée à l'exploitation de ces évaluations nationales, pilotage des écoles ou des groupes dans une moindre mesure. » (inspecteur de l'Éducation nationale, E7)

« Le fait de parler de ces évaluations, d’en analyser les résultats et d’en parler aux enseignants, c’est quand même quelque chose d’important pour qu’ils prennent conscience du pourquoi des méthodes qu’on veut impulser. » (inspectrice pédagogique régionale, E8)

L'impact des comparaisons internationales sur les intéressés diffère donc assez largement d'un

corps de métier à l'autre et semble liés aux fonctions occupées.

3.6.4 Différentiation inter-catégorielle des réponses

L'objectif de ce travail n'étant pas de mesurer les différences inter-catégorielles de réception

des comparaisons internationales, il ne saurait être question de tirer des enseignements précis

de cette recherche en ce sens. Signalons néanmoins que les argumentaires les plus étayées ont

généralement été développés par les cadres, notamment les deux personnels d'inspection. En

particulier, trois des quatre entretiens menés avec des enseignants ont mis en évidence une

absence quasiment totale de connaissance des caractéristiques descriptives des principaux

programmes d'évaluations internationales. La seule enseignante ayant montré une assez bonne

connaissance des spécificités et enjeux de PISA est par ailleurs maître-formateur. Nous pouvons

raisonnablement supposer que ce statut particulier explique, au moins en partie, cette singula-

rité. Enfin, le niveau général d'information des deux chefs d'établissement, tant sur la définition

des programmes d'évaluation que sur les enjeux sous-jacents, nous a semblé quelque peu en

retrait au regard du rôle central de pilotage et d'impulsion de ces personnels dans le système

éducatif. Ce constat illustre sans doute l'emprise des difficultés quotidiennes de direction d'un

établissement sur leur activité. Mais il est peut-être aussi le révélateur d'une posture – volontaire

ou non – à dominante très actionnelle parmi ces personnels, qui pourrait les éloigner d'un sujet

jugé peu opérationnel.

En résumé, il ressort des entretiens que les comparaisons internationales semblent perçues par

les personnels interviewés comme des instruments de connaissance plutôt utiles dont la fiabi-

126/191

MARDIF Différentiation inter-catégorielle des réponses

lité scientifique est globalement acceptée, même si l'opérationnalisation des enseignements

qui peuvent en être tirés doit être envisagée avec prudence, notamment la transposition des

« bonnes pratiques » qui doit être conditionnée par une analyse contextualisée de chaque

situation nationale. Les caractéristiques générales (qui, quoi, quand, comment, pourquoi ?...)

sont généralement très peu maîtrisées ; les problèmes épistémologiques et les enjeux poli-

tiques analysés dans la partie descriptive de ce travail (difficultés d'échantillonnage, biais

linguistiques et socioculturels214, problèmes méthodologiques, glissement des finalités éduca-

tives, emprise d'une vision techniciste sur le politique et mise à l'écart du débat démocratique,

modification des rapports entre acteurs du système éducatif, instrumentalisation...) ne

semblent pas perçus par la plupart des personnes interrogées, dont la réflexion paraît circons-

crite à la périphérie du sujet. L'impact individuel sur les personnels interrogés semble

globalement plus intentionnel (théorique) que concret (pratique).

3.7 Discussion des résultats

Vu la spécificité du sujet et sa complexité si l'on cherche à en comprendre précisément les

tenants et les aboutissants, ces résultats ne nous semblent pas surprenants. Ils confirment pour

l'essentiel une intuition inscrite en filigrane derrière notre problématique et que nous avions

fait le choix de ne pas poser comme hypothèse de recherche. Rappelons toutefois le caractère

exploratoire de cette recherche. Les résultats exposés ici sont à confirmer par une enquête de

plus grande ampleur.

Par ailleurs, il reste à les expliquer. À cet égard, l'analyse des sources d'information des répon-

dants sur les comparaisons internationales semble pouvoir apporter quelques éléments de

compréhension et d'interprétation des développements précédents. Les sources mentionnées

sont plutôt variées dans leurs modalités, avec neuf citations pour la presse grand public (télé,

radio, presse écrite) et neuf citations pour les sources professionnelles, mais imprécises. Parmi

les sources professionnelles, il convient de distinguer les sources institutionnelles (publica-

tions, sites internet, notes, circulaires...), citées par six personnes, de la presse professionnelle

ou spécialisée, qui n'est évoquée que par trois répondants. Les « Cahiers pédagogiques » sont

cités par trois personnes, « Le Monde de l'éducation » par deux répondants, mais plutôt

214 Les différences culturelles étant davantage perçues comme facteur explicatif et un frein à la transposition que comme obstacle épistémologique questionnant l'instrument.

127/191

MARDIF Discussion des résultats

comme source générale d'information professionnelle qu'en référence à des articles précis sur

les comparaisons internationales. Ce constat d'ensemble explique peut-être certaines des

observations faites jusqu'ici. La faible part accordée à la presse professionnelle ou spécialisée

n'est sans doute pas l'indice d'une connaissance documentée et d'un avis éclairé sur le sujet.

D'autant que l'absence de sources institutionnelles précises dominantes dans les réponses des

enquêtés tend à montrer que, malgré les enjeux, aucune information interne systématique n'est

destinée aux personnels215, ce qui peut surprendre.

Le traitement des comparaisons internationales par les médias grand public est jugé insuffi-

sant en termes de fréquence par neuf enquêtés et qualitativement non satisfaisant par tous les

répondants. Les critiques adressées à l'encontre de ces médias portaient sur le caractère

simpliste (réduction au classement), négatif, voire orienté, des analyses proposées. En voici

quelques extraits illustratifs :

« Le problème c'est, comme toujours dans les médias, on nous dit : " voilà, la France va se situer... au 27ème rang " par exemple, et puis voilà, c'est tout. On dira qu'on a des progrès à faire et on ne va pas plus loin, on ne creuse pas... » (documentaliste, E1)

« On a tendance à alarmer la population française en disant que les acquis des petits Français ne sont pas bons aujourd'hui. C'est bien de médiatiser tout ça mais on oublie de dire qu'il y a des choses qui vont bien quand même. [...] C'est la manière dont les informations issues de ces évaluations sont véhiculées qui me semble gênante, pour un Français lambda qui regarde la télévision. » (professeure des écoles, E5)

« C'est sensationnel, émotionnel, voilà : " la France est derrière la Roumanie ! " D'accord, mais allons voir un d'un peu plus près ; comparons ce qui est comparable ! [...] c'est trop simpliste de faire ce genre de comparaison. » (inspecteur de l'Éducation nationale, E7)

Concernant plus particulièrement la presse professionnelle ou spécialisée, les avis exprimés

sur la fréquence des articles ont été plus contrastés, le traitement étant jugé suffisant par la

moitié des interviewés et satisfaisant dans la majorité des cas (sept sur dix). Les critiques

éventuellement exprimées recouvraient celles relatives aux médias grand public. La plupart

des personnels interrogés semble donc surtout déplorer la vision simpliste et parfois négative

proposée au public par les grands médias dont les répercussions en termes d'image sont sans

doute mal vécues par les professionnels de l'éducation. Le fait que les personnels interrogés se

215 Les notes d'information de la DEPP, par exemple, ne font pas l'objet d'une diffusion systématisée sur les boîtes aux lettres électroniques professionnelles des personnels.

128/191

MARDIF Discussion des résultats

déclarent globalement plutôt satisfaits du traitement des comparaisons internationales par la

presse professionnelle ou spécialisée alors que, comme le montrent les entretiens, ils sont

objectivement assez peu informés, nous éclaire peut-être sur certains constats faits ici. D'une

part cela révèle, sans surprise, que ces évaluations ne sont pas un élément central de la

réflexion des professionnels interrogés sur leurs pratiques quotidiennes ; elles semblent

perçues davantage comme instrument de politique générale que comme outil de mise en pers-

pective d'une réalité locale, d'impulsion ou d'évolution de l'action individuelle. D'autre part,

cela tend à montrer que les personnels qui se sont exprimés ici n'ont pas conscience des

dimensions épistémologiques et des enjeux politiques des évaluations internationales. Bien

que prévisible intuitivement, ce constat, s'il devait se confirmer par d'autres recherches, est

assez préoccupant compte tenu des conséquences implicites – évoquées par ailleurs – que peut

avoir ce type d'approche comparatiste.

3.8 Discussion sur la méthodologie

Avant de conclure, il convient sans doute de nous interroger sur la méthodologie mise en

œuvre, au vu des résultats de cette enquête. Plusieurs options méthodologiques peuvent être

questionnées. Ainsi, le choix effectué en amont d'interroger des personnels relevant de diffé-

rents métiers, ou occupant différentes fonctions, est sans doute discutable. Peut-être eut-il été

plus judicieux de restreindre la population parente et de s'en tenir, par exemple aux ensei-

gnants sans chercher à diversifier le corpus, tout au moins avant d'avoir atteint, le cas échéant,

le point de saturation dans cette catégorie professionnelle. Cette solution aurait présenté

l'avantage d'approfondir la question et de diversifier les points de vue recueillis au sein de

cette catégorie de personnels. De plus, le nombre très réduit de personnels de chaque caté-

gorie ne permet pas d'écarter le risque qu'il s'agisse de cas atypiques. En revanche, cette

réduction de la focale restreignait grandement le panorama. Les éléments de différenciation

catégorielle esquissés dans cette enquête mériteraient d'être confirmés et approfondis par

d'autres recherches, mais leur émergence nous semble d'ores et déjà intéressante.

Le guide d'entretien très structuré pouvait s'apparenter par certains aspects à un questionnaire

mais la conduite de l'entretien était plus ouverte et plus orientée vers la dimension heuristique

des échanges (relance etc.). Compte tenu des difficultés inhérentes à la conduite d'entretien,

129/191

MARDIF Discussion sur la méthodologie

nous n'avons sans doute pas toujours évité les nombreux écueils propre à ce type de démarche.

En particulier, nous avons dû approfondir notre stratégie de relance après les premiers entre-

tiens, estimant le matériel alors collecté assez pauvre. Cette évolution entache certainement la

comparabilité transversale du corpus et doit nous conduire à relativiser l'analyse inter-catégo-

rielle effectuée. Certains thèmes auraient peut-être mérité un approfondissement lors des

entretiens (e.g. les enseignements que les enquêtés tirent de PISA). En outre, nous pouvons

nous interroger sur la maîtrise – suffisante ou non – des biais d'enquêteur, l'une des difficultés de

la démarche ayant résidé dans le fait de donner suffisamment d'informations pour alimenter la

réflexion lorsque le matériel spontané était pauvre ou inexistant, sans influencer l'interlocuteur

ni biaiser les questions de connaissance (biais d'ordre des thèmes, effet de halo, biais de formu-

lation...).

Le choix de l'analyse catégorielle est sans doute critiquable du fait des limites difficilement

dépassables de ce type de méthode. Bardin rappelle en effet que cette technique laisse « dans

l'ombre une partie de la richesse d'information propre à ce type d'investigation. […] La mani-

pulation thématique revenant […] à jeter l'ensemble des éléments signifiants dans une sorte

de " sac à thèmes ", détruisant définitivement l'architecture cognitive et affective des

personnes singulières »216. Une autre méthode aurait-elle permis d'exploiter de façon plus effi-

cace les données brutes collectées compte tenu des contraintes matérielles et temporelles ? La

grille d'analyse catégorielle élaborée présente à notre sens quelques insuffisances, qui nous

ont parfois contraint à des retours sur les entretiens lors de la phase d'interprétation des résul-

tats.

Cette analyse rétrospective, ces réserves et ces questionnements, sans invalider les résultats de

notre recherche, nous conduisent à la prudence quant à leur portée. Ces résultats demandent à

être confirmés par d'autres recherches, avec d'autres choix méthodologiques, pour multiplier

les perspectives et croiser les points de vue. Ils présentent toutefois l'intérêt d'avoir permis de

défricher un terrain d'investigation qui, à notre connaissance, était encore vierge. En dépit de

ses limites méthodologiques, cette enquête balise, nous l'espérons, la voie pour de futurs

recherches.

216 BARDIN Laurence, op. cit., p. 95

130/191

MARDIF Conclusion

4 CONCLUSIONPartant du constat de la succession des réformes structurelles et curriculaires du système

éducatif en France au cours des dernières décennies, à l'instar de celles conduites dans de

nombreux pays étrangers, nous nous interrogions sur l’impact des comparaisons internatio-

nales sur les politiques éducatives nationales. La revue de la littérature sur les évaluations

comparatives internationales a mis en évidence la complexité d'un sujet aux multiples dimen-

sions épistémologiques et politiques, notamment l'imbrication de difficultés conceptuelles et

méthodologiques sources de controverses entre experts et d'enjeux politiques pour partie

implicites voire masqués.

Nous avons vu que, outre les problèmes conceptuels propres à tous les instruments psychomé-

triques, un certain nombre de questions méthodologiques caractérisent plus spécifiquement

les évaluations internationales sur les acquis des élèves, en particulier la définition des

contenus supposés être assimilés (connaissances, compétences, aptitudes ? en référence à un

programme scolaire, à des « attendus » sociaux ou professionnels ?) et le choix de la popula-

tion étudiée (définie selon l'âge ou l'année de scolarisation). Les choix méthodologiques

opérés par les concepteurs des évaluations présentent différents avantages. Aucun n'est

exempt d'inconvénients. En l'occurrence, les choix différents effectués par les donneurs

d'ordre des différents programmes d'évaluation ne sont pas neutres ; ils influent sur les résul-

tats sans qu'il soit possible actuellement d'en maîtriser totalement les paramètres. Surtout,

l'option retenue par l'OCDE d'évaluer des compétences hors de toute référence curriculaire a

pour conséquence d'asseoir l'édifice instrumental du programme PISA sur un construit théo-

rique – la notion de compétence – dont la charge culturelle est difficilement maîtrisable, ce

qui met en question la comparabilité effective des résultats. A ces difficultés fondamentales

s'ajoutent des problèmes plus techniques liés à la maîtrise des biais sociolinguistiques et cultu-

rels introduits par les items.

Par ailleurs, nous avons pu constater que ce type d'approche comparatiste s'inscrit dans un

mouvement plus large de changement des modes de gestion des politiques publiques, généra-

lement désigné par le vocable de nouvelle gouvernance, se traduisant concrètement par

l'avènement du management par les résultats. Ce faisant les comparaisons internationales ont

131/191

MARDIF Conclusion

pour conséquences implicites, entre autres, un changement de perspective quant aux finalités

de certains systèmes éducatifs, un déplacement des centres de décision échappant à tout débat

démocratique et la modification des rapports entre acteurs du système éducatif. Plus générale-

ment, ce sont les conceptions et finalités éducatives nationales qui sont remises en cause.

Comme l'observe Cussó, « dans un contexte où l’évaluation devient une des principales tech-

niques d’orientation de l’action », les institutions internationales envisagent l’éducation

principalement comme « un facteur de régulation sociale, ce qui laisse au deuxième plan sa

dimension historique et politique, produit des préférences et des tensions idéologiques et

culturelles de chaque société »217. Une autre critique importante adressée à l'encontre des

évaluations internationales sur les acquis des élèves, notamment de PISA, concerne le carac-

tère simpliste et excessivement réducteur du classement des participants sur une échelle

unidimensionnelle. De nombreux auteurs (Cytermann, Goldstein, Mons, Normand, Rocher,

Vrignaud...) insistent sur la nécessiter de privilégier une approche plus interprétative et

contextualisée des comparaisons internationales, qui permettrait de mieux saisir les facteurs

de réussite et la valeur ajoutée de chaque système d'enseignement et d'en mesurer les progrès.

Pour tenter d'apporter quelques éléments de réponse à notre questionnement initial sur l'im-

pact des comparaisons internationales en France, nous avons envisagé différents types

d'expérimentation. Compte tenu des recherches existantes dans ce domaine et des contraintes

avec lesquelles il nous fallait composer, nous avons choisi de réaliser une enquête exploratoire

par entretiens auprès de personnels de l'Éducation nationale pour appréhender la réception des

comparaisons internationales par ces professionnels. Les principaux enseignements qui

semblent pouvoir en être tirés sont les suivants : les personnels interrogés se sont montrés

globalement assez peu informés sur les différents programmes d'évaluations existants, tant du

point de vue de leurs caractéristiques générales (public ciblé, acquis évalués, organisateurs,

participants, etc.) que des enjeux épistémologiques ou politiques sous-jacents. Les person-

nels interrogés n'ont pas opposé de rejet systématique aux évaluations internationales sur les

acquis scolaires. Le principe de la comparaison, les instruments édumétriques utilisés ou les

choix méthodologiques et conceptuels effectués pour ces dernières n'ont pas été remis fonda-

mentalement en cause. Leur fiabilité est globalement acceptée. Elles paraissent généralement

217 CUSSÓ Roser, « Les statistiques de l’éducation de l’UNESCO: restructuration et changement politique », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 68.

132/191

MARDIF Conclusion

considérées comme plutôt utiles, mais leur intérêt semble résider davantage dans leurs

qualités heuristiques qu'opérationnelles, notamment du fait des freins à la transposition des

pratiques souvent invoqués par les répondants au premier rang desquels se trouvent les diffé-

rences socio-culturelles entre pays. À cet égard, les personnels interrogés ne renieraient sans

doute pas l'avis de Goldstein, pour qui « les études comparatives internationales sur les résul-

tats scolaires doivent être conçues comme une occasion d'acquérir des connaissances

essentielles sur les raisons des différences qui existent entre les pays et non comme une

compétition pour savoir qui arrive premier au tableau d'honneur »218. L'impact des comparai-

sons internationales sur les pratiques et questionnements professionnels des personnels

interrogés s'est avéré le plus souvent limité. Ces constats semblent toutefois devoir être

contrastés en fonction des différentes catégories de personnels. Les personnels les plus direc-

tement au contact des élèves (enseignants, CPE) se sont montrés, à l'exception d'une

enseignante maître-formateur, les moins informés et les moins engagés dans une réflexion

systémique sur ces comparaisons, restant généralement focalisés sur une vision très action-

nelle de cette problématique.

Nous espérons que cette enquête, dont la portée est certes limitée par son ampleur et dont les

résultats doivent être considérés avec prudence, aura permis de poser quelques jalons pour des

recherches ultérieures. Les quelques constats exposés ici restent à confirmer et à affiner. Il

serait en tout premier lieu indispensable de vérifier les résultats provenant de ce corpus réduit

à l'aide d'une enquête de plus grande ampleur, par questionnaires et/ou entretiens. Il serait

également intéressant de pouvoir vérifier les hypothèses de différenciation inter-catégorielle

qui semblent se dessiner ici.

Un autre axe de recherche nous semble également intéressant. Nous n'avons pas exploré ici le

contenu affectif du corpus collecté, alors que cette approche pourrait également être riche

d'enseignements. Les réactions des personnels interviewés face aux résultats de PISA 2006

qui leur ont été soumis lors de l'entretien mériteraient d'être analysées, par exemple au moyen

d'une étude lexicographique des termes employés, afin d'en décrypter les dominantes (étonne-

ment, déception, découragement, intérêt...).

218 GOLDSTEIN Harvey, « Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d'informations fiables ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p.75.

133/191

MARDIF Conclusion

Au-delà du constat factuel, diverses questions se posent pour expliquer, comprendre, et

surtout pallier, ce probable éloignement des professionnels de l'enseignement vis-à-vis d'un

outil d'évaluation dont les conséquences à moyen terme sur le système éducatif français pour-

raient ne pas être anodines, comme nous l'avons montré : cet éloignement résulte-t-il d'un

manque de temps ? d'un manque de motivation pour un sujet perçu comme très général et peu

opérationnel ? de la complexité technique du sujet ? d'une volonté du politique d'en maîtriser

les tenants et aboutissants ? A cet égard, compte tenu de la généralisation des modes de

communication électronique, on pourra s'étonner du manque d'information des personnels par

voie institutionnelle descendante sur ces questions219. Il nous semblerait important qu'une

information systématique et suffisamment étayée soit transmise aux (futurs) professionnels de

l'enseignement lors des formations initiales et/ou continues.

Les comparaisons internationales, tout particulièrement PISA, ne sont pas un simple instru-

ment de mesure « objective » des acquis des élèves, mais bien un outil d'évaluation des

performances du système éducatif au service du politique. Face aux difficultés que doit

affronter l'école dans une société désorientée en butte aux crises de la postmodernité, la tenta-

tion d'imputer la responsabilité de résultats collectifs jugés insuffisants aux pratiques

individuelles des professionnels du système d'enseignement peut être grande. Le manque d'in-

térêt ou de maîtrise de ces derniers pour un instrument qui pourrait leur être opposé et dont les

conséquences sur les finalités de leur action sont peut-être déterminantes nous semble quelque

peu préoccupant.

Ces questions ne concernent pas uniquement les professionnels de l'éducation. Elles mérite-

raient d'être posées à tous les citoyens, et tout particulièrement aux plus directement impliqués

dans le fonctionnement de notre démocratie : les élus. Ce qui constitue également une piste de

recherche à explorer.

219 Le constat fait ici nous semble au demeurant corroborer une réalité plus générale, empiriquement constatée, concernant les lacunes de nombreux enseignants français vis-à-vis de l'environnement institutionnel dans lequel s'inscrit leur activité professionnelle.

134/191

MARDIF Sigles et acronymes

SIGLES ET ACRONYMES

ADEA Association for the Development of Education in AfricaALL Adult Literacy and Life Skills Survey (OCDE)CERI Centre for Educational Research and Innovation

Centre de l'OCDE pour la recherche et l’innovation dans l’enseignementCITE Classification internationale type de l’éducationCIVED Civic Education Study (IEA)COFEMEN Conférence des ministres de l'éducation des pays ayant le français en partageDEPP Direction de l'évaluation, de la prospective et de la performance (MEN)EHESS École des hautes études en sciences socialesETS Educational Testing ServiceEU-27 Les 27 États membres de l’Union européenne après le 1er janvier 2007Eurostat Office statistique des Communautés européennesFDI Fonctionnement différentiel des itemsFIMS First International Mathematics Study (IEA)FISS First International Science Study (IEA)IAEP International Assessment of Educational Progress (ETS)

Programme d'évaluation internationale du progrès éducatifIALS International Adult Literacy Survey (OCDE)ICCS International Civic and Citizenship Education Study (IEA)IEA International Association for the Evaluation of Educational Achievement

Association internationale pour l’évaluation du rendement scolaire, ouAssociation internationale pour l’évaluation des compétences scolaires

IIEP International Institute for Educational Planning (UNESCO)Institut international de planification de l’éducation de l’UNESCO

INES Indicators of Education Systems (programme d'indicateurs sur l'éducation de l'OCDE)

IREDU Institut de Recherche sur l’Éducation (Université de Bourgogne)IRT Item Response Theory (en français, voir TRI)IUE Institut de l'UNESCO pour l'Éducation, IUL depuis 2006 (en anglais, voir UIE)IUL Institut de l'UNESCO pour l'apprentissage tout au long de la vie, IUE jusqu'en

2006 (en anglais, voir UIL)LES Languages Education StudyLLECE Laboratorio Latinoamericano de Evaluación y Calidad Educativa (UNESCO)MEN Ministère de l'Éducation nationaleMOC Méthode ouverte de coordinationMRI Modèle de réponse à l'itemOEI Organización de Estados Iberoamericanos para la Educación, la Ciencia y la

CulturaPASEC Programme d’analyse des systèmes éducatifs des États et gouvernements

membres de la CONFEMEN PIB Produit intérieur brutPIRLS Progress in International Reading Literacy Study (IEA)PISA Programme for International Student Assessment (OCDE)

135/191

MARDIF Sigles et acronymes

Programme international pour le suivi des acquis des élèvesPLF Projet de loi de financesPPA Parités de pouvoir d’achatPPP Pre-Primary Project (IEA)RERPESE Réseau européen des responsables des politiques d'évaluation des systèmes

éducatifsRNB Revenu national brutSACMEQ Southern and Eastern Africa Consortium for Monitoring Educational QualitySERCE Segundo Estudio Regional Comparativo y ExplicativoSIMS Second International Mathematics Study (IEA)SISS Second International Science Study (IEA)SITES Second Information Technology in Education Study (IEA)SPA Standard de pouvoir d’achatSSE Système statistique européenTEDS-M Teacher Education and Development Study in Mathematics (IEA)TIC Technologies de l’information et de la communicationTIMSS Trends in International Mathematics and Science Study (IEA)

Initialement intitulée : Third International Mathematics and Science StudyTRI Théorie de la réponse à l'item (en anglais, voir IRT)UIE UNESCO Institute for Education, UIL depuis 2006 (en français, voir IUE)UIL UNESCO Institute for Lifelong Learning, UIE jusqu'en 2006 (en français, voir

IUL)

136/191

MARDIF Bibliographie

BIBLIOGRAPHIE

OuvragesBARDIN Laurence, L'analyse de contenu, Paris, PUF, Quadrige, 2007.

BAUDELOT Christian, ESTABLET Roger, L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales, Paris, Seuil, 2009.

BERNAUD Jean-Luc, Introduction à la psychométrie, Paris, Dunod, 2007.

BERTHIER Nicole, Les techniques d'enquête en sciences sociales. Méthodes et exercices corrigés, Paris, Armand Colin/VUEF, 2002.

BLANCHET Alain, GHIGLIONE Rodolphe, MASSONNAT Jean, TROGNON Alain, Les techniques d'enquête en sciences sociales, Paris, Dunod, 2005.

BLANCHET Alain, GOTMAN Anne, L'enquête et ses méthodes. L'entretien, Paris, Armand Colin, 2007.

CHAMPY Philippe, ÉTÉVÉ Christiane, (s. d.), Dictionnaire encyclopédique de l'éducation et de la formation, Paris, Nathan/Vuef, 2001.

DEROUET Jean-Louis , NORMAND Romuald, (s. d.), L'Europe de l'éducation : entre management et politique, Lyon, INRP, ESEN, 2007.

LANDSHEERE (de) Viviane, Faire réussir – Faire échouer. La compétence minimale et son évaluation, Paris, Presses Universitaires de France, 1988.

MIALARET Gaston, Les méthodes de recherche en sciences de l'éducation, Paris, PUF, « Que sais-je ? », n° 3699, 2004.

Ministère de l'Éducation nationale, Repères et références statistiques sur les enseignements, la formation et la recherche (RERS 2009), Paris, DEPP, 2009.

MONS Nathalie, Les nouvelles politiques éducatives. La France fait-elle les bons choix ?, Paris, PUF, 2007.

National Research Council, Methodological advances in cross-national surveys of educational achievement. Board on International Comparative Studies in Education. A.C. Porter and A. Gamoran Editors. Board on Testing and Assessment, Center for Education, Division of Behavioral and Social Sciences and Education. Washington, DC: National Academy Press, 2002. Consultable en ligne sur le site Google livres (http://books.google.fr)

RAYNAL Françoise, RIEUNIER Alain, Pédagogie : dictionnaire des concepts clés, Paris, ESF éditeur, 1997.

ROBERT André D., BOUILLAGUET Annick, L'analyse de contenu, Paris, PUF, « Que sais-je ? », n° 3271, 1997.

SINGLY (de) François, L'enquête et ses méthodes. Le questionnaire, Paris, Armand Colin, 2008.

VAN DAELE Henk, L'éducation comparée, Paris : PUF, « Que sais-je ? », n° 2786, 1993.

137/191

http://books.google.fr/


Articles

BARROSO João, de CARVALHO Luis Miguel, « PISA : un instrument de régulation pour relier des mondes », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 77-80.

BAUTIER Élisabeth , CRINON Jacques, RAYOU Patrick, ROCHEX Jean-Yves, « Performances en littéracie, mode de faire et univers mobilisés par les élèves ; analyses secondaires de l'enquête PISA 2000 », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 85-101.

BOTTANI Norberto, « Le niveau d’huile, le moteur et la voiture : les enjeux d’une évaluation de la qualité de l’enseignement par les indicateurs », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 9-22.

BUISSON-FENET Hélène, « L’éducation scolaire au prisme de la science politique : vers une sociologie politique comparée de l’action publique éducative ? », dans Revue internationale de politique comparée, 2007/3, Volume 14, p. 385-397.

CHARLIER Jean-Émile, « La douce violence de la “Méthode ouverte de coordination” et de ses équivalents », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 5-11.

CUSSÓ Roser, « Les statistiques de l’éducation de l’UNESCO: restructuration et changement politique », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 57-72.

GAUTHIER Roger-François, « Quelle évaluation du système éducatif ? », dans Cahiers français, n° 344, Paris, La Documentation française, 2008.

GOASTELLEC Gaëlle, PARADEISE Catherine, « L'enseignement : une réalité de plus en plus internationale ? », dans Cahiers français, n° 344, Paris, La Documentation française, 2008.

GOLDSTEIN Harvey, « Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d'informations fiables ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p.69-76.

GREGER David, « Lorsque PISA importe peu. Le cas de la République tchèque et de l'Allemagne », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 91-98.

KETELE (de) Jean-Marie, « L'évaluation conjuguée en paradigmes », dans Revue française de pédagogie, n° 103, INRP, 1993, p. 59-80.

LIMA Léa, STEFFEN Monika, « Comparaisons internationales en politiques publiques : stratégies de recherche, méthodes et interprétation », dans Revue internationale de politique comparée, 2004/3, Volume 11, p. 339-348.

MAHIEU Céline, MOENS Frédéric, « De la libération de l’homme à la libéralisation de l’éducation. L’éducation et la formation tout au long de la vie dans le discours et les pratiques européennes », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 35-55.

MAROY Christian, MANGEZ Catherine, « Rationalisation de l'action publique ou politisation de la connaissance ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 87-90.

138/191


MASTERS Goeff N., « Élaboration d'échelles de mesure et agrégation dans les études de l'IEA : critique du rapport du professeur Goldstein », dans Études et documents d'éducation, n° 63, Paris, UNESCO, 1995.

MICHEL Alain, « L'ouverture internationale et la construction européenne », dans Le système éducatif en France, Paris, La Documentation française, 2006.

MONS Nathalie, « Évolution des politiques éducatives et comparaisons internationales », dans Revue française de pédagogie, n° 164, INRP, 2008, p.5-13.

MONS Nathalie, « L’évaluation des politiques éducatives. Apports, limites et nécessaire renouvellement des enquêtes internationales sur les acquis des élèves », dans Revue internationale de politique comparée, 2007/3, Volume 14, p. 409-423.

MOREAU Jean, NIDEGGER Christian, SOUSSI Anne, « Définition des compétences, choix méthodologiques et retombées sur la politique scolaire en Suisse », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 43-54.

MURAT Fabrice, « L’évaluation des compétences des adultes : des méthodes en plein développement », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 85-96.

NORMAND Romuald, « Les comparaisons internationales de résultats : problèmes épistémologiques et questions de justice », dans Éducation et sociétés, n°12, De Boeck Université, 2003, p. 73-89.

NUSSBAUM Martha, « Une crise planétaire de l'éducation », dans Courrier international, n° 1025, 24-30 juin 2010, p.33.

PRENZEL Manfred, ZIMMER Karin, « Études complémentaires de PISA 2003 en Allemagne : principaux résultats et enseignements », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 55-70.

RÉMOND Martine, « Éclairage des évolutions internationales PIRLS et PISA sur les élèves français », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 71-84.

ROCHER Thierry, « Que nous apprennent les évaluations internationales sur le fonction-nement des systèmes éducatifs ? Une illustration avec la question du redoublement », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 63-68.

ROCHEX Jean-Yves, « PISA et les enquêtes internationales. Enjeux scientifiques, enjeux politiques », dans Revue française de pédagogie, n° 164, INRP, 2008, p. 81-85.

ROLF V. Olsen, SVEIN Lie, « Les évaluations internationales et la recherche en éducation : principaux objectifs et perspectives », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 11-26.

ROLLOT Catherine, de VERGES Marie, « Les performances scolaires de la France selon l'enquête PISA 2006 », dans Cahiers français, n° 344, Paris, La Documentation française, 2008.

SAUVAGEOT Claude, DALSHEIMER Nadine, « La situation éducative de la France comparée à celle d’autres pays de l’Union européenne ou de l’OCDE », dans Éducation et formations, n° 78, MEN, DEPP, 2008, p. 23-44.

139/191


SCHRIEWER Jürgen, « L’internationalisation des discours sur l’éducation : adoption d’une " idéologie mondiale " ou persistance du style de " réflexion systémique " spécifiquement nationale ? », dans Revue française de pédagogie, n° 146, INRP, 2004, p. 7-26.

THELOT Claude, « L'évaluation du système éducatif français », dans Revue française de pédagogie, n° 107, INRP, 1994.

VRIGNAUD Pierre, « La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? », dans Revue française de pédagogie, n° 157, INRP, 2006, p. 27-41.

Rapports et documents à diffusion ciblée

BOTTANI Norberto, VRIGNAUD Pierre, La France et les évaluations internationales, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, La Documentation Française, 2005. En ligne : http://lesrapports.ladocumentationfrancaise.fr/BRP/054000359/0000.pdf

CYTERMANN Jean-Richard, DEMEUSE Marc, La lecture des indicateurs internationaux en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2005. En ligne : http://cisad.adc.education.fr/hcee/documents/rapport_Cytermann_Demeuse.pdf

DEMEUSE Marc, Introduction aux théories et aux méthodes de la mesure en Sciences psychologiques et en Sciences de l’Éducation, Notes de cours, Institut de recherche en éducation (IREDU), Université de Bourgogne, mise à jour janvier 2008. En ligne :http://iredu.u-bourgogne.fr/images/stories/Documents/Cours_disponibles/Demeuse/Cours/p6.1.2.pdf

DESMET Hugiette, LAHAYE Willy, POURTOIS Jean-Pierre, Les points-charnières de la recherche scientifique, Cours de méthodologie du MARDIF, Faculté de Psychologie et des Sciences de l'Éducation, Université de Rouen, 2008.

GOLDSTEIN Harvey, Résultats scolaires : interprétation des comparaisons internationales, Études et documents d'éducation, n° 63, Paris, UNESCO, 1995.

MARTENS Kerstin, NIEMANN Dennis, « Governance by Comparison – How Ratings &Rankings can Impact National Policy Making in Education », Article présenté lors du Congrès annuel de l'International Studies Association, ISA's 50th Annual convention « Exploring the past, anticipating the future », New York Marriott Marquis, New York, NY, USA, 15/02/2009. En ligne : http://convention2.allacademic.com/one/isa/isa09/index.php?click_key=1&PHPSESSID=fe8ec10134d2044d49a34f2f47683574

MONS Nathalie, PONS Xavier, La réception de Pisa en France, Rapport dans le cadre du projet européen Know&Pol (Knowledge and Policy), 2009. En ligne : http://www.knowandpol.eu/fileadmin/KaP/content/Scientific_reports/Orientation3/PISA.WP12.France.Version_francaise.pdf

PAIR Claude, Forces et faiblesses de l'évaluation du système éducatif en France, Rapport pour le Haut Conseil de l'Évaluation de l'École, Paris, 2001. En ligne : http://cisad.adc.education.fr/hcee/documents/pairdef.doc

ROSS N. Kenneth, JÜRGENS GENEVOIS Llona, Cross-national studies of the quality of education : planning their design and managing their impact, IIEP, UNESCO, 2006. En ligne : http://www.unesco.org/iiep

140/191

http://www.unesco.org/iiep

http://cisad.adc.education.fr/hcee/documents/pairdef.doc

http://www.knowandpol.eu/fileadmin/KaP/content/Scientific_reports/Orientation3/PISA.WP12.France.Version_francaise.pdf

http://www.knowandpol.eu/fileadmin/KaP/content/Scientific_reports/Orientation3/PISA.WP12.France.Version_francaise.pdf

http://convention2.allacademic.com/one/isa/isa09/index.php?click_key=1&PHPSESSID=fe8ec10134d2044d49a34f2f47683574

http://convention2.allacademic.com/one/isa/isa09/index.php?click_key=1&PHPSESSID=fe8ec10134d2044d49a34f2f47683574

http://iredu.u-bourgogne.fr/images/stories/Documents/Cours_disponibles/Demeuse/Cours/p6.1.2.pdf

http://cisad.adc.education.fr/hcee/documents/rapport_Cytermann_Demeuse.pdf

http://lesrapports.ladocumentationfrancaise.fr/BRP/054000359/0000.pdf


Sitographie

Centre international d'études pédagogiques, bibliographie sur les évaluations internationales : http://www.ciep.fr/bibliographie/langueval_inter.php

Conférence des ministres de l'éducation des pays ayant le français en partage (COFEMEN) : http://www.confemen.org/

Institut international de planification de l’éducation (IIPE/UNESCO) : http://www.iiep.unesco.org/fr/abboutiiep/about-iiep.html

International Association for the Evaluation of Educational Achievement (IEA) : http://www.iea.nl/

KNOW&POL (Knowledge and policy) : http://www.knowandpol.eu/

Laboratorio Latinoamericano de Evaluación y Calidad Educativa (LLECE) : http://llece.unesco.cl/esp

Legifrance (textes législatifs et réglementaires français) : http://www.legifrance.gouv.fr/

Ministère de l’Éducation nationale, Bulletin officiel : http://www.education.gouv.fr/pid285/le-bulletin-officiel.html

Ministère de l’Éducation nationale, Portail de l'évaluation Éduc-Éval : http://www.educ-eval.education.fr/

Ministère de l’Éducation nationale, rubrique Évaluation et statistiques : http://www.education.gouv.fr/pid53/evaluation-et-statistiques.html

Ministère de l’Éducation nationale, rubrique L'évaluation globale du système éducatif : http://www.education.gouv.fr/cid265/l-evaluation-globale-du-systeme-educatif.html

Organisation de coopération et de développement économique (OCDE) :http://www.oecd.org/

Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) : http://www.oei.es/index.php

Programme pour le suivi des acquis des élèves (PISA/OCDE) : http://www.pisa.oecd.org/

PRomotion des Initiatives Sociales en Milieux Educatifs (PRISME) : http://www.prisme-asso.org/

Réseau européen des responsables des politiques d’évaluation des systèmes éducatifs : http://www.reva-education.eu/

Southern and Eastern Africa Consortium for Monitoring Educational Quality (SACMEQ) : http://www.sacmeq.org/

TIMSS & PIRLS International Study Center : http://pirls.bc.edu/

141/191

http://pirls.bc.edu/

http://www.sacmeq.org/

http://www.reva-education.eu/

http://www.prisme-asso.org/

http://www.pisa.oecd.org/

http://www.oei.es/index.php

http://www.oecd.org/


http://www.education.gouv.fr/pid53/evaluation-et-statistiques.html

http://www.educ-eval.education.fr/

http://www.education.gouv.fr/pid285/le-bulletin-officiel.html

http://www.legifrance.gouv.fr/

http://llece.unesco.cl/esp

http://www.knowandpol.eu/

http://www.iea.nl/

http://www.iiep.unesco.org/fr/abboutiiep/about-iiep.html

http://www.confemen.org/

http://www.ciep.fr/bibliographie/langueval_inter.php

MARDIF Annexes

ANNEXES

142/191

MARDIF Annexes

Annexe 1 : Principales enquêtes internationales sur les acquis des élèves

Année Désignation Comman-ditaire / pilotage

Public cible(âge ou niveau)


éducatifs)


1960 Étude pilote UNESCO 13 ans 12 Compréhension de l'écrit, mathématiques, sciences, géographie, raisonnement non verbal

1964 First International Mathematics Study (FIMS)

IEA 13 ansfin du secondaire

12 Mathématiques

1970-1971

Six-Subject Survey IEA 10 ans14 ansfin du secondaire

19 - Sciences : First International Science Study (FISS)

15 - Compréhension de l'écrit

10 - Littérature

9 - Anglais langue étrangère

8 - Français langue étrangère

11 - Instruction civique

1980-1982

Second International Mathematics Study (SIMS)

IEA 13 ansfin du secondaire

20 Mathématiques

1981-1983

Classroom Environment Study

IEA 5ème à 8ème année (~9-15 ans)

10 Mathématiques, sciences, histoire

1983-1984

Second International Science Study (SISS)

IEA 10 ans14 ansfin du secondaire

23 Sciences

1985 Written Composition Study

IEA fin du primairefin de la scolarité obligatoirefin du secondaire

14 Rédaction

1988 International Assessment of Educational Progress (IAEP-I)

ETS 13 ans 6 (12) Mathématiques, sciences

1989-2003

Pre-Primary Project (PPP)

IEA suivie de cohortes d'enfants de 4 à 7 ans

15 Éducation préscolaire institutionnelle

1989 Computers in Education Study – Phase 1


21 Technologies de l'information et de la communication (TIC)

1991 Reading Literacy Study IEA 9 ans14 ans

31 Lecture

1991 International Assessment of Educational Progress (IAEP-II)

ETS 9 ans13 ans


1992 Computers in Education Study – Phase 2


12 Technologies de l'information (informatique)

143/191

MARDIF Annexes




éducatifs)


1993-2007

Programme d’analyse des systèmes éducatifs des États et gouvernements membres de la CONFEMEN (PASEC)

COFEMEN 8 ans11 ans (notamment)

17 Mathématiques, français (notamment)

1994 International Adult Literacy Survey (IALS) I

OCDE Adulte 9 Compréhension de l'écrit

1995 Third International Mathematics and Science Study (TIMSS)

IEA 9 ans (3ème et 4ème année)13 ans (7ème et 8ème année)fin du secondaire


1995-1996

Pupils' achievements in English as a foreign language

RERPESE fin de la scolarité obligatoire

4(Europe)

Anglais langue étrangère

1995-1998

Enquête SACMEQ-I SACMEQ 12 ans 7(Afrique australe)

Lecture/écriture

1996 International Adult Literacy Survey (IALS) II

OCDE Adulte 5 Compréhension de l'écrit

1996-1998

Primer EstudioInternacional Comparativosobre Lenguaje, Matemática yFactores Asociados

OEI / LLECE

3ème année4ème année(6-7 ans)

13(Amérique latine,

Caraïbes)

Mathématiques, langue maternelle

1996-1997

Civic Education Study (CIVED) - Phase 1

IEA 14 ans16-20 ans

24 Instruction civique

1998 International Adult Literacy Survey (IALS) III

OCDE Adultes(16-65 ans)

9 Compréhension de l'écrit

1999 Third International Mathematics and Science Study Repeat (TIMSS-R)

IEA 8ème année(13-14 ans)


1996-1997

Civic Education Study (CIVED) - Phase 2

IEA 14 ans16-20 ans

29 Instruction civique

1999-2004

Enquête SACMEQ-II SACMEQ 12 ans 14(Afrique australe)

Lecture/écriture, mathématiques

2000 Programme international pour le suivi des acquis des élèves (PISA)

OCDE 15 ans 32 Compréhension de l'écrit (majeur), mathématiques, sciences


IEA 4ème année (~9 ans)

36 Lecture

2002 The assessment of pupils’skills in english in eight european countries 2002

RERPESE fin de la scolarité obligatoire

8(Europe)

Anglais langue étrangère


IEA 4ème année8ème année(~9 ans, 13 ans)


144/191

MARDIF Annexes




éducatifs)


2003 Adult Literacy and Life Skills Survey (ALL)

OCDE Adultes(16-65 ans)

6 Compréhension de l'écrit, résolution de problèmes, maîtrise des TIC


OCDE 15 ans 41 Compréhension de l'écrit, mathématiques (majeur), sciences, résolution de problèmes

2004-2008

Segundo Estudio Regional Comparativo y Explicativo (SERCE)

OEI / LLECE

3ème année6ème année(6 ans, 9 ans)

17 Mathématiques, langue maternelle, sciences naturelles



45 Lecture


OCDE 15 ans 57 Compréhension de l'écrit, mathématiques, sciences (majeur)




2007-2009

Enquête SACMEQ-III SACMEQ 12 ans 14(Afrique australe)

Lecture/écriture, mathématiques

2008 Trends in International Mathematics and Science Study (TIMSS) – Advanced 2008

IEA fin du secondaire 10 Mathématiques, sciences

2008-2009

International Civic and Citizenship Education Study


38 Instruction civique , citoyenneté


OCDE 15 ans 65 Compréhension de l'écrit (majeur), mathématiques, sciences



Mathématiques, sciences



Lecture


OCDE 15 ans Compréhension de l'écrit, mathématiques (majeur), sciences

2013 International Computer and Information Literacy Study (ICILS)


Maîtrise des technologies de l'information et de la communication


OCDE 15 ans Compréhension de l'écrit, mathématiques, sciences (majeur)

Source : Bottani/Vrignaud (2005), COFEMEN, Goldstein (1995), IEA, Mons (2004), OCDE, OEI, SACMEQNB : La période indiquée est celle de collecte des données, lorsqu'elle est connue.

145/191

MARDIF Annexes

Annexe 2 : Pays membres de l'OCDE

classés par ordre alphabétique 220

1. Allemagne (1961)2. Australie (1971)3. Autriche (1961)4. Belgique (19615. Canada (1961)6. Corée (1996)7. Danemark (1961)8. Espagne (1961)9. États-Unis (1961)10. Finlande (28 janvier 1969)11. France (1961)12. Grèce (septembre 1961)13. Hongrie (1996)14. Islande (1961)15. Irlande (1961)

16. Italie (1962)17. Japon (1964)18. Luxembourg (1961)19. Mexique (1994)20. Norvège (1961)21. Nouvelle-Zélande (1973)22. Pays-Bas (1961)23. Pologne (1996)24. Portugal (1961)25. République Slovaque (2000)26. République Tchèque (1995)27. Royaume-Uni (1961)28. Suède (1961)29. Suisse (1961)30. Turquie (1961)

classés par ordre décroissant de contribution au budget 2010 de l'Organisation

1. États-Unis (23.9 %)2. Japon (13.1 %)3. Allemagne (9.0 %)4. Royaume-Uni (7.1 %)5. France (6.8 %)6. Italie (5.5 %)7. Espagne (3.9 %)8. Canada (3.8 %)9. Corée (2.7 %)10. Mexique (2.6 %)11. Australie (2.4 %)12. Pays-Bas (2.2 %)13. Suisse (1.6 %)14. Belgique (1.5 %)15. Suède (1.5 %)

16. Norvège (1.4 %)17. Autriche (1.3 %)18. Pologne (1.2 %)19. Turquie :1.2 %)20. Danemark (1.1 %)21. Grèce (1.1 %)22. Finlande (0.9 %)23. Irlande (0.9 %)24. Portugal (0.8 %)25. République tchèque (0.6 %)26. Nouvelle-Zélande (0.6 %)27. Hongrie (0.5 %)28. Luxembourg (0.3 %)29. République slovaque (0.3 %)30. Islande (0.2 %)

220 Entre parenthèses : année d'adhésion.

146/191

MARDIF Annexes

Annexe 3 : Pays représentés au sein de l'IEA

AFRIQUE DU NORD ET PROCHE-ORIENT1. Égypte2. Émirats Arabes Unis3. Iran4. Israël5. Jordanie6. Koweït7. Maroc8. Palestine (Autorité palestinienne)9. Qatar

AFRIQUE SUBSAHARIENNE10. Afrique du Sud11. Botswana12. Kenya13. Nigeria

AMÉRIQUE14. Brésil15. Canada16. Chili17. Colombie18. États-Unis d'Amérique19. Mexique

ASIE20. Armenie21. Chine22. Corée (République de)23. Georgie24. Hong-Kong25. Indonésie26. Japon27. Kazakhstan28. Malaisie29. Philippines30. Singapour31. Taïwan32. Thaïlande

AUSTRALASIE33. Australie34. Nouvelle-Zélande

EUROPE35. Allemagne36. Angleterre37. Autriche38. Belgique (Communauté française)39. Belgique (Flamande)40. Bosnie Herzegovine41. Bulgarie42. Chypre43. Croatie44. Danemark45. Écosse46. Espagne47. Estonie48. Finlande49. France50. Grèce51. Hongrie52. Irelande53. Islande54. Italie55. Lettonie56. Lithuanie57. Luxembourg58. Macedoine59. Norvège60. Pays-Bas61. Portugal62. Republique Tchèque63. Roumanie64. Russie65. Slovaquie66. Slovénie67. Suède68. Turquie

147/191

MARDIF Annexes

Annexe 4 : Illustration des biais linguistiques

Extrait de : GOLDSTEIN Harvey, « Comment peut-on utiliser les études comparatives internationales pour doter les politiques éducatives d'informations fiables ? », dans Revue française de pédagogie, n° 164, INRP, 2008, p.72.

148/191

MARDIF Annexes

Annexe 5 : Guide d'entretien

149/191

MARDIF Annexes

150/191

MARDIF Annexes

151/191

MARDIF Annexes

152/191

MARDIF Annexes

153/191

MARDIF Annexes

154/191

MARDIF Annexes

155/191

MARDIF Annexes

156/191

MARDIF Annexes

Annexe 6 : Fiches support annexées au guide d'entretien

Fiche support : questions n° 10/15/20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA/PIRLS/TIMSS ?

les élèves âgés de 7 ans les élèves âgés de 8 ans les élèves âgés de 9 ans les élèves âgés de 10 ans les élèves âgés de 11 ans les élèves âgés de 12 ans les élèves âgés de 13 ans les élèves âgés de 14 ans les élèves âgés de 15 ans les élèves âgés de 16 ans les élèves âgés de 17 ans

les élèves qui sont dans leur 2ème année de scolarité les élèves qui sont dans leur 3ème année de scolarité les élèves qui sont dans leur 4ème année de scolarité les élèves qui sont dans leur 5ème année de scolarité les élèves qui sont dans leur 6ème année de scolarité les élèves qui sont dans leur 7ème année de scolarité les élèves qui sont dans leur 8ème année de scolarité les élèves qui sont dans leur 9ème année de scolarité les élèves qui sont dans leur 10ème année de scolarité les élèves qui sont dans leur 11ème année de scolarité les élèves en dernière année de cycle primaire les élèves en dernière année de cycle secondaire inférieur les élèves en dernière année de cycle secondaire supérieur des élèves de différents âges/niveaux ne sait pas

Fiche support : questions n° 13/18/23 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA/PIRLS/TIMSS ?

tous les ans tous les 2 ans tous les 3 ans

tous les 4 ans tous les 5 ans ne sait pas

Fiche support : questions n° 14/19/24 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA/PIRLS/TIMSS ?

Banque mondiale Conseil de l'Europe FMI G20 IAE OCDE

ONU OTAN UNESCO Union européenne ne sait pas

157/191

MARDIF Annexes

Fiche support : question n° 28

Voici le classement de la France à l'évaluation PISA 2006.

158/191

MARDIF Annexes

Annexe 7 : Entretien n° 2221

Enquêteur : KERGALL Emmanuel Date : 29/04/2010 Durée : 38 min N° d'ordre : 2

Fonction : Professeur certifié de lettres Âge : 49 ans Ancienneté /la fonction : 25 ans

Établissement d'exercice : Collège public (au sein d'une cité scolaire)

Nombre d'élèves (établissement scolaire) : 550

Nous commencerons par quelques questions d'ordre général.

1 Spontanément, quel(s) programme(s) d'évaluation internationale sur les acquis des élèves pouvez-vous citer ?

Là, comme ça, aucun... rien, rien ne me vient...

PISA, cela vous dit quelque chose ?Non, PISA ?

PIRLS ?Non.

TIMSS ?Non.

2 Compte tenu de vos fonctions, à quel degré vous estimez-vous concerné(e) par les évaluations internationales sur les acquis des élèves ?

…

Compte tenu du fait que vous ne les connaissez pas, répondez à partir de la définition que je vous en ai donnée (enquêtes ayant pour objet d'évaluer, notamment par des tests standardisés spécifiques, les acquis des élèves de différents pays).Oui, ça y est, PIRLS, en anglais... Cela me revient parce que, en 3ème, des élèves ont été choisis au collège pour participer à cette évaluation. Ça y est, ça me revient. Donc, on reprend la question. Je dirais, a priori pas tellement concernée, non... non... Je trouve que ces dispositifs, en tout cas celui dont j'ai entendu parler, c'est en langue, je trouve que ça peut être cohérent, dans une langue étrangère, sur différents pays... l'apprentissage d'une langue étrangère, les méthodes : au bout de tant d'années on voit que les élèves en sont à tel point, ne savent pas se débrouiller... donc ça veut dire qu'on peut travailler sur la méthode, etc. En lettres, en français, c'est spécifique quand même... enfin... ce sont des études littéraires, donc, franchement, non, je ne me sens pas concernée par ça.

Pourtant il existe des comparaisons de la maîtrise de la langue maternelle...Donc on compare l'apprentissage de la langue maternelle dans chaque pays ? D'accord. Alors là, non, c'est vrai que je n'avais jamais envisagé ça.

Donc, votre réponse spontanée c'est « pas concernée du tout » ?Oui.

221 Deux entretiens sont retranscrits dans ces annexes à titre d'exemple.

159/191

MARDIF Annexes

3 Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?

C'est forcément une remise en cause, une interrogation sur notre système. Si je comprends bien la question – vous me dites si vous voyez que je m'égare – si au bout de tant d'années on se rend compte que des gamins – je pense en particulier aux gamins en échec scolaire – si on s’aperçoit que dans un pays il n'y en a quasiment pas, ça veut dire qu'il faut réfléchir à notre système depuis le début ; essayer de voir, de comparer comment fonctionne ce système là par rapport au nôtre, comprendre pourquoi on n'y arrive pas... Il y a un article sur l'école en Suède, justement, là-dessus... Alors ça veut dire peut-être prendre en charge les gamins plus tôt, différemment, des classes moins chargées... considérer l'élève autrement... enfin, il y des tas de pistes, d'interrogations... Donc oui, c'est intéressant de comparer, de ce point de vue là.

Et plus précisément, pour revenir à la question qui était « dans quelle mesure... », si je vous propose les réponses suivantes : pas du tout, assez peu, assez, beaucoup ?Beaucoup... oui.

4 Dans l'ensemble, pensez-vous que l'existence d'évaluations comparatives internationales sur les acquis des élèves soit profitable pour les pays participants ?

Et bien... oui... oui.

Pourquoi ?Oui, parce que ces résultats, il faut les interpréter et il faut en tirer les conséquences. Si c'est uniquement pour dire « voilà où on en est » puis ne rien en faire, ça n'a aucun intérêt, me semble-t-il.

Donc ça serait peu profitable, plutôt profitable ou très profitable ?J'ai envie de dire très profitable.

Nous allons aborder la question de la diffusion des informations relatives aux comparaisons internationales.

5 Quelles sont vos sources d'informations sur la question des comparaisons internationales ?

Mes sources d'information ? Mis à part ce dont j'ai parlé tout à l'heure, au cours d'un conseil de classe... Voilà, je vais vous raconter comment ça c'est passé : j'ai appris que cette évaluation comparative existait parce que des élèves, qui avaient été sélectionnés tout à fait par hasard, ne voulaient pas entrer dans ce système-là, râlaient. Et la collègue avait vraiment du mal à leur faire comprendre que ce n'était pas elle qui les testait mais que c'était... Donc, c'est comme ça que j'ai su que ça existait. Donc, il n'y a pas une information d'officielle qui m'en parle.

6 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?

Plutôt insuffisante.

Pourquoi ?Parce qu'on en n'entend absolument pas parler. On n'entend pas parler des résultats, on n'entend pas parler de ce que ça peut produire. Vraiment pas du tout. Le fait que vous me disiez qu'il y a des évaluations sur la langue maternelle... je n'étais même pas au courant ! Donc, j'ai l'impression que c'est très... enfin, je me trompe peut-être, mais que c'est très fermé, que c'est très confidentiel, en fait. Vous voyez, dans mon établissement, on ne le sait pas, on le sait par hasard.

7 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?

160/191

MARDIF Annexes

Pas du tout satisfaisante. Alors quand on en entend parler, parce que je suppose que quand on nous dit « en France, les élèves ont le niveau le plus bas, etc. », c'est le résultat de ça, c'est-à-dire que l'on a toujours un côté négatif, on est toujours moins que les autres. J'ai rarement entendu qu'on était meilleur dans quelque chose. Remarquez, peut-être qu'on ne l'est jamais !

8 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?

Je suis syndiquée, je reçois la presse du SGEN. On en parle de temps en temps, vous voyez, donc on va dire que c'est plutôt suffisant, enfin... un peu en dessous mais il n'y a pas « un peu en dessous »...

Non, mais vous pouvez préciser...Oui oui. En plus, le SGEN est vraiment un syndicat centré sur l'élève au centre du système, qui réfléchit beaucoup sur les élèves en échec... Enfin, c'est un syndicat qui essaie de proposer vraiment de travailler autrement. Et donc, du coup, qui s'appuie effectivement sur ces enquêtes, sur la comparaison avec des systèmes où ça fonctionne – on pense aux pays nordiques – donc ça oui...

Dans d'autres médias, hors syndicat, professionnels ou spécialisés ?Je n'en lis peut-être pas assez, mais ça ne me semble pas...

9 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?

Je vais dire satisfaisant.

Nous allons maintenant nous intéresser plus particulièrement à trois programmes d'évaluations comparatives internationales.

10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ?

Non, je ne peux pas répondre. Je ne sais pas.

11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ? Merci de préciser l'année de l'évaluation correspondante.

Non.

12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ?

Non.

13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ?

Non.

14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ?

Non.

Si je vous propose cette liste, cela suscite-t-il une réponse ?Non, vraiment.

15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ?

Les élèves de 3ème.

161/191

MARDIF Annexes

16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? Merci de préciser l'année de l'évaluation correspondante.

Non.

17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ?

En anglais, non ? En langue vivante ?

18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ?

Apparemment tous les trimestres...

19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ? [Liste proposée]

Alors là, vraiment, je n'en sais rien... Là, du coup, je suis perdue, parce quand vous disiez PIRLS, pour moi, ce n'était pas du tout écrit comme ça... et... j'entendais la prof d'anglais... Pourtant je suis sûre que c'est une évaluation comparative qu'elle fait en anglais, au niveau européen, ça c'est certain... Alors donc ça ne serait pas ça ?

20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation TIMSS ?

Non.

21 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation TIMSS ? Merci de préciser l'année de l'évaluation correspondante.

Non.

22 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation TIMSS ?

Non.

23 Pouvez-vous préciser quelle est la fréquence de l'évaluation TIMSS ?

Non.

24 Pouvez-vous indiquer quelle organisation pilote l'évaluation TIMSS ?

Non.

25 Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Diffèrent-ils de ceux relatifs aux autres évaluations ?

Et bien, comme je ne connais pas PISA, je ne peux pas répondre.

Nous allons élargir la question aux évaluations comparatives internationales en général.Au sens large... Faire un état des lieux ? Et puis c'est faire, j'imagine, une comparaison des différents systèmes scolaires, des différentes méthodes d'apprentissage et d'évaluation.

Dans quel but ?D'harmoniser... d'échanger... de modifier... de..., enfin, j'espère en tout cas que c'est pour aller vers le mieux. Pour prendre ce qui fonctionne chez l'un, chez l'autre... C'est ce qui me semblerait logique. Et pas simplement pour faire un état des lieux et dire « voilà, là ça fonctionne » et s'arrêter là. Oui, il me semble que ça peut être intéressant. Après, il peut sûrement y avoir d'autres buts qui, pour le moment, m'échappent... mais moi, ça me semblerait déjà ça le plus important. Au niveau européen, de toute façon... un système qui emprunterait à l'un, à l'autre, un échange... enfin, je ne sais pas, pouvoir aller faire des

162/191

MARDIF Annexes

études dans un autres pays, et qu'il n'y ait pas finalement un tel écart, qu'il y ait vraiment une harmonisation entre les différents systèmes peut-être, pourquoi pas ?

Concernant plus particulièrement les résultats obtenus par les élèves français à PISA [les résultats de PISA 2006 sont présentés à l'interviewée] :

26 A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?

Je n'ai pas l'impression que cela ait beaucoup évolué. Au contraire, on reste un peu à la traîne. Par rapport à ce que j'ai pu lire ou... Quand je vois ça, je ne suis pas trop surprise finalement, alors que...

Sur une échelle graduée, vous diriez qu'ils se sont nettement améliorés, qu'ils se sont modérément améliorés, qu'ils sont restés stables, qu'ils se sont modérément dégradés, qu'ils se sont nettement dégradés ?Se sont modérément dégradés.

27 A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ? (très au-dessus de la moyenne des pays participants / un peu au-dessus de la moyenne des pays participants / dans la moyenne des pays participants / un peu en dessous de la moyenne des pays participants / très en dessous de la moyenne des pays participants / ne sait pas)

Question sans objet, les résultats ayant déjà été présentés.

28 Que pensez-vous de ce résultat ?

Je le trouve médiocre.

Comment l'expliquez-vous ?Justement, je regarde les pays qui sont... c'est surprenant, parce que l'image que l'on peut avoir de certains pays dont on dirait « ouh là là », finalement... En même temps, je ne sais pas ce que PISA évalue, donc c'est un peu difficile...

Les trois domaines sont indiqués là, sur le document.Ah d'accord ! D'accord... A chaque fois, c'est en dessous, oh là là !... Et bien, notre système éducatif est vraiment à revoir dans tous les domaines, vraiment ! Je trouve qu'on a vraiment privilégié les mathématiques. Alors c'est peut-être là que le score est le meilleur, parce que c'est vrai qu'on est dans une culture des maths, vraiment, la réussite passe par les maths, la section « S », etc., on met de côté tout le reste. Et puis finalement on se rend compte que ce n'est pas comme ça que cela fonctionne non plus.

A priori, qu'est-ce qui pourrait expliquer ces résultats en dessous de la moyenne ?C'est ce que je disais tout à l'heure, un système qui met de côté beaucoup d'élèves, ça c'est évident, et dès le départ, et qu'on ne récupère jamais. Un système élitiste... pour quelques-uns. Un système qui manque d'ouverture, dont les méthodes ne sont pas... J'ai l'impression que l'on enseigne comme il y a cent ans, on n'arrive pas à évoluer, on n'arrive pas à s'ouvrir sur le monde. Un système qui ne s'adapte pas aux nouvelles technologies, vous voyez, je trouve que c'est un système un peu replié sur lui-même. Du coup, qui souffre. Ce qui peut expliquer ça.

Donc, en fait, ce sont des raisons endogènes au système ?Oui.

Est-ce qu'il pourrait y avoir des raisons autres ?Je vois, vous voulez parler des aspects sociaux ?

163/191

MARDIF Annexes

Par exemple.Curieusement, étrangement, on a quand même un monde qui évolue, des gamins plus vifs, qui sont plus ouverts à des tas de techniques, à des tas de choses, et puis finalement on n'en fait rien. C'est quand même bien notre système éducatif qui en est en grande partie la cause. Alors, est-ce qu'il y a un appauvrissement... par rapport à... ? Je n'ai pas envie de croire à ça, mais bon...

29 Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ?

Je ne peux pas vous répondre comme ça. Je ne peux pas être aussi générale. Sur la culture mathématique, je suis assez surprise... Vous pouvez répéter la question ?

Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ?Quelque chose de moyen, en somme, un peu en dessous de la moyenne... hum...

Je vous rappelle que nous parlons ici d'évaluations comparatives, donc de résultats comparés.Oui, vous faites bien de le repréciser. J'ai du mal, j'ai vraiment du mal à répondre...

Est-ce qu'il pourrait, selon vous, y avoir des explications qui ne soient pas liées au niveau des élèves français ?Je vois, qui pourraient être liées aux évaluations, à l'outil ?... Oui, c'est vrai, je n'avais pas pensé à ça. Mais comment sont-ils évalués ? J'aimerais bien savoir ça ! C'est-à-dire que peut-être que dans un système, ça va être un type d'évaluation qui va être bien connu des élèves, mais que nous, par exemple, on ne manipule pas ou on ne domine pas. Et là, forcément... oui, ça c'est possible aussi... oui, je n'y avais pas pensé, effectivement. Mais comme je ne connais pas du tout l'outil utilisé...

Vous semble-t-il possible de répondre à la question initiale sur une échelle graduée : tout à fait conformes, plutôt conformes, plutôt pas conformes, pas du tout conformes ?Euh...

Par rapport à l'image que vous vous faites du niveau des élèves français, comparés aux autres.Ça m'est vraiment difficile de les positionner par rapport aux autres. J'ai vraiment du mal. Vous voyez, si je vous dis que c'est plutôt conforme, au fond de moi je n'est pas ce sentiment-là... alors je vais dire que ce n'est pas conforme, mais en même temps je n'arriverais pas à vous dire pourquoi.

Plutôt pas conforme parce que les élèves français sont en réalité meilleurs que cet affichage ou moins bons ?Meilleurs.

30 Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?

En Finlande, ils ont un système éducatif particulièrement performant. Au Canada, je ne connais pas, mais certainement aussi. Après, là aussi, le mode d'évaluation... C'est flagrant ! Dans le domaine scientifique et en compréhension de l'écrit. Ils ont un système où l'enfant est vraiment au centre de l'éducation, il y a très peu d'élèves, très peu d'échec, le goût de l'apprentissage...

Donc les bons résultats qu'ils obtiennent reflèteraient le niveau de leurs élèves...Je crois, oui.

… et seraient dus à la qualité de leur système éducatif, qui serait plus performant que le nôtre ?Oui. Parce que très différent.

31 Selon vous, les solutions adoptées dans les pays qui obtiennent les meilleurs résultats aux évaluations internationales telles que PISA devraient-elles être mises en application en France ?

164/191

MARDIF Annexes

Dans une certaine mesure, oui.

Qu'entendez-vous par « dans une certaine mesure » ?Il faut aussi comparer... la Finlande est un petit pays... il y a aussi ce phénomène-là. Parce que, par exemple, quand on a douze élèves dans une classe avec deux enseignants... On imagine ce que cela donnerait en France, au niveau infrastructure, nombre d'enseignants, etc. Je ne sais pas si c'est franchement possible, mais il y a certainement des choses à adopter dans ce système éducatif. Oui. Respecter le rythme de l'enfant dès le départ, limiter le système d’évaluation que nous avons, qui commence à la maternelle, dans lequel si on ne rentre pas dans les cases ça ne va pas.

Au final, pouvez répondre à la question sur l'échelle suivante : « jamais », « généralement non », « oui, certaines », « oui, toutes » ?Oui, certaines.

32 Les résultats obtenus par la France aux évaluations internationales telles que PISA, vous ont-ils amené(e) à vous interroger sur vos pratiques professionnelles ?

Oui, c'est une interrogation que je me pose. Justement, le syndicat que j'ai choisi, ce n'est pas par hasard. J'essaie toujours d'être dans des activités, des opérations, pour les élèves en difficulté, pour essayer d'ouvrir ce que je fais à des intervenants extérieurs... bien sûr, je me pose des questions, mais à mon échelon.

Sur l'échelle suivante : pas du tout, assez peu, assez, beaucoup ?Assez.

33 Selon vous, quelle a été l'influence des résultats obtenus par la France aux évaluations internationales telles que PISA sur les réformes conduites par le ministère de l'Éducation nationale depuis dix ans ?

Je sais que l'un des grands combats a été l'enseignement des langues vivantes. Par rapport aux comparaisons qui ont été faites avec des pays étrangers, on se rend compte que les élèves français maîtrisent très mal les langues étrangères. Résultat, on a supprimé une heure de langue étrangère au lycée !... Donc il y a l'effet d'annonce, le scandale, et finalement ce n'est pas suivi parce qu'on est dans une logique d'économie...

Cela veut dire que, en réalité, l'influence a été faible ? Nulle ?Allons jusqu'à nulle. C'est contradictoire, comme réaction ! On s'insurge et, dans les faits, on donne encore moins d'heures aux gamins !

Donc, sans influence ?Oui, a priori, je dirais sans influence.

34 D'une manière générale, selon vous, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ?

Oui, je pense.

Pouvez-vous développer ?Peut-être que dans certains pays on va essayer de développer la richesse que peuvent représenter les élèves, leur richesse intellectuelle, pour progresser plus vite, dans les techniques, dans les technologies. C'est un investissement. Peut-être que dans certains pays on va mettre l'accent sur l'éducation parce qu'on se rend compte que c'est l'avenir, ce sont les enfants qui... mais je ne suis pas sûre que dans tous les pays on ait ça. Donc ça c'est une première différence.

C'est-à-dire que, dans certains pays, on mettrait plus de moyens, la place de l'éducation ne serait pas la même ?C'est cela. On comprend l'investissement que cela représente. Évidemment, il y a la réussite de l'enfant,

165/191

MARDIF Annexes

etc., mais derrière il aussi l'avenir du pays... cela me semble important.

Vous voyez d'autres différences qui pourraient expliquer les différences de résultats ?Historiques aussi, parce que quand on voit certains pays... vous voyez, je pense à l'Espagne, qui est sortie du franquisme en 1977, forcément, il peut y avoir un retard à rattraper. Peut-être que cela peut aussi expliquer les différences de résultats. Je me dis que oui, forcément, cela peut être une explication historique. L'histoire d'un pays peut faire que l'éducation prend du retard, ne se met pas en place tout de suite, ce n'est pas la priorité, ou au contraire il ne faut surtout pas que les jeunes pensent trop.

Est-ce que, selon vous, il pourrait y avoir des facteurs plus en lien avec la méthodologie des évaluations, compte tenu des facteurs économiques, culturels, etc. précédemment cités ?La méthodologie, c'est-à-dire les outils utilisés ? Cela revient à ce que je vous disais tout à l'heure, finalement, dans certains pays on va être à la pointe des nouvelles technologies et dans d'autres pays non. Je ne suis pas sûre que tous les pays cités aient ces avancées-là. Donc, forcément, si c'est un des outils utilisés pour les évaluations, il y aura un décalage, automati-quement. Je pense aussi à des méthodes d'évaluation comme les QCM ou des choses comme ça, nous on n'utilise quasiment jamais de QCM, d'autres systèmes si, donc voilà...

Pour résumé, vous diriez que les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent expliquer les différences de résultats des pays qui participent aux évaluations internationales : pas du tout, très partiellement, de façon substantielle, de façon décisive ?Je dirais de façon substantielle.

35 Enfin, certains aspects des comparaisons internationales, non abordés précédemment lors de cet entretien, vous paraissent-ils problématiques ?

C'est-à-dire ?

Par exemple, des aspects méthodologiques, politiques ou autres ?Je ne sais pas.

36 Souhaitez-vous rajouter quelque chose à propos des évaluations comparatives internationales ?

Non. Enfin si, peut-être qu'il faudrait qu'on soit d'avantage au courant. Mais peut-être que je ne suis pas le meilleur sujet pour ça. Peut-être que d'autres connaissent d'avantage que moi...

Je vous remercie.

166/191

MARDIF Annexes

Annexe 8 : Entretien n° 8

Enquêteur : KERGALL Emmanuel Date : 31/05/2010 Durée : 1 h 16 min N° d'ordre : 7

Fonction : Inspecteur de l'Éducation nationale Âge : 48 ans Ancienneté /la fonction : 5 ans

Établissement d'exercice : Circonscription du premier degré

Nombre d'élèves (établissement scolaire) : sans objet

Nous commencerons par quelques questions d'ordre général.

1 Spontanément, quel(s) programme(s) d'évaluation internationale sur les acquis des élèves pouvez-vous citer ?

J'en connais deux : PISA et PIRLS.

Pouvez-vous en citer d'autres spontanément ?Non. Spontanément, je n'en connais pas d'autres. Les nationaux oui, mais internationaux non.

TIMSS, cela vous dit quelque chose ?Pas du tout, non.


A quel degré ?...

J'ai quatre items à vous proposer, que je vous demanderais de développer : pas concerné du tout, peu concerné, assez concerné ou très concerné ?Assez concerné. Dans la mesure où le socle commun, qui est imposé désormais à l'Éducation nationale française, est évalué en fin de troisième, quand on regarde les programmes de CM2, il y a très peu de divergence entre les programmes de l'école et les acquis du socle, en tout cas sur les domaines essentiels que sont les mathématiques et le français. Donc, nous qui travaillons aux acquis des élèves de fin de CM2, pour 90 %, enfin disons 85 % des élèves, normalement, si on les a validés en fin de CM2 on fait l'hypothèse qu'ils sont stabilisés aussi en fin de troisième à un niveau supérieur – ça c'est le boulot du collège. Et comme les évaluations que je connais le mieux, qui sont celles de PISA, travaillent sur les acquis des élèves de 15 ans au niveau international, grosso modo on peut dire que c'est ce niveau qui est rechercher, uniquement en termes de connaissances mais pas en terme procédural. Donc au niveau de l'école élémentaire, de la fin de l'école élémentaire, on est assez concerné par ces évaluations.

Quelle serait la partie de votre activité professionnelle qui serait la plus directement touchée par ces évaluations ?Inspection des personnels, évaluations nationales, formation-animation des personnels qui serait liée à l'exploitation de ces évaluations nationales, pilotage des écoles ou des groupes dans une moindre mesure. Néanmoins il y a toujours l'objectif d'arriver à une meilleure appropriation des enjeux de l'évaluation donc... oui, pilotage dans une moindre mesure.

3 Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ? Là aussi, j'ai quatre items de départ qui sont « pas du tout », « assez peu », « assez » ou « beaucoup », que je vous demanderais

167/191

MARDIF Annexes

de développer.

Je dirais « assez peu », mais qu'il est intéressant de les connaître, et qu'il est surtout important d'en connaître tous les paramètres. Les exemples classiques qui nous sont régulièrement présentés – l'Angleterre par rapport au traitement de la difficulté scolaire en petits groupes, le non redoublement des élèves, la Finlande par rapport à sa réussite – nous sont présentés comme des systèmes assez performants, sauf qu'on ne nous donne pas tous les paramètres. Il y a des paramètres sociaux, des paramètres de population, de répartition de la population, qui sont de mon point de vue extrêmement lourd de conséquences et qui ne sont pas du tout les mêmes dans les systèmes anglais ou finlandais que dans le système français, par rapport à des éléments d'assimilation ou de culture, par rapport aussi à des éléments de formation initiale et continue des enseignants, de recrutement. Moi, si j'avais des directeurs d'école qui pouvaient choisir leurs équipes comme c'est le cas en Angleterre, j'aurais des écoles peut-être plus performantes, mais on a des fonctionnements différents. Il y a un certain nombre de paramètres qu'on ne peut pas négliger et qui sont régulièrement sous-estimés – je ne veux pas utiliser de mots polémiques – sous-estimés dans les présentations que l'on fait des systèmes étrangers que l'on veut bien nous présenter.

La transposition des pratiques, vous pensez que c'est possible ?La transposition des pratiques ?... oui, je pense que c'est possible, au bémol près qu'en France on a encore, au niveau des pratiques professionnelles des enseignants, des schémas extrêmement sclérosés, stéréotypés... beaucoup d’enseignants estiment qu'ils sont seuls maîtres après Dieu dans leur classe. Donc le travail en équipe, en particulier, est très difficile à dynamiser, malgré la compétence que devrait développer ces enseignants, puisque que le travail en équipe est une de leurs compétences professionnelles supposées. Ça c'est un élément difficile. Deuxième élément particulièrement difficile, mais qui est forcément corrélé, c'est tout le travail autour de l'évaluation. Je continue de penser qu'on est très mauvais au sein d'une classe, d'une école, d'un site, en évaluation, dans notre système. C'est la même évaluation pour tout le monde... on est assez mauvais.

Toujours sur la même question de départ, est-ce que connaître les autres systèmes ça nous aide à nous connaître, à connaître notre système ?Oui, je pense que ça aide à connaître notre système, parce que finalement on se connaît – en tout cas, pour nous, les cadres – on connaît notre système de l'intérieur et parfois il ne nous questionne plus ou, en tout cas, on ne se questionne plus sur son fonctionnement ou sur le bien-fondé de telle ou telle chose qu'on a admise comme étant un postulat. Et le fait d'avoir à connaître un fonctionnement différent peut nous amener à nous poser un certains nombre de questions sur le bien-fondé ou l'historique de tel ou tel aspect. Oui, je pense qu'effectivement cette connaissance, cet éclairage extérieur nous permet de connaître... oui, car finalement on se connaît en se confrontant à d'autres. Cela peut nous faire poser de bonnes questions, faire émerger un certains nombre de sens qu'on avait perdus de vue, peut-être, oui.


Oui, oui. Même si c'est toujours difficile de se prendre dans les dents un niveau qu'on estime ne pas être celui d'un pays industrialisé, de la quatrième puissance économique du monde. Mais oui.

Ça serait très profitable, plutôt profitable, peu profitable ?Je dirais plutôt profitable, oui, plutôt profitable. Parce que quand on a ce genre de résultats, ça nous... enfin, moi, ça me motive et je me pose des questions : pourquoi nous faisons plutôt comme ça, pourquoi eux y arrivent en faisant ça ? Cela permet d'avoir des pistes. A la difficulté près que tout n'est pas transposable directement, en l'état. On le saurait s'il n'y avait que ça à faire...

Nous sommes d'accord que c'est une réponse qui va au-delà du cas français ?Tout à fait.

D'une manière générale, par principe, vous pensez que c'est plutôt profitable......pour un système d'avoir connaissance du fonctionnement des autres, oui, oui, bien sûr.

Et l'existence des évaluations comparatives, telles qu'elles sont faites, est plutôt profitable ?Oui, c'est profitable. Il suffit de voir, par exemple, que ça nous permet dans nos rencontres internationales

168/191

MARDIF Annexes

d'inspecteurs ou de cadres, puisqu'il m'est arrivé d'y participer, d'avoir directement une espèce de dialogue commun, c'est-a-dire un sujet commun de discussion, puisque, nous, nous avons un système avec une inspection qui est totalement différent des Anglais, des Tchèques, des Allemands, etc. En revanche, quand on rentre directement sur les activités des élèves liées à ces évaluations là, on a des sujets communs, et ce qui est intéressant, justement, c'est de voir comment le pilotage, puisque c'est sur cette partie là que ça nous amène très directement, nous permet de réajuster, de dynamiser les équipes, de modifier éventuellement un certain nombre de pratiques ou d'outils, tout simplement.

Nous allons aborder la question de la diffusion des informations relatives aux comparaisons internationales.

5 Quelles sont vos sources d'informations sur la question des comparaisons internationales ?

Internet, évidemment...

Quels sites en particulier, ou quel groupe de sites ?Le site du ministère, déjà... tous les sites professionnels : le site de l'ESEN, le site du CIEP de Sèvres... je pourrais le citer mais je n'y vais pas, le site de l'OCDE, ensuite...

Vous connaissez le site de l'OCDE mais vous n'y allez pas ?Oui, mais je n'y vais pas. J'utilise plutôt les sites professionnels qui relayent ce type d'informations...

D'accord. La question porte vraiment sur les sources d'information que vous utilisez.Oui, donc les trois principales sont ces sites. Ensuite, ponctuellement les Lettres d'information du ministère, qui nous arrivent régulièrement sous format papier, donc là on a également un certain nombre de choses... Globalement, c'est ça.

La presse ?Oui, la presse nationale, effectivement, quand il y a un dossier du Monde sur PISA, je l'achète...

La presse professionnelle ?La presse syndicale, plutôt, que ce soit la presse enseignants ou inspecteurs, qui relaye systématiquement un certain nombre de choses, mais c'est relativement marginal, une fois tous les ans ou tous les deux ans.

6 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?

Pour moi, j'aurais tendance à dire plutôt insuffisante, mais par rapport au degré d'intéressement du grand public, je dirais plutôt suffisante... Effectivement, en tant que professionnel j'aimerais en savoir plus et j'ai les moyens de voir plus loin, mais je pense que pour le grand public, pour le citoyen lambda, c'est suffisant vu comment c'est parfois traité.

7 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?

J'isolerais bien Le Monde, que je crois non pas plus neutre mais plus professionnel et moins dans le sensationnel que les autres quotidiens nationaux ou la télévision, par exemple... Bon, je vais quand même répondre que, qualitativement, pour moi, c'est très insuffisant.

Ce n'est pas satisfaisant du tout ?Pas satisfaisant du tout, oui. Parce qu'on est forcément dans le sensationnel. Je suis toujours très frustré quand j'entends le journal de France 2... c'est très frustrant d'entendre parler de ça.

Donc, si je vous comprends bien, ce n'est pas seulement que c'est trop simple mais c'est que, en plus, ça appuie un peu sur le levier émotionnel. C'est bien ça, je ne trahit pas votre pensée ?Non, non, vous ne trahissez pas ma pensée, c'est exactement ça. C'est sensationnel, émotionnel, voilà :

169/191

MARDIF Annexes

« la France est derrière la Roumanie ! » D'accord, mais allons voir un d'un peu plus près ; comparons ce qui est comparable ! Je ne suis pas sûr que cela veuille dire quelque chose que la France soit derrière la Roumanie. Je ne sais pas pourquoi je dis la Roumanie, mais en termes de niveau de vie par rapport au niveau OCDE, on est probablement aux extrêmes donc... c'est trop simpliste de faire ce genre de comparaison.

8 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect quantitatif) : tout à fait suffisante, plutôt suffisante, plutôt insuffisante, tout à fait insuffisante ?

Quantitatif... plutôt insuffisante, parce que finalement on sait peu de choses... je vais faire aveu de mon ignorance ; est-ce que PISA, puisque c'est celle que je connais un tout petit peu, est annuelle ? Je n'en sais rien. Si elle l'était, on pourrait avoir des comparatifs et des articles réguliers type marronnier... Non, je trouve qu'il n'y en a pas assez.

9 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect qualitatif) : tout à fait satisfaisante, plutôt satisfaisante, plutôt non satisfaisante, pas satisfaisante du tout ?

Sûrement pas, pas satisfaisante du tout ! C'est-a-dire que des articles de fond qui essaieraient de comparer des données statistiques comparables et qui permettraient de nous aider à en tirer des conclusions, c'est inexistant. Et ce n'est pas le quatre pages du ministère qui va nous renvoyer quelque chose de performant. Finalement, à part établir un classement, et à part pour quelques statisticiens pointus de je ne sais quel organisme, je ne sais pas ce que l'on peut en tirer.

Nous allons maintenant nous intéresser plus particulièrement à trois programmes d'évaluations comparatives internationales.

10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ?

Je pense que ce sont les élèves en fin de scolarité obligatoire européenne, les élèves de 15 ans.

11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ?

Une centaine.

12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ?

Je sais qu'il y a des mathématiques...

Est-ce que vous savez combien il y a de domaines dans PISA ?Pas du tout.

Donc, des mathématiques, c'est la seule certitude ?Oui, c'est la seule certitude. Après, j'imagine qu'il doit y avoir de la lecture mais je n'en ai aucune idée...

13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ? Vous avez abordé le sujet vous-même, donc je suppose que vous ne le savez pas puisque vous l'avez déploré ?...

Non, j'ai dit que si elle avait lieu tous les ans, ce serait bien qu'on le sache... Je dirais tous les deux ans parce que j'ai un vague souvenir d'avoir vu des choses répondant à des années paires ; je ne sais pas pourquoi j'ai ce souvenir... mais sans aucune certitude

14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ?

L 'OCDE.

170/191

MARDIF Annexes

15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ?

Je crois que ce sont les élèves de 10 ans.

16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? Merci de préciser l'année de l'évaluation correspondante.

Non.

17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ?

Je crois que ce sont les langues vivantes mais je n'en suis pas sûr du tout... je vais dire non !

18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ?

Non.

19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ?

Non.

Je vais vous proposer une liste d'organisations. Peut-être qu'en voyant la liste cela va vous revenir.… Je suis obligé d'en citer une ?

Non. Il ne s'agit pas d'un jeu de hasard. C'était pour le cas où la liste ait suscité un souvenir.Alors je préfère dire que je ne sais pas.

20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation TIMSS ?

Non.

21 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation TIMSS ? Merci de préciser l'année de l'évaluation correspondante.

Non.

22 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation TIMSS ?

Non.

23 Pouvez-vous préciser quelle est la fréquence de l'évaluation TIMSS ?

Non.

24 Pouvez-vous indiquer quelle organisation pilote l'évaluation TIMSS ?

Non.

25 Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ?

Je pense que l'idée est de... comment dire... je pense que c'est de là que vient notre socle commun. C'est-a-dire que je pense que l'idée de départ est d'essayer de circonscrire un minimum de base de connaissances et de compétences que des individus, citoyens, doivent pouvoir maîtriser pour avoir une vie sociale de base, ce qui peut amener effectivement, en tout cas c'est comme ça que je me représente les choses, à essayer de définir au niveau européen des socles, c'est-a-dire les incontournables en termes de connaissances, de façon à ce qu'il y ait des convergences dans un certain nombre de pays qui se

171/191

MARDIF Annexes

revendiquent, disons, du même idéal. De façon à ce que les gens aient une espèce de garantie par rapport au niveau de formation, mais que, en plus de ça, il y ait possiblement des passerelles qui puissent s'établir pour les étudiants. En tout cas, je pense que cela peut aussi avoir pour conséquence une espèce d'uniformisation des cursus universitaires. C'est-a-dire qu'à partir du moment où tout le monde à des bases, disons, partagées, on va pouvoir créer des passerelles entre un baccalauréat français, une licence allemande, un mastère anglais, etc. Disons, stabiliser un certain nombre de degrés de connaissances, peut-être pas universitaires, puisque le socle commun n'est pas universitaire, mais en tout cas qu'à différents niveaux reconnus et validés par tous – scolarité obligatoire, baccalauréat, LMD – on ait un certain nombre de choses suffisamment en commun qui permettent des passerelles.

Cela serait un objectif ou une conséquence ?Je ne sais pas. Je pense que c'est peut-être une conséquence. Mais cela me paraît trop bête d'instituer une évaluation lourde et coûteuse simplement pour classer les pays avec un premier et un dernier. A mon avis, il y a plus ambitieux que cela derrière... maintenant, est-ce que c'est ce que je dis, je n'en sais rien.

A votre avis, est-ce que les objectifs de PISA diffèrent de ceux des autres évaluations ?Je pense que oui.

Pourquoi, même si je sais que vous n'avez peut-être pas d'éléments précis par rapport à cela ?Dans la connaissance que j'en ai, on ne teste pas les mêmes choses. Donc, pour moi, les objectifs sont différents... mis pourquoi les objectifs sont-ils différents ?...

Vous semblez en avoir une sorte d'intuition. Il s'agit d'une réponse intuitive ?Oui, c'est une réponse intuitive... car pourquoi faire trois fois la même évaluation, à trois moments différents avec des supports différents si c'est simplement pour classer un premier et un dernier ? A mon avis cela coûte trop cher pour que ça se limite à cela. Mais je ne vois pas d'autres objectifs... est-ce que la conférence de Lisbonne est cachée derrière ? je n'en sais rien.

Concernant plus particulièrement les résultats obtenus par les élèves français à PISA :

26 A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ? Ils se sont nettement améliorés, se sont modérément améliorés, sont restés stables, se sont modérément dégradés, se sont nettement dégradés ?

Pour moi, ils sont restés stables. J'ai le souvenir de résultats qui ont été présentés au moment de la réforme des programmes, en 2008 je crois, où on voyait que cela n'avait pas beaucoup évolué, à quelques places près, et que c'était plutôt les autres pays classés autour de nous qui avaient bougé, mais que nous étions toujours à peu près au niveau du milieu.

Donc, les résultats sont restés stables ?Oui, à ma connaissance, c'est cela.

27 A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ?

Je pense qu'on est juste au-dessus.

Un peu au-dessus de la moyenne des pays participants ?Un peu au-dessus, oui. Il n'y a pas « un tout petit peu au-dessus ? [rire]

Non...

Voici le classement de la France à l'évaluation PISA 2006. [Remise du document.]

28 Que pensez-vous de ce résultat ?

172/191

MARDIF Annexes

C'est décevant ! [rire] c'est le cri du cœur...

Comment jugez-vous ce résultat ? Comment l'expliquez-vous ?J'ai des hypothèses concernant la culture scientifique et la culture mathématique – parce que c'est mon vécu professionnel – mais qui ne s'appliquent pas à la compréhension de l'écrit et manifestement les problèmes sont les mêmes. Sur la culture scientifique et la culture mathématique, ce n'est pas du tout la culture de nos enseignants. Donc on a un déficit de maîtrise disciplinaire sur ces domaines là et cela ne me choque pas que ce soit la résultante qui soit traduite dans les deux premières colonnes. En revanche, j'ai un peu plus de mal sur la compréhension de l'écrit, où notre public est majoritairement littéraire et devrait normalement réussir à travailler ce domaine là. Il s'avère que ce n'est pas le cas ; c'est embêtant. Donc j'ai des explications pour les sciences et mathématiques, mais je n'ai pas vraiment d'explication, si ce n'est probablement que dans les pratiques on n'est peut-être pas assez fin, pour la compréhension de l'écrit.

Donc l'explication que vous y voyez c'est que notre système éducatif pèche en termes de résultats obtenus parce que......parce que la formation des enseignants est insuffisante, qu'elle soit initiale ou continue, dans les domaines scientifiques au sens très large qui englobera les mathématiques, et puis que, probablement, au niveau de la compréhension de l'écrit, on est trop dans l'implicite et pas assez dans l'explicite. A mon avis, il y a un problème de pratiques ; globalement, en fait, il y a un problème de pratiques, qu'elles soient liées à une discipline a priori maîtrisée ou non maîtrisée.

29 Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ? Tout à fait conformes, plutôt conformes, plutôt pas conformes ou pas du tout conformes ?

Il est très difficile de répondre à ça parce que, en fait, je n'ai comme élément de comparaison que ce que je vois dans les classes, or nous nous arrêtons en fin de primaire. Oui, j'ai du mal à répondre à cela...

Nous reviendrons peut-être un peu plus tard sur cette question.

30 Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ?

Je sais que les enseignants finlandais ont une formation disciplinaire bivalente très poussée. Donc ils ont une double compétence, un peu comme avaient nos ex-PEGC, ils ont une double casquette que nous n'avons pas. Nous, nous avons beaucoup de licences de sciences de l'éducation – je n'ai rien contre les sciences de l'éducation – qui ne donnent pas grand chose en termes disciplinaires pour ce qu'on en fait. Voilà ce que j'en sais pour la Finlande. En ce qui concerne le Canada, je ne connais pas trop leur système de formation. Ce que je sais, mais ça ne répond peut-être pas à la question, c'est plutôt que nos élèves français ont des handicaps intrinsèques liés à la formation qui leur est proposée, que n'ont peut-être pas les autres... je ne sais pas.

Quels types de handicaps intrinsèques ?Par exemple, pour avoir suffisamment travaillé sur le calcul mental, je sais que nos élèves pèchent en calcul mental. Et donc ces freins là les empêchent d'accéder à des traitements de l'information de niveau supérieur. Les élèves français sont particulièrement bons dans des problèmes à étapes clairement identifiées. Ils sont particulièrement mauvais, en mathématique, dans les domaines où on doit expérimenter, tenter, fouiller des pistes. Ça, ce sont des choses que nos élèves ne savent pas faire, donc ce sont des freins. C'est plutôt le domaine scientifique qui est mon domaine de formation initial, donc je peux plus facilement répondre là-dessus que sur la compréhension de l'écrit.

Toujours dans la continuité de la même question, vous avez mentionné des raisons de fond, mais pensez-vous qu'il puisse y avoir éventuellement aussi des raisons de forme des évaluations ?De forme de l'évaluation, je ne sais pas parce que je n'ai jamais eu le protocole de PISA entre les mains. Je ne peux rien avancer là-dessus. Est-ce que ce sont des QCM ou non ?... ce qu'il y a de sûr, c'est que nos élèves français ne sont pas habitués aux QCM. D'un autre côté, je vois que les USA sont en-dessous de nous alors qu'ils ont énormément d'évaluations sous forme de QCM, donc j'aurais tendance à dire que, finalement, cette forme là n'entre pas en jeu. Ce que je pense, c'est que nous sommes foncièrement mauvais en évaluation. Nous ne savons pas faire. Je le vois tous les jours.

173/191

MARDIF Annexes

Nous ne savons pas évaluer ?Nous ne savons pas bien évaluer les acquis, les compétences. Je le vois en formation ou en inspection, les enseignants ont un mal de chien à interpréter un résultat. Par exemple – nous sortons des évaluations de CE1 – si un élève ne sait pas faire une soustraction-retenue, où est sa difficulté ? Nos enseignants sont majoritairement incapables de creuser ça. Donc je pense qu'il y a déjà un manque de culture disciplinaire et cela se traduit forcément par un manque d'analyse dans l’évaluation. On n'a pas une culture disciplinaire suffisamment pointue donc on n'est forcément pas assez capable d'évaluer finement, et donc on n'est pas capable d'identifier finement le ressort qu'il faudrait débloquer.

Donc l'évaluation serait un des points faibles parce que l'enseignant n'est pas suffisamment capable de diagnostiquer les points d'achoppement ?Oui. Et de construire l'exercice ou la modalité qui permet de définir si c'est plutôt telle chose ou telle autre. Ça je crois qu'on ne sait pas bien faire. On est trop dans le global, dans le subjectif.

Est-ce qu'il pourrait y avoir des raisons de contexte social ou culturel qui expliquent les bons résultats de la Finlande, du Canada ou d'autres pays ?Les arguments que j'aurais pour la Finlande ne seront pas recevables pour le Canada. Ils fonctionneraient peut-être pour la Corée ou le Japon. Ça ne fait rien ; je peux quand même les citer. Il y a des éléments linguistiques qui font que la Finlande, la Corée, le Japon sont probablement en tête parce que leur langue a sa propre complexité. J'imagine qu'il n'est pas aussi simple de parler finlandais que de parler français. Il est sans doute plus facile de se faire comprendre dans un français ou un anglais approximatif, alors que certaines langues induisent qu'il faut être suffisamment bons pour y arriver. Il ne peut pas y avoir de niveau de maîtrise insuffisant dans ces langues là – c'est du moins l'hypothèse que je fais. Si je prends l'exemple d'un étranger qui arrive, je fais l'hypothèse que l'on peut se débrouiller plus facilement en français, comme nous baragouinons un peu d'anglais ou d'allemand avec plein d'erreurs grammaticales, mais on se fait comprendre. C'est probablement plus difficile – mais je ne connais pas ces langues – en finlandais, en coréen ou en japonais, et donc il faut avoir une bonne maîtrise de ces langues là pour pouvoir...

Ce seraient donc des raisons inhérentes à la structure linguistique de ces pays ?Oui. Ça peut en tout cas être une hypothèse.


Ce serait trop simple...

Là encore, j'ai quatre items de départ à vous proposer : « jamais », « généralement non », « oui, certaines », « oui, toutes »« Oui, certaines » mais, premièrement, encore faudrait-il qu'il y ait une diffusion, une analyse et une réflexion de transposition, et je laisse ça à des chercheurs ; deuxièmement – cela renvoie aux paramètres dont je parlais tout-à-l'heure – je pense que les flux d'immigration et les contextes d'intégration ne sont pas les mêmes en Finlande ou en Corée qu'en France. Je ne suis pas sûr que les arméniens, par exemple – j'en ai encore vu deux cet après-midi – viennent plus en Finlande qu'en France... le seul fait que les flux de population ne sont pas les mêmes...

Vous faites référence ici au contexte socio-démographique...On est dans un contexte socio-démographique qui fait que, quoi qu'on en dise on a une histoire d'immigration qui est ce qu'elle est, qui est riche mais qui contient en même temps un certain nombre de causes de ça : maîtrise insuffisante de... – si on m'entendait parler on pourrait croire que je vote Front National, c'est une horreur ce que je raconte [rire] – c'est une des causes, je pense, d'un niveau relativement moyen. On intègre, et c'est très bien comme ça, un certain nombre d'élèves – d'ailleurs, il n'y a pas que des élèves d'origine étrangère, il y des élèves français – qui maîtrisent tellement mal la langue française qu'on se retrouve forcément avec des résultats qui sont ce qu'ils sont.

Donc une hétérogénéité socio-démographique qui se traduit par une hétérogénéité des résultats ?Oui. D'ailleurs, j'aimerais bien aller voir en Finlande comment sont composées les classes. Je n'en ai aucune idée...

174/191

MARDIF Annexes

Vous voyez d'autres éléments, d'autres freins à la transposition des pratiques ?Oui, il y a notre héritage de centralisation étatique, nos modalités de fonctionnement, les principes d'égalité, à la fois dans la gestion de nos personnels et dans les attributions budgétaires. On dit qu'il faut donner plus à ceux qui ont moins, d'accord, mais quand on regarde concrètement la politique des ZEP, malheureusement ils n'ont pas beaucoup plus... J'ai une ZEP dans ma circonscription ; à part des taux d'encadrement légèrement inférieur – et quand je dis légèrement, c'est légèrement, c'est trois élèves de moins par classe, c'est tout – on est loin des affichages initiaux en termes de budget où on disait qu'il faut donner les moyens. Or, les moyens, il n'y en a pas beaucoup plus qu'ailleurs. En tout cas, ce n'est pas perceptible. On a aussi des contradictions dans le discours et dans les actions, et on a ce fameux principe de gestion des personnels encore très centralisée, même si le ministère commence un peu à lâcher la bride là-dessus. J'ai entendu le ministre qui disait que dans certaines zones difficiles les chefs d'établissement pourraient recruter leurs enseignants... Attendons de voir, mais je pense que l'on a un certain nombre de freins en interne.

Structurels, historiques, politiques, si j'ai bien compris...Oui, culturels... de fonctionnement. On le voit bien avec que cette cogestion plus ou moins harmonieuse, à tous les niveaux, entre le ministre et les syndicats les plus représentatifs. Que ce soit au niveau national ou au niveau local, il y a une gestion plus ou moins harmonieuse qui est aussi un frein.

Un frein au changement, à la transposition ?Oui, à la transposition de choses qui marchent ailleurs, oui.

32 Les résultats obtenus par la France aux évaluations internationales telles que PISA, vous ont-ils amené(e) à vous interroger sur vos pratiques professionnelles, en tant qu'inspecteur ?

Oui, parce que, forcément, quand on voit tous ces pays, il n'y a pas de raison que l'on soit plus idiot qu'eux. On voit que, par ailleurs, nous savons faire fonctionner les élites – on a quand même les meilleurs ingénieurs du monde, la meilleure école de mathématiques du monde, un certain nombre de choses qui se mesurent à l'aune de prix internationaux, que ce soit le Nobel ou en termes de publications, sauf le classement de Shangaï, qui est particulièrement incompatible avec nos structures universitaires mais peu importe –, on a un certain nombre de positionnements d'excellence or ces résultats sont évidemment complètement éloignés de ça. L'hétérogénéité se mesure ici, en fait, je pense. Il y a du potentiel qui ne se reflète pas ici et, malheureusement, il faudrait que nous réussissions dans nos pratiques, que ce soit en inspection ou en formation, à initier un certain nombre de déblocages qui permettraient de faire bouger les choses. Mais si on débloque vingt enseignants par an dans un stage de trois semaines, c'est toujours ça de gagné mais ça ne se ressentira pas dans ces résultats. Mais on a toujours envie d'améliorer les choses, c'est évident.

Sur la gradation suivante, quelle réponse choisiriez-vous : cela vous a amené à vous interroger pas du tout, assez peu, assez, beaucoup ?Beaucoup. On se sent concerné par ce rang assez moyen, eu égard à un autre classement d'excellence dont on arrive à être très fier. Il faudrait essayer de concilier la quantité et la qualité. Or la quantité est plutôt située là.

Je vais rebondir sur vos propos et revenir à la question n° 29 : les résultats obtenus par la France à l'évaluation PISA 2006, donc celle-ci, vous paraissent-ils conformes au niveau des élèves français ? Compte tenu de ce que vous venez de dire, je pense que vous allez pouvoir répondre plus facilement à cette question à laquelle vous aviez du mal à répondre tout-à-l'heure...Oui, tout-à-l'heure j'avais du mal à répondre à partir de mon observation quotidienne...

...il me semble que les éléments que vous venez d'apporter y répondent en partie...En partie, mais ce n'est pas satisfaisant non plus. Je ne peux pas répondre tout blanc ou tout noir, ce n'est pas oui ou non, c'est...

Alors, je vous rappelle qu'il y avait une gradation selon quatre items : tout à fait conforme, plutôt conforme, plutôt pas conforme, pas conforme du tout.Je dirais plutôt pas conforme. Plutôt pas conforme par rapport au potentiel que l'on peut développer – en référence aux écoles d'ingénieurs, à Sciences Po, etc. – mais, d'un autre côté, quand je regarde le brassage social que j'ai dans mes écoles, j'aurais aussi tendance à dire « plutôt conforme »,

175/191

MARDIF Annexes

malheureusement. Quand je vois que dans certaines écoles ou dans certaines classes il y a la moitié des élèves qui ne peuvent pas être suivis par leurs parents parce qu'ils en savent déjà plus que leurs parents, parce qu'il n'y a pas de parents, du fait de la situation familiale, etc. Il y a des éléments sociaux qui font que...

En faite, si vous voulez, je peux reformuler la question. Ce que j'essaie de savoir ou de comprendre par cette question là, c'est si vous pensez que les résultats tels qu'ils figurent ici – ce classement – sont conformes au niveau des élèves français, c'est-a-dire que l'on peut s 'appuyer sur ce résultat pour faire un constat, ou si vous pensez que l'on ne peut pas procéder ainsi parce qu'il y a des raisons qui invalident ce classement ou ce résultat. Peut-on prendre ce diagnostic comme un diagnostic fiable et commencer à travailler avec, ou doit-on remettre en cause ce diagnostic, quelles qu'en soient les raisons ?Il y a un diagnostic, je pense qu'il faut l'utiliser. Mais il faut essayer d'en comprendre les raisons et de voir sur quoi on peut jouer.

Donc, la réponse serait « plutôt conforme », alors ? Les résultats vous paraîtraient plutôt conformes au niveau des élèves français ?Oui, ils sont plutôt conformes.

Enfin, je ne veux pas vous influencer... dans l'ensemble......non, non, effectivement, tout bien pensé, j’aurais tendance à dire qu'ils sont conformes. Même s'ils ne sont pas comme j'aurais envie qu'ils soient... parce qu'il n'y a pas de raison qu'on soit en dessous de la République Tchèque... Je pense que ça ne sert à rien de casser le thermomètre... ni essayer de trouver des excuses. Il faut essayer de comprendre les éléments qui sont là et de voir comment on peut avancer et travailler là-dessus.


J'ai l'impression que les réformes – en particulier les programmes 2008 – y sont liées en termes de volonté. Je pense que le ministère affiche clairement sa volonté de se situer mieux que ça. Maintenant, en termes de contenu des programmes et sur la manière dont il souhaite que les enseignants les traitent, je ne suis pas du tout convaincu que la façon de faire va aller avec l’objectif annoncé. Il y a un certain nombre de choses qui sont nécessaires. La circulaire de 2007 préconise de refaire du calcul mental et d'avoir des exigences là-dessus, je suis tout à fait d'accord. En revanche, il y a un certain nombre de choses, de mon point de vue en tout cas, où on est très tôt dans la systématisation et où on a abandonné certains éléments qui vont vers la perte de sens pour de l'automatisation de connaissances, qui ne vont peut-être pas dans le bon sens.

Et cela découlerait des résultats des évaluations internationales ?Non. L'objectif de modifier les programmes vers des acquisitions de connaissances plus solides vient de ça, en revanche je pense qu'il y a eu, dans certains cas en particulier, une mauvaise mise en musique de l'objectif initial auquel j'adhère. Mais la déclinaison en programmes et en compétences à travailler va à contre-sens, à mon avis.

D'accord. J'avais quatre items à vous proposer, qui étaient « sans influence », « influence faible », « influence importante », « influence décisive ». Si je comprends bien, vous pensez qu'il y a eu une influence avérée dans......oui, une influence importante dans la philosophie des programmes. En revanche, à mon avis, ils ne se traduisent pas assez vers ce que PISA pointe. Par exemple, en mathématiques, c'est ce que montrait Charnay sur la carte de l'Antarctique qu'il fallait quadriller pour initier soi-même un quadrillage, ce que les élèves français ne savent pas faire, les programmes de 2008 ne permettent pas de développer cette autonomie autour de cette activité principale.

D'accord. Donc vous pensez, en fait, que la traduction du contenu des réformes n'est pas forcément pertinente par rapport à l'objectif poursuivi, mais que le déclenchement de la réforme vient bien des évaluations. C'est bien ça ?Oui, je pense.

176/191

MARDIF Annexes

Donc, l'influence, en ces termes là, serait décisive ou importante ?Importante. Décisive, c'est peut-être exagéré, mais importante oui.

Cette influence vous paraît légitime ?Oui.

Et explicite ?Légitime, oui, parce qu'il est tout à fait légitime de dire que l'on estime que l'on n'est pas à notre niveau et qu'il faut essayer de tout faire pour remonter le niveau, pour toutes sortes de raisons : c'est le plus gros poste de dépenses de la nation ; il y va du niveau des professionnels que l'on va former un jour puisque nous vivons dans une société en mutation où il n'y a plus beaucoup d'emplois de type manœuvre, donc dans laquelle on a de plus en plus d'emplois pour des personnes diplômées, ou tout au moins évolutives, ayant suffisamment de connaissances et de compétences pour passer d'un métier à un autre. Donc il faut forcément élever le niveau de connaissances. Donc, légitime, oui, bien sûr. En revanche, explicite, je pense que c'est non. Ce n'est pas assez explicite. Ce n'est pas dit comme ça. C'est dit en des termes plus, comment dire... je n'ai jamais entendu d'explicitation calme et sereine sur ce genre de choses. C'est toujours dit dans des moments de type programmes électoraux, d'ambitions électorales : « on va faire ça ! ». J'ai l'impression que c'est à ces moments là que c'est dit. Un candidat va dire : « Il faut élever le niveau. On va faire une réforme pour élever le niveau. »

La référence aux évaluations internationales, quant à elle, est-elle explicite dans la formulation ou la justification des réformes ?Non.

Pour vous, il n'y a pas de mention explicite de la raison pour laquelle on met une réforme en place en référence à des évaluations internationales ?Non. Je ne pense pas. On le retrouvera éventuellement dans les considérants de la loi, mais ça en reste là. Je ne pense pas que ce soit l'élément principal de communication qui soit avancé.

34 D'une manière générale, selon vous, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ? Vous avez déjà abordé le sujet et vous y avez déjà apporté des éléments de réponse. J'ai quatre items à vous proposer : pas du tout, très partiellement, de façon substantielle, de façon décisive ?

Je dirais de façon substantielle.

Est-ce que vous souhaitez développer de nouveaux éléments de réponse compte tenu de ce qui a déjà été dit ?Non. Je pense que je reprendrais les mêmes éléments de réponse... Si, il y a quand même une remarque qui me turlupine depuis tout-à-l'heure. Je regarde le classement sur la compréhension de l'écrit. Il n'y a pas un seul pays anglo-saxon en-dessous de la moyenne ; tous les pays de langue anglo-saxonne sont au-dessus de la moyenne. Je ne sais pas ce que cela veut dire, mais c'est intéressant. D'un autre côté, la langue française est plus difficile que la langue anglaise, puisque nous avons des divergences grapho-phonétiques plus fortes encore que chez les Anglais. Mais je vois que derrière nous, il y a quand même des pays qui ont des langues sans variété grapho-phonétique – un graphème égal un phonème. Je pense à la République Tchèque, à l'Italie, qui sont derrière nous sur ce domaine, à la Russie aussi, bien que la Russie soit un cas peut-être particulier. Mais l'Allemagne, qui a une correspondance grapho-phonétique hyper stricte, est juste au-dessus de nous. Donc ce n'est peut-être pas forcément une bonne explication. En tout cas, le fait qu'il n'y ait pas de pays anglo-saxon sous la moyenne de l'OCDE, ça questionne. Voilà, c'était juste une remarque. Dans la compréhension de l'écrit, est-ce qu'il y a quelque chose par rapport à la structure interne de la langue ? Je ne sais pas... mais c'est intéressant de le constater.


Non... enfin... les comparaisons internationales comparent des « produits finis », si on peut dire, c'est-à-dire des élèves de 15 ans en fin de scolarité obligatoire, mais qui ne sont pas passés dans les mêmes tuyaux.

177/191

MARDIF Annexes

Or je pense que la façon dont les tuyaux sont faits est importante. C'est comme si on comparait de l'eau du robinet à la sortie de toutes les villes ; je ne suis pas sûr qu'on obtiendrait le même résultat. Et pourtant c'est toujours de l'eau du robinet, ça part d'une source, il y a une station d'épuration probablement entre les deux... voilà, mon image n'est peut-être pas la meilleure mais je sens cela quelque part... Il y a tout ce qu'on ne voit pas en amont, qui ne peut pas être pris en ligne de compte, qui rejaillit sur le résultat brut, sur ce qui sort du système... il y a tellement de paramètres qui jouent... je ne sais pas si les résultats... enfin, ils ne mesurent que ce qu'ils veulent bien mesurer.

Il y a deux choses qui me donnent envie de réagir ou d'approfondir. D'une part, ce vous disiez au départ, qui questionne le principe même des comparaisons en éducation. Alors, peut-on comparer en éducation, à votre avis ?Peut-on comparer ?... Oui, on peut comparer. Mais je pense qu'il faut se doter d'une palette d'outils plus grande. Ça ne peut pas être le seul thermomètre. Donc oui, bien sûr, on peut comparer, mais il faut que l'on ait un certain nombre d'indicateurs, dont celui-là évidemment, mais qu'il y ait plus que ça. On ne peut pas se contenter de ça.

De ce classement ?De ce classement, de ce thermomètre là. Il nous faut des thermomètres quantitatifs, financiers, en termes de flux de population, le classement de Shangaï, le classement des médailles Fields, du Nobel, les 15 % d'élèves qui sortent du système éducatif sans diplôme ni aucune qualification, etc. L'idée est là. Je serais donc assez favorable à la comparaison en éducation, mais pas avec un seul angle de vue.

Vigilance sur la méthodologie, alors ?Oui, déjà, vigilance sur la méthodologie, même si je pense que l'on peut faire confiance au gens qui ont mené cette évaluation. Ils ne l'ont pas faite pour taper un grand coup sur la France. Donc, vigilance sur la méthodologie, forcément, mais je pense aussi...

Plutôt variété des indicateurs...Voilà, variété des indicateurs ! Ne pas se focaliser sur un seul indicateur qui ne veut dire que ce qu'il veut dire.

Quand vous disiez : « ils comparent ce qu'ils veulent comparer », je crois que c'est ce que vous avez dit, est-ce que cela veut dire qu'il y a des enjeux politiques à prendre en compte dans la comparaison en éducation ?…

Ou que les enjeux politiques peuvent interférer avec les résultats ou l’interprétation qui en est faite ?Non, pas interférer. Je pense que ce qui est un petit peu gênant – ça a été le cas pour les programmes 2008 – c'est que les politiques s'emparent de ça pour dire que nous ne sommes pas bons et donc que nous allons faire autrement. Faire autrement, pourquoi pas ? Mais, et cela revient à ce que nous disions tout-à-l'heure, que peut-on aller chercher en Finlande, au Pays-Bas ? Est-ce que tout est transférable ? Essayons de comprendre ! Or, là, j'ai l'impression que ça a permis de passer les programmes 2008 et la réforme au forceps et qu'on n'a pas forcément fait de bonnes choses. On est en train de dire qu'il faut des programmes plus concentrés sur les apprentissages et mieux évaluer les acquis des élèves... on a fait une réforme sur les programmes parce que c'est de la cuisine interne ; personne n'a fait une réforme sur le temps de scolarisation des élèves ! Ça gène beaucoup plus de monde...

C'est volontaire ?Ce n'est pas volontaire ; c'est casse-gueule !

Mais est-ce que vous voulez dire par là qu'il y a une forme d’instrumentalisation des évaluations ?Oui. Oui, les évaluations ont servi à faire passer une réforme de l'école – et je n'en reste qu'à la réforme de l'école. Le problème est que les évaluations ne peuvent pas encore servir d'argument pour rajouter deux semaines à l'année scolaire parce que le lobby du tourisme va tomber sur le ministère, etc. Les programmes, c'est assez faciles. Les jours de la semaine, ce n'est pas trop compliqué, c'est l'association des maires de France... Les programmes, c'est de l'interne. Les parents ne peuvent pas être contre le fait qu'on leur dise : « vos enfants sauront leurs tables de multiplication ; avant ils ne les savaient pas ». En revanche, ramener la semaine française au même niveau que les autres semaines européennes, c'est une

178/191

MARDIF Annexes

gageure un peu plus compliquée à mettre en place et je ne suis pas certain qu'on y arrive. Donc il y a une instrumentalisation dans un sens où on fait ce qui est le plus aisé à faire. Après, la réforme du temps scolaire, la réforme des rythmes, ça va être beaucoup plus compliqué. D'ailleurs, il serait intéressant d'imaginer un ratio qui rapporte ces résultats au nombre d'heures passé en classe. Je pense que l'on remonterait bien dans la hiérarchie puisqu'on a la semaine et l'année les plus courtes. Alors si je veux m'amuser à mesurer l'efficacité des enseignements en France, on va remonter... ces résultats là ramenés au temps de classe, à mon avis on est champion du monde... Vous voyez, il y a toujours moyen d'avoir de l'espoir [rire]. Je pense qu'il y a un certain nombre de pistes à explorer et que ça ne peut pas se suffire à soi-même.

36 Souhaitez-vous rajouter quelque chose à propos des évaluations comparatives internationales ?

Non, je pense avoir à peu près fait le tour.

Je vous remercie.

179/191

MARDIF Annexes

Annexe 9 : Tableau de données

N° Questions thématiques N° d'entretien TotalIndi-ca-teur

Réponses catégorisées 1 2 3 4 5 6 7 8 9 10Variables indépendantes :

1 Fonction (1) DOC PLC PLC DIR PE DIR INS INS PE CPE

2 Établissement (2) CDP CLG CLG LYC EE CLG IEN REC EM CLG

3 Sexe (3) F F F F F F H F F F4 Âge 46 49 37 60 40 52 48 46 36 435 Ancienneté dans la fonction 17 25 15 40 17 17 5 4 11 19

1 Spontanément, quel(s) programme(s) d'évaluation internationale sur les acquis des élèves pouvez-vous citer ? C16 PISA 1 1 1 1 1 1 6 C17 PIRLS 1 1 2 C18 TIMSS 0 C1


I

9 pas concerné du tout 1 1 I10 peu concerné 1 1 2 I11 assez concerné 1 1 1 1 1 5 I12 très concerné 1 1 2 I

3 Selon vous, dans quelle mesure la connaissance des performances des systèmes éducatifs d'autres pays peut-elle permettre d'améliorer son propre système éducatif ?

O1

13 pas du tout 0 O114 assez peu 1 1 1 3 O115 assez 1 1 1 1 4 O116 beaucoup 1 1 1 3 O117 référence aux différences culturelles entre pays comme facteur limitatif 1 1 1 1 1 5 O118 référence aux différences de contexte socio-démographique comme facteur limitatif 1 1 1 1 4 O1

3a La transposition des pratiques est-elle possible ? O119 refus de principe (impossible...) 0 O120 réticence (possible mais difficile...) 1 1 1 3 O121 acceptation conditionnelle (possible sous certaines conditions...) 1 1 1 3 O122 acceptation inconditionnelle (absence d'esprit critique...) 0 O1

180/191

MARDIF Annexes

N° Questions thématiques N° d'entretien Total Indi-ca-teur

Réponses catégorisées 1 2 3 4 5 6 7 8 9 103b Connaître les performances des autres permet de mieux connaître son propre système ? O1

23 réponse positive 1 1 1 1 1 1 6 O124 réponse négative 0 O1


O1

25 très profitable 1 1 2 O126 plutôt profitable 1 1 1 1 1 1 1 7 O127 peu profitable 1 1 O128 inutile 0 O129 théoriquement profitable mais dans la réalité pas toujours 1 1 1 1 1 5 O130 risque d'enseigner pour les évaluations internationales 1 1 O1

5 Quelles sont vos sources d'informations sur la question des comparaisons internationales ? C631 médias grand public : télévision, radio 1 1 1 1 1 1 6 C632 médias grand public : presse écrite 1 1 1 3 C633 presse spécialisée ou professionnelle 1 1 1 3 C634 milieu professionnel : sources institutionnelles (publications, sites internet, notes, circulaires...) 1 1 1 1 1 1 6 C635 milieu professionnel : sources informelles (collègues, documents d'établissement, bouche-à-oreille...) 1 1 C636 autres sources 1 1 C637 aucune source 1 1 C6

6 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon : O738 tout à fait suffisante 0 O739 plutôt suffisante 1 1 O740 plutôt insuffisante 1 1 1 1 1 1 1 7 O741 tout à fait insuffisante 1 1 2 O742 ne sait pas 0 O7

7 A votre avis, les médias grand public relatent les résultats des évaluations internationales de façon : O744 tout à fait satisfaisante 0 O745 plutôt satisfaisante 0 O746 plutôt non satisfaisante 1 1 1 1 1 5 O747 pas satisfaisante du tout 1 1 1 1 1 5 O748 ne sait pas 0 O748 critiques formulées : simpliste / focalisation sur le classement 1 1 1 3 O7

181/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 108 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon

(aspect quantitatif) :O7

49 tout à fait suffisante 0 O750 plutôt suffisante 1 1 1 1 1 5 O751 plutôt insuffisante 1 1 1 3 O752 tout à fait insuffisante 1 1 2 O753 ne sait pas 0 O7

9 A votre avis, la presse spécialisée ou professionnelle relate les résultats des évaluations internationales de façon (aspect qualitatif) :

O7

54 tout à fait satisfaisante 0 O755 plutôt satisfaisante 1 1 1 1 1 1 1 7 O756 plutôt non satisfaisante 0 O757 pas satisfaisante du tout 1 1 2 O758 ne sait pas 1 1 O7

10 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PISA ? C259 réponse exacte 1 1 1 3 C260 réponse erronée 1 1 2 C261 ne sait pas 1 1 1 1 1 5 C2

11 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PISA ? C462 réponse exacte ou ordre de grandeur connu (+/- 10) 1 1 2 C463 réponse erronée 1 1 1 1 4 C464 ne sait pas 1 1 1 1 4 C4

12 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PISA ? C365 réponse complète et exacte (cite les 3 domaines) 1 1 2 C366 réponse incomplète mais exacte (cite au moins un domaine) 1 1 C367 réponse partiellement exacte (cite au moins 1 domaine correct mais se trompe sur l'/les autres) 1 1 1 3 C368 réponse erronée (tous les domaines cités sont incorrects) 0 C369 → cite la compréhension de l'écrit (même si la formulation est approximative) 1 1 1 1 4 C370 → cite la culture mathématique (même si la formulation est approximative) 1 1 1 1 4 C371 → cite la culture scientifique (même si la formulation est approximative) 0 C372 → cite les langues vivantes 1 1 C373 → cite la culture générale 1 1 2 C3

182/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 1074 ne sait pas 1 1 1 1 4 C3

13 Pouvez-vous préciser quelle est la fréquence de l'évaluation PISA ? C175 tous les ans 1 1 2 C176 tous les 2 ans 1 1 C177 tous les 3 ans 1 1 2 C178 tous les 4 ans 0 C179 tous les 5 ans 1 1 C180 ne sait pas 1 1 1 1 4 C1

14 Pouvez-vous indiquer quelle organisation pilote l'évaluation PISA ? C481 réponse spontanée exacte 1 1 1 3 C482 réponse spontanée erronée 0 C483 réponse à partir de la liste proposée : ONU 0 C484 réponse à partir de la liste proposée : IAE 1 1 2 C485 réponse à partir de la liste proposée : G20 0 C486 réponse à partir de la liste proposée : FMI 0 C487 réponse à partir de la liste proposée : UNESCO 1 1 C488 réponse à partir de la liste proposée : OCDE 1 1 C489 réponse à partir de la liste proposée : OTAN 1 1 C490 réponse à partir de la liste proposée : Union européenne 1 1 2 C491 réponse à partir de la liste proposée : Conseil de l'Europe 0 C492 réponse à partir de la liste proposée : Banque mondiale 0 C493 ne sait pas 1 1 2 C4

15 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation PIRLS ? C294 réponse exacte +1/-1 an 1 1 2 C295 réponse erronée 1 1 C296 ne sait pas 1 1 1 1 1 1 1 7 C2

16 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation PIRLS ? C497 réponse exacte ou ordre de grandeur connu (+/- 10) 1 1 C498 réponse erronée 0 C499 ne sait pas 1 1 1 1 1 1 1 1 1 9 C4

17 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation PIRLS ? C3100 réponse exacte 1 1 C3

183/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 10101 réponse erronée 1 1 2 C3102 → cite la compréhension de l'écrit 0 C3103 → cite les mathématiques 0 C3104 → cite les sciences 0 C3105 → cite une/les langue(s) vivante(s) 1 1 2 C3106 ne sait pas 1 1 1 1 1 1 1 7 C3

18 Pouvez-vous préciser quelle est la fréquence de l'évaluation PIRLS ? C1107 tous les ans 1 1 C1108 tous les 2 ans 0 C1109 tous les 3 ans 0 C1110 tous les 4 ans 0 C1111 tous les 5 ans 0 C1112 autre réponse 1 1 C1113 ne sait pas 1 1 1 1 1 1 1 1 8 C1

19 Pouvez-vous indiquer quelle organisation pilote l'évaluation PIRLS ? C4114 réponse spontanée exacte 0 C4115 réponse spontanée erronée 1 1 C4116 réponse à partir de la liste proposée : ONU 0 C4117 réponse à partir de la liste proposée : IAE 0 C4118 réponse à partir de la liste proposée : G20 0 C4119 réponse à partir de la liste proposée : FMI 0 C4120 réponse à partir de la liste proposée : UNESCO 1 1 C4121 réponse à partir de la liste proposée : OCDE 0 C4122 réponse à partir de la liste proposée : OTAN 0 C4123 réponse à partir de la liste proposée : Union européenne 1 1 C4124 réponse à partir de la liste proposée : Conseil de l'Europe 0 C4125 réponse à partir de la liste proposée : Banque mondiale 0 C4126 ne sait pas 1 1 1 1 1 1 1 7 C4

20 Pouvez-vous préciser quels sont les élèves concernés par l'évaluation TIMSS ? C2127 réponse exacte 0 C2128 réponse erronée 0 C2129 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C2

184/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 1021 Pouvez-vous indiquer combien de pays ont participé à la dernière évaluation TIMSS ? C4

130 réponse exacte ou ordre de grandeur connu (+/- 10) 0 C4131 réponse erronée 0 C4132 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C4

22 Pouvez-vous préciser le ou les domaines évalués dans l'évaluation TIMSS ? C3133 réponse complète et exacte (cite les 2 domaines) 0 C3134 réponse incomplète mais exacte (cite au moins un domaine) 0 C3135 réponse partiellement exacte (cite au moins 1 domaine correct mais se trompe sur l'autre) 0 C3136 réponse erronée (tous les domaines cités sont incorrects) 0 C3137 → cite la compréhension de l'écrit 0 C3138 → cite les mathématiques 0 C3139 → cite les sciences 0 C3140 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C3

23 Pouvez-vous préciser quelle est la fréquence de l'évaluation TIMSS ? C1141 tous les ans 0 C1142 tous les 2 ans 0 C1143 tous les 3 ans 0 C1144 tous les 4 ans 0 C1145 tous les 5 ans 0 C1146 ne sait pas 1 1 1 1 1 1 1 1 1 1 10 C1

24 Pouvez-vous indiquer quelle organisation pilote l'évaluation TIMSS ? C4147 réponse spontanée exacte 0 C4148 réponse spontanée erronée 0 C4149 réponse à partir de la liste proposée : ONU 0 C4150 réponse à partir de la liste proposée : IAE 0 C4151 réponse à partir de la liste proposée : G20 0 C4152 réponse à partir de la liste proposée : FMI 0 C4153 réponse à partir de la liste proposée : UNESCO 1 1 C4154 réponse à partir de la liste proposée : OCDE 0 C4155 réponse à partir de la liste proposée : OTAN 0 C4156 réponse à partir de la liste proposée : Union européenne 1 1 C4157 réponse à partir de la liste proposée : Conseil de l'Europe 0 C4

185/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 10158 réponse à partir de la liste proposée : Banque mondiale 0 C4159 ne sait pas 1 1 1 1 1 1 1 1 8 C4

25 Quels sont les objectifs poursuivis par les concepteurs de l'évaluation PISA et les pays participants ? Diffèrent-ils de ceux relatifs aux autres évaluations ?

C6

160 réponse spontanée : mentionne l'objectif opérationnel « évaluer les acquis des élèves » 1 1 1 3 C6161 réponse spontanée : mentionne l'objectif opérationnel « classer les pays en fonction de leurs performances » 1 1 1 1 4 C6162 réponse spontanée : mentionne l'objectif opérationnel « identifier les bonnes pratiques » 1 1 1 1 1 5 C6163 réponse spontanée : mentionne un objectif politique au-delà de l'objectif opérationnel 1 1 2 C6164 réponse spontanée : mentionne un objectif économique au-delà de l'objectif opérationnel 1 1 C6165 réponse spontanée : mentionne un objectif éducatif au-delà de l'objectif opérationnel 1 1 2 C6166 mentionne un objectif politique au-delà de l'objectif opérationnel, après question 1 1 1 3 C6167 mentionne un objectif économique au-delà de l'objectif opérationnel, après question 1 1 1 3 C6168 mentionne un objectif éducatif au-delà de l'objectif opérationnel, après question 0 C6169 envisage une différenciation entre les objectifs de PISA et ceux des autres évaluations internationales 1 1 1 1 1 5 C6

26 A votre connaissance, comment ont évolué les résultats de la France aux évaluations internationales au cours des dix dernières années ?

C5

170 se sont nettement améliorés 0 C5171 se sont modérément améliorés 0 C5172 sont restés stables 1 1 1 3 C5173 se sont modérément dégradés 1 1 1 1 1 1 1 7 C5174 se sont nettement dégradés 0 C5175 ne sait pas 0 C5

27 A votre connaissance, comment se situent globalement les résultats de la France à la dernière évaluation PISA, par rapport à la moyenne des pays participants ?

C5

176 très au-dessus de la moyenne des pays participants 0 C5177 un peu au-dessus de la moyenne des pays participants 1 1 1 3 C5178 dans la moyenne des pays participants 1 1 C5179 un peu en dessous de la moyenne des pays participants 1 1 1 3 C5180 très en dessous de la moyenne des pays participants 1 1 C5181 ne sait pas 1 1 2 C5

28a Que pensez-vous de ce résultat ? Comment jugez-vous ce résultat ? O3182 exprime de l'étonnement 1 1 1 1 1 5 O3183 exprime un doute sur la validité des résultats 0 O3

186/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 10184 exprime de l'inquiétude 1 1 1 1 4 O3185 exprime un questionnement sur les causes 1 1 1 3 O3

28b Comment l'expliquez-vous ? O3186 mentionne spontanément des raisons de fond endogènes au système éducatif : pédagogie/système éducatif peu

performants1 1 1 1 1 1 6 O3

187 mentionne spontanément des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale éloignés de la logique de l'évaluation PISA

1 1 1 3 O3

188 mentionne spontanément des raisons exogènes au système éducatif : culturelles/linguistiques 1 1 1 3 O3189 mentionne spontanément des raisons exogènes au système éducatif : socio-démographiques 1 1 2 O3190 mentionne spontanément des raisons exogènes au système éducatif : politiques/historiques 1 1 O3191 mentionne spontanément des raisons exogènes au système éducatif : méthodologie PISA 0 O3192 mentionne après question des raisons de fond endogènes au système éducatif : pédagogie/système éducatif peu

performants0 O3

193 mentionne après question des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale éloignés de la logique de l'évaluation PISA

0 O3

194 mentionne après question des raisons exogènes au système éducatif : culturelles/linguistiques 0 O3195 mentionne après question des raisons exogènes au système éducatif : socio-démographiques 1 1 O3196 mentionne après question des raisons exogènes au système éducatif : politiques/historiques 0 O3197 mentionne après question des raisons exogènes au système éducatif : méthodologie PISA 0 O3

29 Les résultats obtenus par la France à l'évaluation PISA 2006 vous paraissent-ils conformes au niveau des élèves français ?

O3

198 tout à fait conformes 0 O3199 plutôt conformes 1 1 1 1 1 1 6 O3200 plutôt pas conformes 1 1 1 3 O3201 pas du tout conformes 0 O3202 ne sait pas 1 1 O3

30 Selon vous, qu'est-ce qui peut expliquer les bons résultats de la Finlande ou du Canada à l'évaluation PISA ? O3203 mentionne spontanément des raisons de fond endogènes au système éducatif : pédagogie/système éducatif plus

performants1 1 1 1 1 1 1 1 1 9 O3

204 mentionne spontanément des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus proche de la logique de l'évaluation PISA

0 O3

205 mentionne spontanément des raisons exogènes au système éducatif : culturelles/linguistiques 1 1 1 1 4 O3206 mentionne spontanément des raisons exogènes au système éducatif : socio-démographiques 1 1 1 3 O3207 mentionne spontanément des raisons exogènes au système éducatif : politiques/historiques 1 1 O3

187/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 10208 mentionne spontanément des raisons exogènes au système éducatif : économiques 1 1 2 O3209 mentionne après question des raisons de fond endogènes au système éducatif : pédagogie/système éducatif plus

performants0 O3

210 mentionne après question des raisons de forme endogènes au système éducatif : pédagogie/système d'évaluation nationale plus proche de la logique de l'évaluation PISA

1 1 2 O3

211 mentionne après question des raisons exogènes au système éducatif : culturelles/linguistiques 1 1 1 3 O3212 mentionne après question des raisons exogènes au système éducatif : socio-démographiques 0 O3213 mentionne après question des raisons exogènes au système éducatif : politiques/historiques 0 O3


O2

214 jamais 0 O2215 généralement non 0 O2216 oui, certaines 1 1 1 1 1 1 1 1 1 9 O2217 oui, toutes 0 O2218 ne sait pas 1 1 O2219 → freins à la transposition : contexte culturel, historique, politique... 1 1 1 1 1 1 O2220 → freins à la transposition : contexte économique (moyens matériels/financiers) 1 1 1 O2221 → freins à la transposition : contexte socio-démographique (hétérogénéité des classes) 1 O2

32 Les résultats obtenus par la France aux évaluations internationales telles que PISA, vous ont-ils amené(e) à vous interroger sur vos pratiques professionnelles ?

I

222 pas du tout 1 1 2 I223 assez peu 1 1 1 3 I224 assez 1 1 2 I225 beaucoup 1 1 1 3 I


O1

226 sans influence 1 1 O1227 influence faible 1 1 2 O1228 influence importante 1 1 1 1 1 5 O1229 influence décisive 1 1 O1230 ne sait pas 1 1 O1231 lien envisagé entre réformes et évaluations internationales : socle commun de connaissances et de compétences 1 1 1 O1232 lien envisagé entre réformes et évaluations internationales : approche par compétences 1 1 O1

188/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 10233 lien envisagé entre réformes et évaluations internationales : langues vivantes 1 1 O1

33a Cette influence est-elle légitime ? O1234 oui 1 1 1 1 1 5 O1235 non 0 O1

33b Cette influence est-elle explicite ? O1236 oui 0 O1237 non 1 1 1 1 4 O1

34 D'une manière générale, selon vous, les différences (économiques, culturelles, historiques, etc.) d'un pays à l'autre peuvent-elles expliquer les différences de résultats des pays qui participent aux évaluations internationales ?

O2

238 pas du tout 0 O2239 très partiellement 0 O2240 de façon substantielle 1 1 1 1 1 1 1 7 O2241 de façon décisive 1 1 1 3 O2242 ne sait pas 0 O2


O2

35a Le principe de la comparaison en éducation pose-t-il problème ? O2243 argumentaire d'invalidité de toute comparaison en éducation 0 O2244 argumentaire de validité conditionnelle (nécessite certaines précautions/conditions) 1 1 1 3 O2245 pas d'argumentaire contradictoire, acceptation de principe 1 1 1 3 O2

35b La méthodologie de la comparaison est-elle problématique ? O2246 évoque la complexité méthodologique des mesures comparatives psychométriques 0 O2247 argumentaire général de questionnement / vigilance 1 1 1 1 1 5 O2248 pas d'argumentaire contradictoire ou confiance vis-à-vis du maître d'oeuvre 1 1 O2

35c Les enjeux politiques peuvent-ils interférer et invalider les résultats des comparaisons ? O2249 argumentaire général de questionnement / vigilance 1 1 2 O2250 mentionne spécifiquement l'instrumentalisation possible ou effective des comparaisons internationales par le politique 1 1 O2251 pas d'argumentaire contradictoire, absence de questionnement 1 1 1 1 4 O2252 refus de répondre ou argumentaire d'évitement 0 O2

36 Souhaitez-vous rajouter quelque chose à propos des évaluations comparatives internationales ? ODonnées transversales (toutes questions confondues) O

253 référence spontanée aux bonnes performances de la Finlande ou des pays d'Europe du Nord 1 1 1 3 O

189/191

MARDIF Annexes


Réponses catégorisées 1 2 3 4 5 6 7 8 9 10254 référence aux différences culturelles entre pays comme facteur limitatif 1 1 1 1 1 5 O255 référence au socle commun de connaissances et de compétences 1 1 2 O256 référence à l'approche par compétences de PISA 1 1 O257 référence aux biais de méthodologie (proximité éval. nat/intern, conditions de passation des épreuves...) 1 1 1 1 1 5 O258 argumentaire anti-comparaison pour des raisons idéologiques ou philosophiques 1 1 1 3 O

(1) Fonction : CPE = conseiller d'éducation ; DIR = personnel de direction ; DOC = prof. documentaliste ; INS = personnel d'inspection ; PE = prof. des écoles ; PLC = prof. de lycée/collège(2) Établissement : CLG = collège ; CDP = centre dép. de doc. pédagogique ; EE = école élémentaire ; EM = école maternelle ; IEN = inspection de l'Éducation nationale ; LYC = lycée ; REC = rectorat(3) Sexe : F = femme ; H = hommeNB : Relances complémentaires Xa, Xb, etc. : faites à partir de l'entretien n° 5

190/191

Emmanuel KERGALL

TITRE : Impact des comparaisons internationales sur les politiques éducatives.La réception des évaluations comparatives internationales sur les acquis des élèves par les personnels de l'Éducation nationale en France : enquête exploratoire auprès d'un échantillon pluri-catégoriel

Résumé :

Après une brève mise en perspective historique, il est proposé en première partie une description des principaux programmes d’évaluations internationales sur les acquis des élèves, avec une attention particulière pour les enquêtes de l'IEA et de l'OCDE. Y sont également analysées les difficultés conceptuelles liées aux instruments psychomé-triques utilisés dans ce type d'évaluations comparatives, ainsi que les enjeux politiques de telles études, notamment les conséquences implicites des choix méthodologiques opérés et les risques d'obstruction du débat démocratique sur l'école et de changement de paradigme en termes de finalités éducatives.

La deuxième partie est consacrée à une recherche exploratoire, réalisée au moyen d'en-tretiens semi-directifs, sur la réception des comparaisons internationales par les personnels de l'Éducation nationale en France. Cette recherche a mis en évidence une connaissance souvent très limitée des programmes d’évaluations internationales exis-tants et, plus crucial, des enjeux sous-jacents et changements qu'une telle approche comparatiste pouvait introduire dans les systèmes éducatifs nationaux. L'impact de ces enquêtes sur les personnes interviewées s'est avéré globalement faible. Bien que ces premiers résultats restent à confirmer, ils posent sans doute la question de la formation et de l'information des professionnels de l'éducation relativement à ces outils.

Mots-clés : comparaisons internationales, évaluations, politiques éducatives, PISA, PIRLS, OCDE, IAE, organisations internationales

Impact des comparaisons internationales sur les politiques ...

Documents

Transcript of Impact des comparaisons internationales sur les politiques ...