Regard sur trente ans d'évaluation de la lecture

Cahiers du Service de Pédagogie expérimentale - Université de Liège - 7-8/2001 71

Quoi de neuf en littératie ? Regard sur trente ans d'évaluation de la lecture

QUOI DE NEUF EN LITTÉRATIE ?REGARD SUR TRENTE ANS D'ÉVALUATION DE LALECTURE1

Dominique Lafontaine

Introduction

Comment a évolué, en l’espace detrente ans, la manière dont sontévaluées la lecture, la compréhen-sion ou les compétences en lecture ?Pour répondre à cette question, j’aichoisi un poste d’observation un peusingulier : les grands programmesinternationaux d’évaluation de lalecture - enquêtes de l’I.E.A.(Association internationale pourl’évaluation du rendement scolaire)ou de l’Ocdé (IALS, Pisa)2. Ceux-cipeuvent sembler, à première vue,bien éloignés des pratiques de classeet des préoccupations didactiques.Cet article se centrera cependantsur des questions qui sontfondamentalement les mêmes quecelles que soulève toute évaluation

collective de type sommatif, utilisantle papier-crayon et comportant uncertain nombre de tâches ou d’items.Il laissera de côté les interrogationsportant spécifiquement sur lescontraintes propres aux évaluationsinternationales, telles que la compa-rabilité des données ou laproblématique de l’équivalenceculturelle.

1. Cadre de référence pourl’évaluation

Préalablement à toute évaluationformelle ou structurée, un cadred’évaluation doit être défini. Cecisuppose que soit apportée uneréponse notamment aux questionssuivantes :

1 Texte paru dans L. Collès, J.-L. Dufays, G. Fabry, C. Maeder (sous la direction de) (2001), Didactique des

langues romanes. Le développement de compétences chez l'apprenant. Actes du colloque de Louvain-la-Neuve, janvier 2000, 67-82.

2 Voir tableau descriptif des études examinées en annexe. Depuis le début des années 70, l’Associationinternationale pour l’évaluation du rendement scolaire (IEA) a conduit plusieurs enquêtes comparativesportant sur différentes disciplines (lecture, mathématiques, sciences, éducation civique,...). Plus récemment(1998), l’Ocdé s’est lancé dans le même type d’études, avec le programme PISA.

72 Cahiers du Service de Pédagogie expérimentale - Université de Liège - 7-8/2001


• Quel est l’objet de l’évaluation ?Que veut-on évaluer ? Quelledéfinition se donne-t-on del’objet ?

• Quel est le lien entre l’évaluationet les apprentissages menés ou lecurriculum ?

• Comment se structure le domaineque l’on veut évaluer ? Quelsaspects, quelles dimensions,quelles compétences l’évaluationva-t-elle prendre en compte ?

• Quelles modalités d’évaluationutiliser ? Celles-ci sont-ellescohérentes avec les choixconceptuels posés ?

• Comment présenter et interpréterles résultats de l’évaluation ?Existe-t-il une compétencereprésentée par un score global surune échelle ou les compétencessont-elles plurielles et appellent-elles plusieurs scores distincts ?

C’est à la lumière de ce cadre deréférence que je me proposed’examiner l’évolution del’évaluation de la lecture dans lessurveys internationaux.

2. L’objet de l’évaluation : d’une étudeséparée de la lecture-compréhension et de la littérature-interprétation à une étude de lalittératie au sens large

En 1971, point de départ de monétude historique, l’I.E.A. envisagepour la première fois une étudecomparative portant sur lacompréhension de textes. Un desaspects intéressants à noter est que

deux études séparées sont alorsprévues : l’une sera consacrée à lacompréhension en lecture (readingcomprehension education), l’autre àla littérature. L’étude sur lacompréhension se focalise sur lesaspects cognitifs, tandis que l’étude« littéraire » s’ouvre davantage auxaspects esthétiques et affectifs et à ladimension réflexive ou critique, àl’interprétation. D’un point de vuethéorique, ce divorce entre lecognitif et le culturel mérite d’êtresouligné. Deux facettes ou deuxcomposantes de la lecture (le cogni-tif et le culturel, la compréhension etl’interprétation) sont ainsi distin-guées, que le concept étendu delittératie réunira ultérieurement1.L’étude sur la compréhension reposesur un modèle implicite du lecteurqui puise ou restitue correctement lesens unique déposé dans le texte(gets meaning), alors que dansl’étude « littéraire » affleure laréférence au courant « response toliterature », la réponse étant définiecomme « l’interaction entrel’individu et l’oeuvre, interaction quipeut se prolonger longtemps après lalecture » (Purves, 1973 : 36).

1 Pour Grossman (1999), « le concept de littératie

permet d’articuler les aspects sociaux etculturels aux aspects développementaux »(p. 146). Il a « le mérite de bousculer desfrontières trop communément admises, parcequ’elles correspondent à des partages institu-tionnels entre cognitif et culturel, mais aussidisciplinaires, entre psychologie, anthropologieet linguistique. » (p. 144). Dans le même esprit,Pierre (1992) souligne que le concept delittératie « couvre l’ensemble des habiletés, descomportements et des attitudes reliés à l’écrit. »(p. 3).



Au début des années 90, deuxnouvelles enquêtes relatives auxcompétences en lecture voient lejour. L’enquête I.E.A. ReadingLiteracy (1991) et l’InternationalAdult Literacy Study (IALS, 1994).Ces deux études font, pour lapremière fois dans les étudesinternationales d’évaluation de lalecture, référence de façon majeureau concept de « littératie ». Alorsque la référence au curriculum et àl’école est dominante dans lapremière étude de l’I.E.A. (1971),l’étude IEARL s’ouvre à la notion delittératie fonctionnelle (avec uneréférence appuyée aux problèmesd’illettrisme1) et adopte unedéfinition de la « reading literacy »qui associe la compréhension et lesusages sociaux de la lecture : « Lalittératie est la capacité de comprendre etd’utiliser ces formes du langage écrit requisespar la société ou importantes pourl’individu. » (Elley, 1994 : 5, c’estnous qui soulignons)2. Le recours auconcept de littératie s’accompagned’une entrée en force des« documents » (textes non continus)comme supports de l’évaluation - 1 « Un adulte sur quatre de par le monde n’accède

pas à la capacité de lire (...). De surcroît, dansun monde de plus en plus complexe, un mondede l’information, les exigences de littératies’élèvent dans toutes les nations. De nos jours,les lecteurs peu compétents encourent desérieux désavantages dans la plupart des pays. »(Elley, Schleicher, Wagemacher, 1994 : 1)(« The ability to read is denied to one in four ofthe earth’s adult population. (...) Furthermorein an increasingly complex, information-riddenworld, demands on literacy continue to rise inall nations. Illiterates are at seriousdisadvantage in most countries today. »).

2 « Reading literacy is the ability to understandand use those written language forms that arerequired by society and/or valued by theindividual » (Elley, 1994 : 5).

cartes, graphiques, tableaux,formulaires - (le genre de textes qu’ilfaut savoir lire pour se débrouillerdans nos sociétés, et face auxquelsl’incompétence signifie l’exclusionsociale), absents des évaluationsantérieures. Mais, conséquence ounon de cette référence au concept delittératie, qui charrie toujours, neserait-ce qu’implicitement, la notionde compétences de base ou de seuilminimal, l’étude IEARL s’arrête à lacompréhension et aux usages de lalecture et ne s’ouvre pas à desaspects plus critiques ou réflexifs3.

La définition de la littératie (enanglais « literacy » dans ce cas, etnon « reading literacy ») adoptéedans IALS est assez proche de cellede l’étude IEARL, même si l’accenty est plus nettement mis sur l’usage(le côté fonctionnel) que sur lacompréhension, et ceci n’étonnerapoint, puisqu’il s’agit ici d’un publicd’adultes. La littératie est ici définiecomme :

3 Les définitions adoptées par les évaluations

successives ont été regroupées en annexe 2, afinde permettre une comparaison plus aisée. Il est ànoter que l’ouverture sur les « usages » ne sefait que de façon indirecte ou médiatisée, vial’introduction de nouveaux types de textes (lesdocuments « fontionnels » ou « authentiques »).Quelles que soient les intentions, on n’ôtera pasle fait que le seul et « authentique » usageauquel l’individu est confronté dans ce contexteest celui d’une évaluation formelle, normative,longue, où est évaluée sa capacité à sedébrouiller face à l’écrit seul, sans aide ourecours possible à des outils, et hors contextesocial.



« Utiliser l’information imprimée etécrite pour fonctionner en société,réaliser ses objectifs personnels,développer ses connaissances et sespotentialités1» (Murray, Kirsch andJenkins, 1998 : 17).

Les concepteurs de l’étude entendentrompre avec une vision simpliste dela littératie, opposant d’un côté ceuxqui sauraient lire (les «alphabétisés»/«literates») et ceux qui ne lesauraient pas (les analphabètes/illiterates). Ils insistent sur le côtémultidimensionnel de la lecture endélimitant trois domaines delittératie distincts : lire de la prose,lire des documents et lire des écritscomportant des données numériques(prose literacy, document literacyand quantitative literacy).

Enfin, à la fin des années 90, deuxnouvelles études sont en chantier :l’étude Pisa (Programme internatio-nal d’évaluation du suivi des acquisdes élèves) de l’Ocdé et l’étude Pirls(Progress in International ReadingLiteracy Study) de l’I.E.A. Avec cesdeux études une nouvelle étapesemble franchie dans le domaine desévaluations internationales de lalecture. La conception et ledéveloppement des stimuli et desitems sont désormais précédés de

1 « Using printed and written information to

function in society, to achieve one’s goals, andto develop one’s knowledge and potential »(Murray, Kirsch and Jenkins, 1998 : 17).

l’élaboration d’un cadre conceptuelfouillé dans lequel sont détaillés lesréférences théoriques, les choixconcernant la structuration dudomaine, les modalités d’évaluation,les échelles destinées à présenter lesrésultats, proposés par le grouped’experts et soumis à l’examen desgestionnaires nationaux de projet(Ocdé, 1999; IEA/Pirls, 1999). Lesétudes antérieures ont vraisemblable-ment élaboré de tels documents àusage interne; le fait que cesdocuments soient désormais destinésà être rendus publics et à faire l’objetde larges débats amène incontes-tablement à un effort de clarificationet de planification accrus. Les étudescontemporaines et à venir serontainsi davantage assises sur le planthéorique qu’elles ne l’ont étéantérieurement où une approche plusempirique prédominait.

Simple coïncidence ou conséquencede cette emprise théorique plusgrande, les définitions de la littératieadoptées dans Pisa et Pirls semontrent plus marquées parl’évolution des recherches fonda-mentales dans le domaine de lalecture, en faisant référence à uneconception interactive de la lecturetelle qu’illustrée dans ce schémaextrait de Giasson (1997).



Modèle interactif de compréhension en lecture

Structures cognitives affectives Processus

LECTEUR TEXTE

CONTEXTE

Intention de l’auteur Structure Contenu

psychologique social physique

Ainsi, dans Pisa, la littératie, c’est« comprendre, utiliser des textesécrits, mais aussi réfléchir à leurpropos, pour réaliser ses objectifspersonnels, développer sesconnaissances, ses potentialités, etparticiper à la vie en société 1»(Pisa, 1999 : 20, c’est nous quisoulignons). A côté de la compré-hension et des usages, l’accent estmis sur la capacité de réflexion ou dedistance critique du lecteur, qui joueun rôle actif, génératif dansl’élaboration du sens. La lecture estdésormais envisagée comme unprocessus interactif entre un texte,un lecteur, un contexte : le lecteur,pour atteindre ses objectifs delecture, déploie des stratégies et faitappel à ses connaissances antérieures(à sa culture, osons le dire) pourélaborer le sens et « répondre »au texte. La réconciliation entrecompréhension et interprétations’opère ainsi. L’ère de la réponsecorrecte et univoque semble désor- 1 « Understanding, using and reflecting on

written texts, in order to achieve one’s goals, todevelop one’s knowledge and potential and toparticipate in society » (Pisa, 1999 : 20).

mais révolue. Cependant, en raisondes contraintes propres à uneévaluation à large échelle, où lacomparabilité et la standardisationdes résultats importent (comparabi-lité entre pays et entre élèves dansles pays), l’ouverture qui semanifeste souffre certaines limites. Ilest certes admis théoriquement queplusieurs interprétations et plusieursréponses sont possibles à certainesquestions, mais on s’en tiendraà des interprétations « stabilisées/stabilisables », « normées », dont laplausibilité peut être estiméeet appréciée en termes de« correction ».

La définition proposée pour Pirlsdans le cadre conceptuel provisoire2

2 L’étude Pirls de l’IEA (testing en 2001) n’en est

qu’à sa phase d’élaboration et les informationscontenues dans le document provisoire (Draftframework) sont susceptibles d’être encoremodifiées. Mais la probabilité est faible que deschangements majeurs interviennent, quiinfléchiraient nettement les commentairesrelatifs à cette étude. C’est pourquoi nous avonspris le parti d’inclure cette étude dans notrerevue des évaluations consacrées à la lecture.



de novembre 1999 s’inscrit dans lamême ligne : « la littératie est lacapacité à comprendre et à utiliserces formes du langage écrit requisespar la société ou importantes pourl’individu. Les jeunes lecteurs sontamenés à construire le sens d’unediversité de textes. Ils apprennent àlire, à participer à des communautésde lecteurs, et pour leurplaisir 1» (Pirls/IEA, 1999 : 2). Lacontinuité avec l’étude IEARL de1991 est manifeste, mais on note unenuance de taille : la référence auxthéories de la lecture commeprocessus interactif de constructionde sens est dans PIRLS pleinementaffirmée et se traduira parl’évaluation, auprès d’élèves de 9-10 ans, de démarches complexestelles que « tirer et justifier desinférences complexes » (draw andjustify complex inferences andinterpretations) ou « examiner etévaluer le contenu, la langue et leséléments textuels » (examine andevaluate content, language, andtextual elements). Avec cesdéfinitions ambitieuses, on est loind’une conception étroitementfonctionnelle de la littératie; lesdéfinitions que se donnent ces deux

1 « Reading literacy is the ability to understand

and use those written language forms requiredby society and valued by the individual. Youngreaders can construct meaning from a variety oftexts. They read to learn, to participate incommunities of readers and for enjoyment »(Pirls/IEA, 1999 : 2).

dernières études de la « readingliteracy » embrassent de fait ce qui,en 1971, était apparu auxresponsables et experts de l’IEAcomme relevant de l’éducation ou dela culture « littéraires »2. A l’époque,il faut le préciser, l’évaluation de laculture littéraire ne concernait pastous les élèves, comme c’estaujourd’hui le cas dans Pisa et dansPirls, mais une fraction d’élèves,plus ou moins sélectionnée selon lespays, qui avaient réussi à semaintenir dans les filières généralesde l’enseignement ou, plussimplement, à l’école. Les exigencesles plus élevées s’appliquentaujourd’hui à la masse des élèves de9 ou 15 ans, portées par une doubleréférence : une référence théorique,d’une part, qui voit la compréhen-sion comme le résultat d’unprocessus de construction et d’uneinteraction entre le texte et lesconnaissances antérieures du lecteur,d’autre part, une référence auxexigences de la société supposées deplus en plus élevées, un relèvementdes standards de littératie dontPierre (1990; 1992) a bien montrétoute l’ampleur3.

2 Les définitions adoptées dans Pisa et Pirls

correspondent davantage à ce que d’aucunsappelleraient la « littératie cultivée, avancée ouélevée » (« cultural, advanced or highliteracy ») (Harris and Hodges, 1995).

3 Pierre estime ainsi qu’aujourd’hui, « dans lessociétés technologisées, le moindre travail exigeun niveau de littératie correspondant à uneonzième année, alors qu’il y a 50 ans, enAmérique du Nord, la moyenne de scolarisationcorrespondait à une quatrième année primaire »(1992 : 4).



3. Quel lien entre l’évaluation et lesapprentissages menés ou lecurriculum ?

L’exigence de cohérence entrel’évaluation et les apprentissagesprévus par les instructions officiellesou réalisés sur le terrain (curriculumthéorique ou implanté) est l’une desclés de voûte de l’évaluation, dequelque nature qu’elle soit. Dans lesévaluations internationales, elle sepose avec d’autant plus d’acuitéqu’elle se confond avec uneexigence d’équité entre pays : lespays ne souhaitent pas être évalués(en tout cas pas trop) à l’aune destandards pour lesquels il n’existeraitpas un minimum de consensusinternational (recherche d’un déno-minateur commun). C’est pourquoiles évaluations internationalesenvisagent généralement une étudedu curriculum de la disciplineconcernée dans les différents paysparticipants. Mais, pour la lecture, cen’est pas le cas, et cela n’a paschangé en trente ans. En 1971, on aestimé que le consensus sur lesobjectifs de l’enseignement de lalecture était suffisamment large pourne pas entreprendre une étudesystématique du curriculum; on aconsidéré qu’il existait « un accordgénéral, au-delà des nuancesnationales ou locales, sur le fait queles enfants doivent être capables decomprendre le sens d’écrits de stylesvariés et de contenus divers1». Les

1 « In the field of reading, there seems to be much

more consensus as to the objectives of theinstruction. (...) There would be generalagreement that children should be able to get

études ultérieures ne varieront passur ce point. Et, en cela, le parallèleque l’on peut faire avec despratiques d’évaluation plus courantesn’est pas sans intérêt. Dans lesclasses, quand il s’agit de lecture, onévalue aussi souvent sans tenircompte de ce qui devrait êtreenseigné ou de ce qui est enseigné,au point que dans certains classes, lalecture se limite et se confond avecson évaluation. En lecture, davan-tage que dans d’autres disciplinescomme les mathématiques, le lienentre évaluation et pratiquesd’enseignement est incertain.

4. Structuration du champ etcaractéristiques des tâches delecture

Une fois défini l’objet del’évaluation, se pose la question desaspects plus précis sur lesquels vaporter l’évaluation : quel type dematériel ou de textes ? Quellescompétences ou démarches dulecteur ?

4.1. Types de textes

La plus grande constante à cet égardest sans doute la référence,omniprésente, à une variété dematériels écrits. Ainsi dans l’étudesur la compréhension de lecture de1971, Thorndike évoque le recours àdu matériel écrit de contenus etstyles variés (« written material of

meaning efficiently from written material of avarious styles and content areas », Thorndike,1971.



various styles and content areas »).A titre d’exemples, il oppose ainsiles textes informatifs (expository)aux textes littéraires (literary), ou laprose à la poésie. Mais cetteévocation ne sert que de garde-fou àla diversité. Aucun équilibre a priorientre ces différents types ou genresde textes n’est exigé pour laconstruction de l’épreuve. En 1991dans IEARL, de même que dansIALS, le premier élément destructuration du champ est laréférence à des « domaines »correspondant à de vastes catégoriesde types d’écrit : textes narratifs,textes informatifs et documents pourIEARL; prose, documents et écritscomportant des données numériquespour IALS. En 1999, dans Pisa etdans Pirls, la référence au type et auformat des textes reste essentielle,même si elle emprunte parfoisd’autres voies. Dans Pisa, unepremière distinction est posée entretextes continus et discontinus, qui sepoursuit par des typologiesspécifiques, en référence aux travauxthéoriques sur les typologies detextes qui constituent l’un dessavoirs de référence de la didactique.Pour chacun des types de textes ainsiinventoriés, une proportion d’unitéset/ou d’items est définie a priori, queles développeurs de tests devronts’efforcer de respecter. Dans Pirls, laréférence à des typologies de texteest absente, mais l’un des deuxgrands axes de structuration duchamp - les buts de lecture -(purposes of reading) conduit à undécoupage proche de celui fondé surles types de textes : sous « lire pour

des motifs littéraires » (« reading forliterary experience ») et « lire pouracquérir et utiliser des informa-tions » (« reading to acquire and useinformation »), on retrouve sans tropde peine les grands types de textesévoqués plus haut. Par ailleurs,toutes les études, depuis IEARL,présentent ou envisagent de présen-ter les résultats sur des échellesséparées en fonction des types detextes. Au-delà des argumentsthéoriques relevant des typologies detextes, quelques arguments empiri-ques existent pour montrer que lescompétences mobilisées par lestextes continus, d’une part (qu’ilssoient narratifs ou informatifs), et lestextes non continus d’autre part(cartes, graphiques, tableaux...), sontcertes étroitement corrélées, maissuffisamment distinctes pour qu’onles envisage séparément (Atash,1995).

4.2.Habiletés, compétences, démar-ches ou processus... (Skills,abilities, processes or aspects...)

Le premier axe de structuration duchamp, on l’a vu, concerne essentiel-lement la nature des textes/stimuli(le pôle texte dans le triotexte/lecteur/contexte). Le second,assez logiquement, concerne lanature des compétences que l’onévalue. Sur quels processus, quellesdémarches, quelles compétences vaporter l’évaluation de la lecture ? Aufil du temps, la terminologie et lesconcepts ont certes varié, mais toutesles études envisagent, d’une manièreplus ou moins explicite, une



structuration du champ en fonctiondes compétences du lecteur. Laréférence au concept spécifique de« compétence » est cependantlargement absente des évaluationsinternationales, où le cadre deréférence est à dominante anglo-saxonne1.

En 1971, on l’a dit précédemment,l’IEA a posé d’emblée unedistinction relative à cette questionen prévoyant deux études séparéesde la compréhension et del’interprétation littéraire. Pourl’étude sur la compréhension,l’auteur de l’ouvrage de synthèse(Thorndike, 1973) rappelle quel’étude portera sur le contenucognitif du texte et que l’on ne seconcentrera pas sur l’appréhensiondu style, des sentiments, du ton oudes techniques littéraires2. Ceprincipe une fois établi, la réflexionsur les « skills » (compétences) àévaluer pour la lecture débouche surle choix d’évaluer (1) la compréhen-sion de lecture (2) la vitesse delecture (3) la connaissance duvocabulaire. L’existence de sous-compétences pour la compréhensionde lecture n’est pas mentionnée dansles fondements de l’étude, même si

1 Le terme « competency » est peu utilisé en

anglais et ne se distingue pas fondamentalementd’autres concepts proches tels que « skill » ou« ability ». Lorsque l’on veut faire référence àdes formes d’évaluation plus authentiques,menées au cours d’activités de résolution deproblèmes, ce sont les termes « performanceassessment » qui sont utilisés en anglais .

2 « it was decided to focus upon the cognitivecontent of the passage and to forego mostefforts to get any appraisal of style, feeling, toneor literary techniques » (Thorndike, 1973 : 19).

un examen attentif des items permetde déceler que ceux-ci font appel àdes processus de nature et decomplexité différentes (on trouve parexemple des tâches de lectureconsistant à retrouver l’idée princi-pale d’un passage ou nécessitant desinférences). Cette évaluation reflètebien l’état des recherches théoriquesdans le domaine de la lecture del’époque, marquées par une concep-tion behavioriste : une centration surdes prérequis et/ou des skillsassociés à la compréhension (levocabulaire et la vitesse), lacompréhension représentant quant àelle une sorte de boîte noire ou decontinent encore inexploré. Cetteétude est en effet antérieure auformidable développement desmodèles cognitifs de la lecture quimarquera les années 80 (Barr et al.,1990) et dont l’objet essentielconsistera à essayer de voirprécisément ce qu’il y a à l’intérieurde la boîte noire et à déterminerquelles composantes englobe la« compréhension en lecture ». A lafin des années soixante, la diversitéobservable dans les items saisitintuitivement une diversité deprocessus ou de compétences, maisles références théoriques pour pensera priori cette diversité n’existent pasencore.

L’étude IEARL de 1991 amorce untournant sur la question descompétences à évaluer. D’après lerapport d’Elley consacré à cetteétude (1994), il semble que laquestion des skills/processus men-taux (skills (or mental processes))



n’ait pas été posée a priori1. Ellen’apparaît en tout cas pas dans lesétapes relatives à la définition desdomaines et au développement del’épreuve. En revanche, la questionest évoquée quand il s’agit de décrireles tests définitifs. La spécificationdes processus mentaux impliqués parles différents items vient alorss’ajouter aux domaines définispréalablement, relatifs aux types detextes (textes narratifs, informatifsou documents). La manière dont cesprocessus mentaux sont définissemble encore relever largement del’intuition ou d’une démarche empi-rique. Aucune référence théorique àdes modèles n’est présente. Leclassement des items par processus aété effectué par le comité d’expertsinternationaux et soumis àl’appréciation de 27 juges volontai-res, issus de 12 pays différents. Lesprocessus sont différents selon letype de textes. Pour les textes suivis(narratifs et informatifs), ondistingue les réponses « verbatim »et « paraphrase », les questionsportant sur l’idée principale (mainidea) et les questions d’inférence(inference)2. Pour les textes non

1 C’est du moins l’impression que l’on a à la

lecture de l’ouvrage de synthèse. Mais il n’estpas exclu que cet aspect ait été longuementconsidéré dans le comité d’expertsinternationaux ou dans les débats avec lesreprésentants nationaux.

2 Les items « verbatim » sont des items pourlesquels la réponse correcte correspond terme àterme à ce qui est dit dans le texte. Pour lesitems « paraphrase », la réponse correctecorrespond à un synonyme ou une reformulationde ce qui est dit dans le texte. En casd’inférence, le lecteur doit aller au-delà du texte,expliciter des éléments laissés implicites dans letexte.

suivis (documents), deux processussont distingués : localiser l’informa-tion, d’une part, localiser et traiterl’information, d’autre part. Parrapport à 1971, l’intuition s’estprécisée, même si elle ne semble pasavoir guidé véritablement l’élabora-tion des tests. Une hypothèsepossible est que la nécessité declasser les items selon le processusimpliqué se soit fait jour lorsque lechoix de présenter les résultatsmoyens internationaux sur deséchelles IRT (Item ResponseTheory3) a été posé4.

Point d’aboutissement de ce longprocessus qui va d’une intuition oud’un classement empirique aposteriori à la construction d’un planraisonné définissant a priori quelsdomaines on veut évaluer, dans Pisa,cinq macro-aspects5 à évaluer sontdéfinis : comprendre globalement untexte, trouver de l’information, déve-lopper une interprétation, réfléchirsur le contenu d’un texte et réfléchirsur la forme d’un texte. Pour chacun

3 Le principe de ces échelles est décrit plus loin

(p. 13).4 Ce dernier choix lui-même semble avoir été pris

a posteriori, voire en dernière minute; il n’est eneffet pas pleinement intégré à la présentationdes résultats. Paradoxalement, les échelles IRTfigurent dans l’introduction de Elley (1994) etnon dans le chapitre consacré aux« international differences in achievementlevels ».

5 Il ne s’agit pas à proprement parler de« processus », puisque des processus de naturedifférente peuvent être mobilisés pour remplirune même tâche de lecture. Si, par exemple, ils’agit de dégager l’idée principale d’un texte,celle-ci peut être exprimée dans le texte, et ilsuffira de la localiser; dans d’autres cas, ilfaudra pour cela développer une inférencesimple, voire une inférence complexe.



de ces aspects, des proportionsd’items à atteindre sont arrêtéesavant l’élaboration des tests.Parallèlement, chacun des items del’évaluation est classé selon le macroet parfois le micro-aspect auquel ilfait appel. Ces deux critères définis-sent ce qui est appelé l’objectifde la question. Tel item sera parexemple considéré comme un item« retrouver une information :correspondance synonymique ». Lanécessité de préciser ainsi chacundes items et de prévoir des équilibresnumériques entre catégories est unequestion intimement liée auxéchelles IRT et plus particulièrementau nombre et à la nature des échellessur lesquelles on envisage deprésenter les résultats. Il serait eneffet regrettable de constater aposteriori qu’une dimension essen-tielle, pour laquelle on pourraitsouhaiter une échelle spécifique,n’est pas représentée par un nombred’items suffisant ou que les itemscouvrant cette dimension ne varientpas par leur degré de difficulté.L’arrivée des échelles IRT forceainsi, de son côté, le passage del’intuition ou du bricolage savant, àune approche plus théorique, et pluscomplexe techniquement, derecherche d’équilibres a priori.

Dans leur plan d’évaluation(Reading framework), les experts dePisa insistent sur le fait que les cinqaspects évalués (correspondant auxcompétences du lecteur) n’obéissentpas à une hiérarchie de complexitéstricte. Cette précision est capitale

pour la réflexion sur le dévelop-pement des compétences chezl’apprenant et pour leur évaluation.La conviction est en effet largementrépandue (il s’agit d’une représen-tation spontanée) que certainsprocessus ou certaines composantesde la compétence en lecture sontintrinsèquement plus complexes qued’autres et qu’il convient donc de lesaborder plus tard dans le curriculum,que ce soit à titre d’apprentissage oucomme objet d’évaluation. Or cetteconception n’est que partiellementvraie. Elle n’est vraie qu’en seplaçant sur un strict plan cognitif, eten faisant abstraction de tous lesautres paramètres. Or, conformémentaux modèles du lecteur aujourd’huicommunément admis (pour unesynthèse, voir Giasson, 1990, ouGombert et Fayol, 1992), la lectureest le résultat d’une interaction entreun texte, un lecteur et un contexte.Ainsi, il sera éventuellement plussimple, et en tout cas plus aisé,d’appliquer une démarche cognitive-ment plus complexe, telle qu’inférer,à un texte d’un niveau de difficultépeu élevé et/ou dont le contenu estfamilier au lecteur que l’inverse(appliquer une démarche cognitive-ment peu complexe à un textedifficile ou dont le contenu est peufamilier au lecteur). La compétencede lecteur observée est le fruit decette interaction singulière, il n’y apas à sortir de là. On rappellera à cepropos cette expérience désormaisclassique en psychologie cognitive(Recht et Leslie, 1988 : 16-20) quimontre que face à un texte aucontenu technique (portant sur une



technique sportive), des lecteurs plusfaibles en général, mais familiers ducontenu, obtiennent de meilleursscores que de « bons » lecteurs peufamiliers du contenu. Cetteexpérience illustre à merveille le faitque la lecture est bien le fruit d’uneinteraction. Toute réflexion sur lescompétences en lecture et sur leurhiérarchisation, de même que sur laprogression dans les apprentissages,doit intégrer cette donnée essentielle.Par ailleurs, sur le plan de l’évalua-tion, cette expérience rappelle lanécessité d’évaluer les compétencesau travers d’un ensemble large dematériels écrits, afin de minimiserles « biais » (qui ne sont rien d’autreque des effets d’interaction) liés àune familiarité inégale avec lecontenu ou le type de texte.

Au-delà de cette réflexion théorique,des recherches plus empiriquesconsacrées à IEARL et IALS se sontattachées à essayer de comprendrequels facteurs expliquent la difficultédes tâches en lecture, et plusexactement fondent la hiérarchie dedifficulté observée entre les items.Kirsch et Mosenthal (1995) ont ainsiélaboré un modèle qui intègre deuxtypes de variables, la lisibilité dutexte1 et ce qu’ils appellent desvariables de processus. Parmi cesvariables de processus, ils distin-guent le type d’information (laquestion porte sur une informationplus ou moins concrète), le type decorrespondance (la correspondance 1 Il s’agit de mesures classiques de lisibilité

(formules de Fry, 1977).

que le lecteur doit établir entre laquestion et le texte est littérale,synonyme, inférentielle, interpréta-tive...) et le degré de plausibilité desdistracteurs (certains des distracteursproposés sont-ils proches d’élémentsexplicitement exprimés dans letexte). Appliqué aux données del’étude IEA Reading Literacy, cemodèle permet de rendre compted’une proportion considérable de lavariance de la difficulté des tâches.La variable la moins influente est lalisibilité du texte; les deux autresvariables ont un très haut pouvoirprédictif, plus ou moins marquéselon le type de texte ou l’âge de lapopulation testée notamment (pourplus de détails, on se reportera àl’étude citée). L’existence d’un telmodèle permet de mieux appréhen-der ce qui fonde la difficulté destâches de lecture et permet, de façonprospective, de décider sur quelsparamètres agir pour couvrir unéventail de difficulté plus ou moinslarge, selon l’objectif que l’on sedonne. Ce modèle a de la sorte étéréinvesti pour construire les évalua-tions ultérieures (notamment Pisa).

5. Plan d’évaluation et présentationdes résultats

L’utilisation des analyses IRT(Rasch, 1980; Laveault & Grégoire,1997; Lafontaine & Schillings, 1999,Demeuse, 2000) dans les grandesenquêtes comparatives représente àn’en point douter l’une des avancéesles plus importantes de ces vingt



dernières années1. On l’a vu, lerecours à de telles échelles n’est sansdoute pas étranger au développementd’une phase de conceptualisationthéorique préalablement aux études.Par ailleurs, l’existence de tellestechniques rend possible l’utilisationde plans d’évaluation complexesavec rotation de carnets (complexmatrix sampling). Davantage d’itemspeuvent être utilisés, davantage decompétences évaluées sans quechaque individu testé doive pourautant subir une charge accrue. Lesdifférents items sont répartis dansdes carnets qui ont une partiecommune (par exemple 25 items sur60) et une partie variable (les 35autres items varient d’un carnet àl’autre). La technique d’ancrage rendpossible la comparaison des scoresd’élèves qui n’ont pas passéexactement le même ensembled’items.

Le principe de ces modèles IRT est,il faut le rappeler, qu’ils permettentd’exprimer, sur une même échelle, leniveau de difficulté d’un item et leniveau de compétence d’un individu.Un individu qui obtient un scored’une valeur n sur une telle échelle aune probabilité supérieure à un seuilfixé (on utilise habituellement 50 %ou 80 %) de réussir les items d’unedifficulté inférieure à n et uneprobabilité inférieure au seuil fixé deréussir les items d’une difficultésupérieure à n. Comme l’indiquent

1 Voir exemple d’échelle IRT en annexe 3.

Kirsch, Mosenthal et Jungeblut(1998), « les modèles de la réponseà l’item fournissent un moyend’envisager sous un même angle lesindividus et les tâches 2» (p.105) Leséchelles IRT permettent d’aller au-delà d’une perspective strictementnormative consistant à ordonnersimplement les individus ou lespays, dans les enquêtes internatio-nales, du plus performant au moinsperformant. Avant les échelles IRT,il ne restait la place, au-delà duclassement, que pour une analysequalitative. Avec l’arrivée desmodèles IRT, l’information seprécise et devient plus diagnostique.Non seulement tel pays sait qu’il estplus ou moins performant que telautre, mais il sait aussi en quoi : faceà quel type de texte, quelleproportion des individus évalués sesont révélés capables, ou non, demettre en oeuvre telle démarche delecture ou d’effectuer telle tâche.Ces modèles réussissent en quelquesorte à combiner de façon éléganteune approche normative (qui reste aucoeur de toute étude comparative) etune approche davantage centrée surles compétences. L’évaluation neporte plus seulement sur unequantification de la compétenceglobale en lecture (score de rende-ment); elle vise à diagnostiquer plusprécisément dans quelle mesure lesindividus se montrent capables demobiliser certains types de compé-

2 « Item response theory (IRT) scaling provides a

way to focus both on people and taskstogether. » (Kirsch, Mosenthal et Jungeblut,1998 : 105).



tences en lecture face à des textes etdes tâches diversifiées de lecture.

6. Format des questions

L’une des questions qui a régulière-ment animé les groupes d’experts oude représentants nationaux dans lesétudes internationales est celle duformat des questions : questionsouvertes ou à choix multiple,questions fermées ou à réponseconstruite ? En très schématique-ment résumé, les questions ferméesou les QCM ont pour ellesl’avantage d’être rapidement corri-gées, d’une façon fidèle et peucoûteuse; elles se prêtent mal, enrevanche, à l’évaluation de certainsprocessus (la réflexion critiquenotamment). Les questions ouvertesà réponse construite sont jugées plusauthentiques, s’imposent pourl’évaluation de certains aspects, maiselles nécessitent l’élaboration deguides de correction standardisésdont la mise en oeuvre seraimmanquablement coûteuse. Lacomparabilité des résultats peut dansce dernier cas se révéler plusincertaine (problèmes de fidélitéinter-correcteurs). Par ailleurs, si unequestion exige une réponse élaborée,l’évaluation des compétences enlecture se confond en partie avec lescompétences en expression écrite.Voyons comment les évaluationssuccessives ont tranché cetteépineuse question1. 1 Cette question d’apparence technique véhicule

celles, beaucoup plus fondamentales, du lienaux pratiques de la classe et de l’effet en retour

En 1971, pour cette grande premièreévaluation internationale de la lec-ture, tous les efforts se concentrenten vue de montrer qu’une telleévaluation comparative est faisableet les choix proposés en matièred’items sont dès lors prudents : « letest de compréhension doit êtreclassique : un passage est présenté àl’élève, assorti de questions portantsur ce passage2» (Thorndike,1973 : 20). Ce choix guidé par laprudence est de toute façon cohérentavec le modèle de la lecture que s’estdonné cette évaluation. Pour toutesles questions posées, il existe eneffet une et une seule réponsecorrecte, comme le montre lamanière dont sont formulées lesinstructions aux élèves et rien nes’oppose donc, sur le plan théorique,à ce que des QCM et rien que desQCM soient proposées.

Au début des années 90, l’étudeIEARL, reproduit, avec peu devariations, les mêmes choix. Certesdes voix se sont élevées, parmi lesreprésentants nationaux, pourréclamer des questions ouvertes (àréponse construite), mais le comitéd’experts internationaux a préféréemprunter la voie du pragmatisme,en appuyant ses choix sur une étude

(washback effect) que peut exercer uneévaluation dont le mode de questionnementn’est pas conforme aux usages en vigueur ouaux usages que les responsables éducatifsvoudraient voir adopter par les enseignants.

2 « The reading comprehension test was to be ofthe conventional type in which a passage ispresented to the pupil together with mutiple-choice questions based on that passage »(Thorndike, 1973 : 20).



(Elley et Mangubhai, 1992) quimontre des résultats apparemmentsimilaires avec les deux formats dequestions1. Les tests comporterontdonc une majorité de questions àchoix multiple (de 90 % en popula-tion A à 75 % en population B). Dixà vingt pour-cent des questionsseront des questions ouvertes où ilfaut répondre par un mot, un chiffreou quelques mots (celles-ci neposent aucun problème decorrection). A chaque niveau, deuxquestions à réponse construite serontincluses, à titre d’option internatio-nale; les résultats de cette optionsont analysés dans Kapinus et Atash(1995).

Avec IALS, c’est un pari audacieux,et exactement inverse qui est pris :toutes les questions seront desquestions ouvertes. La justificationdu choix est plutôt laconique :« toutes les questions étaientouvertes parce que l’on a pensé quedes adultes seraient plus intéressés àréaliser de telles tâches 2» (Murray,Kirsch and Jenkins, 1994 : 19).De prime abord, cette décisionsemble se fonder plus sur des raisonspsychologiques que psychomé-triques ou théoriques.

1 Tout dépend évidemment des critères que l’on

se donne pour évaluer la similarité. D’autresétudes (Kapinus et Atash, 1995) ont apporté desréponses différentes, ou en tout cas plusnuancées, à cette même question.

2 « All of the literacy tasks were open-endedrather than multiple-choice, because it wasthought that adults would be more interested inperforming such tasks » (Murray, Kirsch andJenkins, 1994 : 19).

Dans la foulée, les deux études Pisaet Pirls comporteront également uneproportion importante de réponsesouvertes construites (nécessitant unecorrection multiple). Ce choix estdans les deux cas fondé nonseulement sur le souci de rendre lestâches plus « authentiques », il estguidé aussi par des raisonsthéoriques. Certains des aspects ouprocessus évalués supposent en effetque le lecteur mette en résonance letexte et ses connaissances antérieu-res. Plusieurs « bonnes » réponsessont donc envisageables et il devientdifficile de couler ce type dequestion, où il est fait appel à unepart de créativité du lecteur, dans lemoule des questions à choixmultiple.

7. Synthèse

Ce regard porté sur trente annéesd’évaluations internationales de lalecture a permis de mettre au jourquelques axes d’évolution majeurs3,que l’on observerait sans doute enexaminant d’autres évaluations.Ainsi, depuis les années 70 :

3 Un tableau présentant les principales

caractéristiques des surveys envisagés figure enannexe 1.



• Les conceptions de ce qu’est lacompréhension en lecture, puisla littératie (reading literacy), sesont considérablement étendueset enrichies, parallèlement audéveloppement des recherchescognitives sur les processus delecture. D’une conception de lacompréhension centrée sur larestitution d’un sens univoquedéposé dans le texte (ce quiéchappe à cela est renvoyé à lasphère du littéraire), on aprogressivement glissé à uneconception de la littératieréconciliant les versants cognitifset culturels et où il est reconnuque le processus d’élaboration dusens d’un texte résulte d’uneinteraction entre ce texte et unlecteur.

• Le travail préalable d’élabora-tion théorique s’est sensiblementdéveloppé sous la doubleinfluence des modèles théoriques(processus cognitifs, typologies detextes, recherches sur les facteursprédictifs de la difficulté destâches) et des modèlespsychométriques (échelles IRT).La démarche empirique carac-téristique des premières études aprogressivement cédé le pas à uneapproche structurée, planifiée, oùles équilibres entre différentescontraintes et critères sont définisa priori.

• La proportion de questions à choixmultiple a régressé tandis que sedéveloppait l’usage de questionsà réponse construite et de guidesdestinés à assurer une correctionaussi objective que possible de ces

réponses complexes, mieux enaccord avec les conceptionscontemporaines de la lecture. Uneffort a été fait pour utiliser destextes ou des documents plusauthentiques, que l’on n’écrit oune réécrit pas pour les besoins del’évaluation.

• L’apparition de nouveaux modèlespsychométriques (échelles IRT) adynamisé, ou accompagné, uneapproche plus diagnostique,davantage centrée sur lescompétences. Les enquêtesinternationales ne se limitent plusaujourd’hui à produire un scoreglobal de rendement, elles visent àétablir quelles proportions delecteurs sont capables de mobili-ser certains types de compétencesface à des tâches de lecturediversifiées.

Les évaluations menées sur le planinternational sont la résultante decompromis multiples. Celles-ci doi-vent composer avec les contraintespropres à toute évaluation à largeéchelle, les exigences liées à lacomparaison des données et auxdifférents contextes nationaux et lesavancées des savoirs de référence(modèles cognitifs, modèles psycho-métriques, modèles linguistiques,psycholinguistiques et didactiquespour la lecture). Certes, lamachinerie de ces évaluations estlourde, ce qui la met à l’abri deseffets de mode passagers.L’évolution sur cette période de30 ans est cependant perceptibleet aura suffisamment montré, jel’espère, que ces «grosses machines»



ont réussi à s’adapter, dans un lapsde temps raisonnable, et compte tenudes contraintes qui leur sont propres,à une conception de la lectureinteractive qui intègre l’évaluationde compétences plus complexes quele simple repérage d’informationslittérales via des questions à choixmultiple.

Le cadre de référence utilisé ici pouranalyser l’évolution dans lesévaluations internationales pourraitsans doute s’appliquer utilement àd’autres types d’évaluation :évaluations externes nationales oulocales, ou encore pratiquesd’évaluation bilan. Il permet en effetde s’interroger sur la cohérenceinterne d’une évaluation (lesmodalités d’évaluation sont-elles enconcordance avec la définition de lalecture que l’on s’est choisie ou queles instructions officielles prônent,par exemple ?), voire de la guider. Ilpeut aussi permettre d’amorcer, audépart d’évaluations existantes, ou àconstruire, la question du lien entreapprentissage/enseignement etévaluation de la lecture. L’idée peutsembler singulière, mais commedans nombre de classes les activitésde lecture se résument hélas à sonévaluation (Guernier, 1999; Giasson,1990), elle pourrait se révélersingulièrement didactique.

8. Pour la littératie...

Au moment de conclure, je voudraisrevenir un bref instant sur le conceptde littératie pour tenter de cerner

quels véritables changementsrecouvre le recours à ce concept. Ona vu, que pour les évaluationsinternationales, le terme apparaît à lafin des années 80 et que son usage setraduit par un élargissement à destypes de textes moins littéraires oumoins savants - les documents quel’on utilise dans la vie courante. Celien me paraît bien établi. On a vuaussi que le recours au terme delittératie va de pair, au moins sur leplan temporel (les deux phénomènessont quasi contemporains) avec uneévolution des conceptions, desmodèles de ce qu’est la lecture. Cetteconcomitance est, à mon avis,relativement fortuite; les modèlescognitifs de la lecture qui sous-tendent cette évolution ne font eneffet pas référence au concept delittératie. Même si elle est fortuite,cette coïncidence mérite peut-êtreque l’on s’en saisisse. Le concept delittératie, tel qu’il a été défini parGrossman ou Pierre1 et par beaucoupd’auteurs anglo-saxons, en réconci-liant compréhension et usages,comportements et attitudes face àl’écrit, est implicitement porteur decette conception interactive de lalecture dont on a montré toutel’importance pour une réflexion surle développement des compétencesen lecture. Malgré son caractèregénéral, le concept a en outre lemérite de faire référence, de façonpositive, à un processus continu dedéveloppement des compétences enlecture, ce que ne permet pas le

1 Voir leurs citations plus haut.



terme d’alphabétisation1. Enfin, alorsque le concept de compréhensionrenvoie à des compétences d’ordreessentiellement cognitif, le conceptde littératie rappelle que devenirun(e) lecteur/lectrice compétent

suppose non seulement des habiletéscognitives, mais l’élaboration d’unrapport positif de connivence ou defamiliarité à l’écrit qui débordelargement la sphère du cognitif.

Références bibliographiques

Evaluations internationales de la lecture

Elley, W.B. (1994). The IEA Study ofreading literacy : Achievement andinstruction in thirty-two schoolsystems. Oxford : Pergamon.

Lafontaine, D. (1996). Performances enlecture et contexte éducatif. Enquêteinternationale menée auprès d’élèvesde 9 et 14 ans. Bruxelles : De Boeck.

IEA PIRLS (1999). Draft framework andspecifications for the PIRLSAssessment of Reading Literacy.Progress in International ReadingLiteracy Study. Chestnut Hill, Ma :PIRLS International Study Center,Boston College.

1 Le concept de littératie ne résout pas tous les

problèmes, car l’adjectif correspondant, quipermettrait d’exprimer cette continuité, faithélas défaut. Ma connaissance des nuances de lalangue anglaise est insuffisante pour mesurerl’ampleur de l’écart qui sépare les « literate »des « illiterate ». En français, c’est un fossé, quedis-je un monde, qui distingue les « illettrés »des « lettrés ».

Murray, T.S., Kirsch, I.S., Jenkins, L.B.(1998). Adult literacy in OECDcountries. Technical report on theFirst International Adult LiteracySurvey. Washington : NationalCenter for Education Statistics, USDepartment of Education, Office ofEducational Research andImprovement.

OCDÉ (1999). Mesurer les connaissanceset compétences des élèves. Unnouveau cadre d’évaluation. Paris :Les éditions de l’OCDÉ.

Purves, A.C. (1973). Literature educationin ten countries. International studiesin evaluation II. Stockholm :Almqvist & Wiksell.

Thorndike, R.L. (1973). Readingcomprehension education in fifteencountries. International studies inevaluation III. Stockholm : Almqvist& Wiksell.



Autres références

Atash, N. (1995). Assessing thedimensionality of the IEA ReadingLiteracy Data. In M. Binkley, K.Rust, M. Winglee (Eds), Methodo-logical issues in comparativeeducational studies. The case of theIEA Reading Literacy Study.Washington, D.C. : National Centerfor Education Statistics. USDepartment of Education, Office ofEducational Research and Improve-ment, 75-102.

Barr, R., Kamil, M.L., Mosenthal, P. &Pearson, P.D. (Eds) (1990).Handbook of reading research(vol. 2). New York : Longman.

Demeuse, M. (2000). Les échelles demesure : Thurstone, Likert, Guttmanet le modèle de Rasch. Liège :Service de Pédagogie expérimentalede l'Université, Série "Notestechniques" - 2000/2.

Elley, W.B. & Mangubhai, F. (1992).Multiple-choice and open-endeditems in reading tests. Studies inEducational Evaluation, 18(2),191-199.

Fayol, M. (1992). Comprendre ce qu’onlit : de l’automatisme au contrôle. InM. Fayol, J.-E. Gombert, P. Lecocq,L. Spenger-Charolles & D. Zagar(Eds), Psychologie cognitive de lalecture. Paris : Presses Universitairesde France.

Giasson, J. (1990). La compréhension enlecture. Bruxelles : De Boeck.

Giasson, J. (1997). La lecture : de lathéorie à la pratique. Bruxelles : DeBoeck.

Grossman, F. (1999). Littératie,compréhension et interprétation detextes. Repères, 19,139-167.

Guernier, M.-C. (1999), Lire et répondre àdes questions au cycle 3. Repères,19, 167-183.

Harris, T.L. & Hodges, R.E. (Eds) (1995).The literacy dictionary. Thevocabulary of reading and writing.Newark, Delaware : InternationalReading Association.

Kapinus, B. & Atash, N. (1995). Exploringthe possibilities of constructed-response items. In M. Binkley,K. Rust, M. Winglee (Eds),Methodological issues incomparative educational studies. Thecase of the IEA Reading LiteracyStudy. Washington, D.C. : NationalCenter for Education Statistics. USDepartment of Education, Office ofEducational Research and Improve-ment, 105-133.

Kirsch, I.S. & Mosenthal, P.B. (1995).Interpreting the IEA ReadingLiteracy Scales. In M. Binkley, K.Rust, M. Winglee (Eds),Methodological issues in compara-tive educational studies. The case ofthe IEA Reading Literacy Study.Washington, D.C. : National Centerfor Education Statistics. USDepartment of Education, Office ofEducational Research and Improve-ment, 135-193.

Kirsch, I.S., Mosenthal, P.B. & Jungeblut(1998).The measurement of adultliteracy. In T.S. Murray, I.S. Kirsch,L.B. Jenkins, Adult literacy in OECDcountries. Technical report on theFirst International Adult LiteracySurvey. Washington : National



Center for Education Statistics, USDepartment of Education, Office ofEducational Research and Improve-ment, 105-134.

Lafontaine, D. (1996). Performances enlecture et contexte éducatif. Enquêteinternationale menée auprès d'élèvesde 9 et 14 ans. Bruxelles : De Boeck.

Lafontaine, D. & Schillings, P. (1999).Mesurer les progrès accomplis grâceau modèle de la réponse à l’item :l’évolution des compétences enlecture à 14-15 ans en Communautéfrançaise de Belgique entre 1991et 1998. Scientia PaedagogicaExperimentalis, XXXVI, 2, 165-178.

Laveault, D., Gregoire, J. (1997).Intreoduction aux théories des testsen sciences humaines. Bruxelles :De Boeck, coll. Méthodes ensciences humaines.

Martin, M.O., Rust, K., Adams, R.J. (Eds)(1999). Technical Standards for IEA

Studies. Delft, Netherlands : EburonPublishers.

Pierre, R. (1990). De l’alphabétisation à lalittéracie : pour une réforme enprofondeur de l’enseignement.Scientia Paedagogica Experimenta-lis, XXVIII, 2, 151-186.

Pierre, R. (1992). La compréhension detextes écrits face au rehaussementdes standards de littératie. ScientiaPaedagogica Experimentalis, XXIX,1, 3-21.

Rasch, G. (1980). Probabilistic models forsome intelligence and attainmenttests. Chicago : University ofChicago.

Recht et Leslie (1988). Effect of priorknowledge on good and poorreaders’s memory of text. Journal ofEducational Psychology, 80, 16-20.

Rosenblatt, L.M. (1938/1976). Literatureas exploration. New York : ModernLanguage Association.

Liste des sigles utilisés

IALS : International Adult Literacy Study.IEA : Association internationale pour l'évalua-

tion du rendement scolaire.IEARL : Etude de l'IEA sur la «Reading

Literacy».

IRT (échelle) : Item Response Theory.PIRLS : Progress in International Reading

Literacy Study.PISA : Programme international d'évaluation

du suivi des acquis des élèves.



ANNEXES



ANNEXE 1

Etudes/Commanditaire Objet Population Domaines Habiletés/

Processus Echelles Pland’évaluation

Format desquestions

IEA Six SubjectStudy (1971)

Compréhensionde la lecture

10-11 ans14-15 ans

Fin dusecondairesupérieur

Pas de domainesspécifiés

(« variété de contenus et de

styles »)Tous les textessont continus(narratifs etinformatifs)

Compréhensionde la lecture/vitesse de

lecture/vocabulaire

- Pas de rotation.Une seule forme

de test

100 % QCM

IEARL (1991) Littératie/Compréhension

de l’écrit(ReadingLiteracy)

9-10 ans14-15 ans

Textes narratifs /Textes

informatifs/Documents

Verbatim/Paraphrase/Idée

principale/Inférer/ Repérer/Repérer et traiter

l’information

3 échelles :textes narratifs/

textes informatifs/documents

Pas de rotation.Une seule forme

de test.

75 % à 90 % deQCM + quelquesitems ouverts à

réponse« fermée ».

IALS (1994)/Ocdé et

StatistiqueCanada

Littératie Adultes Prose/Documents/

Donnéeschiffrées

- 3 échelles :prose/

documents/donnéeschiffrées

Plan complexeavec rotation de

carnets

100 % dequestionsouvertes



Etudes/Commanditaire Objet Population Domaines Habiletés/

Processus Echelles Pland’évaluation

Format desquestions

PISA (2000)/Ocdé

Littératie/compréhension


15 ans Textes continusvs non continus

Retrouver del’information/

Compréhensionglobale/ Tirer une

interprétation/Réfléchir sur le

contenu/Réfléchir sur la

forme

Pas encoredéterminé


carnets

55 % QCM, 45 %de questionsouvertes àréponse

construite

PIRLS (2001)/IEA

Littératie/compréhension


Buts de lecture(lire pour des

motifs littérairesvs lire pouracquérir etutiliser de

l’information)

Retrouver uneinformationprécise et

explicite dans letexte/Faire une

inférence directe/Faire et justifierdes inférences

complexes et desinterprétations/

Examiner etévaluer lecontenu, la

langue et lesaspects textuels.

2 échelles : butsde lecture

(littéraire vsinformation)


carnets

70 % dequestionsouvertes àréponse

construite, 30 %de QCM



Annexe 2Définitions de la lecture ou de la littératie dans les évaluations internationales

Surveys Définitions

IEA (1971) Compréhension de la lecture, sans plus de précision.

IEARL (1991) « La compréhension de l’écrit (reading literacy) est la capacité de comprendre et d’utiliser les formes dulangage écrit qui sont nécessaires à la vie en société et importantes pour l’individu ».« Reading literacy is the ability to understand and use those written language forms that are required bysociety and/or valued by the individual. »

IALS (1994) « La littératie, c’est utiliser l’information imprimée et écrite pour fonctionner en société, atteindre sesobjectifs personnels, développer ses connaissances et ses potentialités ».« Using printed and written information to function in society, to achieve one’s goals, and to develop one’sknowledge and potential. »

PISA (2000) « Comprendre l’écrit, c’est non seulement comprendre les textes écrits, mais aussi les utiliser et réfléchir àleur propos pour atteindre ses objectifs personnels, développer ses connaissances, ses potentialités etparticiper à la vie en société ».« understanding, using and reflecting on written texts, in order to achieve one’s goals, to develop one’sknowledge and potential and to participate in society. »

PIRLS (2001) « La compréhension de l’écrit (reading literacy) est la capacité de comprendre et d’utiliser les formes dulangage écrit qui sont nécessaires à la vie en société et importantes pour l’ individu. Les jeunes lecteurssont amenés à construire le sens d’une diversité de textes. Ils lisent pour apprendre, pour participer à descommunautés de lecteurs et pour le plaisir ».« Reading literacy is the ability to understand and use those written language forms required by societyand valued by the individual. Young readers can construct meaning from a variety of texts. They read tolearn, to participate in communities of readers and for enjoyment. »



Annexe 3Echelle IRT de l'enquête IEA Reading Literacy (Lafontaine, 1996).

Population Adistribution

Population B

Niveau

Non-lecteur

distribution5 3 % 32 % Textes narratifs Textes informatifs Documents

6

7

97% 68% Rudimentaire Histoires courtes etsimples; questionslittérales; réponsesfournies textuellementdans le passage.

Passages simples etcourts sur des sujetsfamiliers. Vocabulairesimple. Réponsedans le passage.

Simple liste, tableau àdouble entrée ou gra-phique à une dimen-sion. Un seul élémentà localiser.

8

9

10

81% 55% Elémentaire Passages courts àmoyens; inférencesaisées sur les person-nages, leurs intentionsou le message dutexte.

Passages plus longs.Sujets moins familiers.Les réponsesnécessitent laparaphrase etd'intégrer desinformations dedifférentes parties dutexte.

Plan simple, tableau àdouble entrée ougraphique à unedimension. Deuxéléments à localiser, àcompter ou àcomparer.

11

12

13

68% 43% Intermédiaire Histoires de longueurmoyenne avec plu-sieurs personnages.Inférences sur lesintentions despersonnages oul'intrigue.

Passages de longueuret de complexitémoyennes. Sujets nonfamiliers. Les répon-ses nécessitent laparaphrase et d'inté-grer des informationsde différentes partiesdu texte.

Plan simple, tableau àdouble entrée ougraphique à unedimension. Troiséléments à localiser,compter ou comparer.

14

15

16

50% 25% Compétent Histoires longues,complexes, avecbeaucoup depersonnages.Inférences complexessur les intentions,l'intrigue, le message,la suite du texte.

Passages longs, unpeu de vocabulairetechnique et d'idéesabstraites. Lesréponses supposentdes inférences, descomparaisons, desapplications.

Tableau détaillé, gra-phique ou diagrammemulti-dimensionnel.Trois éléments àlocaliser, compter oucomparer.

17 37% 4% Avancé Histoires longues, Passages longs et Tableau détaillé, gra-

18

19

complexes, vocabu-laire compliqué.Inférences subtilessur les intentions, lesrelations des person-nages, le message,etc.

complexes sur dessujets non familiers etabstraits, avec duvocabulaire techni-que. Les réponsessupposent de subtilesinférences, descomparaisons, desapplications et lerecours aux connais-sances antérieures.

phique ou diagrammemulti-dimensionnel.Quatre éléments ouplus à localiser etinférences complexesà effectuer.

Regard sur trente ans d'évaluation de la lecture

Documents

Transcript of Regard sur trente ans d'évaluation de la lecture