L'evaluation Des Comptences Linguistiques FLE

17me Colloque international de l'ADMEE Europe

Lisbonne - 18-20 novembre 2004

"L'valuation des comptences : entre reconnaissance et validation des acquis de l'exprience "

Lvaluation des comptences linguistiques des adultes en franais langue trangre dans une perspective de multi-rfrentialisation Marc DEMEUSE, Service de Pdagogie thorique et exprimentale, Universit de Lige et IREDU, Universit de Bourgogne et CNRS Franck DESROCHES, Alexandra CRENDAL, Philippe OSTER, Franois RENAUD, Direction des Relations internationales de lEnseignement, Chambre de Commerce et dIndustrie de Paris (DRI-E/CCIP). Et Xavier LEROUX. Mots-cls : franais langue trangre, rfrentiel, comptences linguistiques, adultes non francophones

a s s o c i a t i o n

p o u r

l e

d v e l o p p e m e n t

d e s

m t h o d o l o g i e s

d '

e v a l u a t i o n

e n

e d u c a t i o n

a

d

m

e

e

Europe

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL Lvaluation des comptences : entre reconnaissance et validation des acquis de lexprience

2

Rsum Lvaluation des comptences linguistiques des adultes en franais langue trangre est lobjet de nombreux enjeux : reconnaissance et validation des acquis de lexprience ou dapprentissages formels non certifis, notamment. Le Conseil de lEurope, mais aussi les services canadiens de limmigration (Citoyennet et Immigration Canada) ou les autorits responsables de lenseignement suprieur des pays francophones (comme la France ou la Communaut franaise de Belgique), dfinissent des standards destins permettre lvaluation des comptences linguistiques de sujets adultes dans le domaine du franais. Les objectifs de ces organismes peuvent tre trs variables et les enjeux, pour les candidats lvaluation, plus ou moins importants (depuis la reconnaissance dun niveau de franais dans la perspective dune valorisation barmique jusqu la possibilit daccder des tudes suprieures en France ou en Belgique, ou tre admis comme immigrant conomique sur le territoire canadien). Si, explicitement ou non, les diffrents organismes font recours une approche par comptences, les rfrentiels peuvent se prsenter de manire extrmement varie : le Conseil de lEurope, travers son cadre commun de rfrence, et Citoyennet et Immigration Canada, dveloppent un document trs complet et publi alors que les autorits acadmiques belges et franaises privilgient le travail de commissions charges de crer ou dagrer des outils (tests ou examens) dvaluation. Dautres acteurs, publics ou privs, dveloppent par ailleurs, en rapport avec les rfrentiels mentionns, des outils quils soumettent lagrment des diffrentes autorits publiques. Cest dans ce cadre, celui de loprationnalisation travers un outil dvaluation particulier, dont lobjectif est de correspondre un ensemble de rfrentiels, que cette communication se situe. Elle mobilise la fois une quipe de conception et un chercheur indpendant charg dassurer le contrle qualit de la production et du suivi des tests. Aprs une mise en correspondance des diffrents rfrentiels externes et du rfrentiel propre de loutil dvaluation lui-mme, les auteurs mettront en vidence les stratgies de dveloppement des diffrentes formes quivalentes (formes parallles) du test pour chacune des quatre composantes (expression et comprhension de loral et de lcrit). A travers lanalyse de la mise en uvre dun test particulier de franais gnral pour adultes dont la langue maternelle nest pas le franais, lexpos tentera de mettre en vidence la complexit dune rponse spcifique des prescrits distincts, sous contrainte dune procdure de qualit totale en voie de certification.



3

1. Les enjeux de lvaluation en franais langue trangre 1.1. Le contexte volutif de lvaluation en FLE : les composantes visibles du changement

Le domaine de lvaluation en franais langue trangre sest beaucoup dvelopp ces quinze dernires annes, et notamment en France. Plusieurs vnements en politiques linguistiques et ducatives ont pouss ce domaine voluer : la convergence des politiques linguistiques europennes, la valorisation de la reconnaissance et des acquis de lexprience et les recherches dans le domaine de lvaluation en franais langue trangre, alliant dsormais analyses qualitatives et quantitatives, pr-exprimentes avec les premiers rfrentiels en franais langue trangre comme le Franais fondamental et reconduites dans les standards dALTE, de DIALANG et enfin du Cadre europen commun de rfrence pour les langues (CECR). Dautres facteurs, sociologiques, ont aussi amen ces changements, et notamment la mondialisation des changes et la mobilit accrue des tudiants, des professionnels, des personnes pour des raisons conomiques, gopolitiques, ducatives. Cest dire combien les enjeux communicationnels sont devenus grands. Dsormais, communiquer vite et efficacement est un enjeu majeur tant pour les individus que pour le monde de lentreprise, la socit, un tat. Dans ce cadre-l, lvaluation de la comptence en langue simpose car elle permet au candidat et linstitution de mesurer les relles comptences en langue permettant une meilleure intgration. Tel est le cas pour les autorits canadiennes qui accordent un quart des points (24 / 100) la matrise des langues franaise et anglaise tout travailleur qualifi prsentant une demande de visa. Troisimement, le facteur temporel simpose et a ouvert de nouvelles perspectives lvaluation en langues. Pour reprendre lexpression dEric Delamotte (in Le commerce des langues, 1999), la temporalit est renouvele en ce sens que la notion de temps influe sur la conception des outils et linterprtation des rsultats. Deux niveaux temporels peuvent tre dgags : lun chronomtrique, lautre chronologique. Au niveau chronomtrique, deux arguments de force ressortent :

Pour le candidat, lvaluation instantane quoffre un test de langue permet de valider, en deux heures, un niveau de comptence et dobtenir, sous 48H00 ,des rsultats pour prsenter un dossier dentre lUniversit ou une demande de visa en vue dtudes ou dmigration future. Pour les institutions, lexactitude du jugement et de la prise de dcision sont de mise. Aussi, interprter les rsultats dun diplme obtenu il y a une dizaine dannes les intressent de moins en moins. Elles se tournent petit petit vers des instruments de mesure qui photographient la comptence linguistique du candidat au moment o il va tre recrut par un office dimmigration ou admis luniversit.

Au niveau chronologique, les enjeux sont importants et ont amen des amliorations dans le domaine de la conception dpreuves en franais langue trangre :

La mise en place du portfolio europen et lincitation la formation tout au long de la vie amnent aujourdhui les candidats capitaliser toute exprience de lutilisation des langues et acter toute valuation qui validerait un niveau de comptence. Or, si lon veut mesurer la progression, il est important que le candidat passe une valuation standardise, talonne sur un cadre de rfrence comme le Cadre europen commun de rfrence pour les langues (CECR). Le mme problme se pose pour des centres de formation qui utiliserait lvaluation dun candidat comme un outil de positionnement. Les centres de formation en langues ont besoin de se rfrer des outils qui mesureront toujours le niveau du candidat dans les quatre habilets langagires et qui leur permettront de placer plus justement le candidat.



4

Le facteur temps trait ci-dessus montre combien lunivers symbolique de lvaluation semble avoir chang de paradigme ces dix dernires annes. En effet, la notion defficacit et dquit apparat de plus en plus dans les discours institutionnels. Dans le chapitre consacr lvaluation dans le Cadre europen commun de rfrence pour les langues (Conseil de lEurope, 1998, p135), il est fait mention de ces aspects : () dans un programme de langue, la comptence de lapprenant nest pas la seule chose value par exemple, la rentabilit de certains matriels pdagogiques ou mthodes, le type et la qualit du discours effectivement produit, la satisfaction de lenseignement et celle de lapprenant, lefficacit de lenseignement, etc. . De plus, lapprenant nest plus seulement acteur de son apprentissage ; il est aussi de plus en plus matre de son parcours ; il capitalise ses savoirs et savoir-faire et apprend tre conscient de ltat prsent de ces connaissances (recommandation du Conseil de lEurope, p12). Enfin, au niveau de lthique, il est intressant de constater une avance certaine. En effet, les institutions qui slectionnent des candidats limmigration ou lentre luniversit font de plus en plus appel des oprateurs externes spcialistes de lvaluation en langues et qui offrent des outils adapts la demande de telles institutions. Ainsi, le slectionneur nest plus partie prenante de lvaluation linguistique en elle-mme, mais slectionne le candidat en fonction de seuils dacceptabilit. Par exemple, suite lamendement dune nouvelle loi sur limmigration, les autorits canadiennes (Citoyennet et Immigration Canada) ont dcid dexternaliser la passation de lpreuve linguistique et de la confier un organisme spcialiste de dvaluation en langues. Le contexte de lvaluation en langues a donc bien volu depuis les annes 70 et de nouvelles voies souvrent la recherche interdisciplinaire. Cette volution sest faite de concert avec la mise en place de standards linguistiques qui ont t longuement prouvs scientifiquement : les Standards linguistiques canadiens (Canada anglophone), les Niveaux de comptence en franais langue seconde (Qubec) et le Cadre europen commun de rfrence pour les langues (Europe). Dautres standards existent dans des domaines plus spcifiques : par exemple, les Stanlag pour lOTAN. 1.2. De lvaluation aux enjeux Jean-Claude Mothe, Directeur du BELC, constatait il y a dix ans que lvaluation en langues vivantes navait pas encore tout fait droit de cit en France. Aujourdhui, il en va diffremment. Dans le monde francophone, il y a plthore de certifications. Elles sont actuellement recenses dans le cadre du projet CERTEL, linitiative de lAgence Universitaire de la Francophonie (AUF). Le rapport devrait paratre en 2005. En France, les certifications sont trs nombreuses : certaines donnent un diplme, dautres une attestation. Elles peuvent tre internes une institution ou externes : elles sont alors proposes dans le monde entier, ce qui nest pas sans poser un certain nombre de difficults en termes dhomognisation des preuves, de standardisation, dtalonnage et de calibrage. Cest le cas notamment des tests de langue dont nous verrons plus loin ce que la dnomination recouvre du point de vue scientifique.



5

Les enjeux de ces certifications sont normes, et tout point de vue. La validation dune comptence en franais langue trangre permettra au candidat dmigrer, voire dtre slectionn dans une universit francophone. De tels enjeux amnent scuriser le dispositif de passation des preuves et de dlivrance des rsultats, demande qui est dailleurs mise par les recruteurs et autorits. Par ailleurs, dautres instances comme le Conseil de lEurope ont aujourdhui ce souci de garantir des certifications de qualit. Le Cadre europen commun de rfrence pour les langues se rclame de cette approche qualit et propose, dans cette optique, un outil partir duquel toutes les certifications pourront tre relies, suite une validation interne et externe de loutil. Ainsi, candidats et Institutions pourront comparer les niveaux dans toute lEurope. Les deux enjeux dfinis prcdemment concernent le TEF. Cest donc dans ce cadre, celui de loprationnalisation travers un outil dvaluation particulier, dont lobjectif est de correspondre un ensemble de rfrentiels, que cette communication se situe. Elle mobilise la fois une quipe de conception et un chercheur indpendant charg dassurer le contrle qualit de la production et du suivi des items. 1.3. La rponse dun test de franais gnral pour adultes non francophones Le Test dEvaluation de Franais (TEF), cr en 1998, avait pour premier enjeu de rpondre la demande des coles de la Chambre de Commerce et dIndustrie de Paris et des tablissements dEnseignement ltranger. Ces organismes cherchaient slectionner, le plus justement possible, les tudiants trangers sur la base, entre autres, des comptences linguistiques. Ds sa cration, les sept niveaux du TEF ont t indexs sur les six niveaux de comptence du Cadre europen commun de rfrence pour les langues. Pour llaboration des sept niveaux TEF, de nombreuses tudes ont t menes. En juillet 2002, les autorits canadiennes adoptent une nouvelle loi sur limmigration, et Citoyennet et Immigration Canada rfrence le TEF comme test de franais langue trangre. Ce rfrencement donne lieu de nouveaux travaux : une recherche est alors mene sur la mise en correspondance du cadre de rfrence du TEF avec les Standards linguistiques canadiens. Cette communication tentera de montrer lexprimentation qui a t mene par une quipe pluridisciplinaire.



6

2. Conception et construction du TEF Avant daborder lexprimentation, il est important de bien dfinir le champ daction du Test dEvaluation de Franais dun point de vue thorique et dans lapplication de la thorie. 2.1. Llaboration dun test : un exercice la croise des disciplines Pour mriter le nom de test, un examen doit tre standardis, fidle, valide et talonn . Cette dfinition donne par Gilbert de Landsheere (Dictionnaire de lvaluation et de la recherche en ducation, p 295) tablit dentre des normes minimales de construction et de conception dun test. Le processus dlaboration dun test fait appel plusieurs disciplines. Cest dailleurs ce qui en fait toute sa richesse compar une valuation traditionnelle qui ne sappuie que sur la pratique pdagogique du concepteur ou du formateur. Nanmoins, la mise en interaction de plusieurs champs disciplinaires peut rendre parfois difficile les tudes menes sur cet objet comme lexprimentation sur la multirfrentialisation lillustrera. Comme le montre le schma n1, les tests sont la croise des disciplines. Du chercheur au praticien, en passant par lvaluateur, les enjeux sont diffrents et les perceptions de loutil galement. Nanmoins, quelle que soit la position de lacteur chercheur, valuateur ou dcideur, le cadre de rfrence du test et son indexation, voire multi-indexation sur des rfrentiels nationaux restent des points de rfrence.

Schma 1 La conception de tests et les disciplines thoriques et appliques connexes

Source : Alexandra Crendal, daprs un schma de Paul Rivenc sur la didactique des langues



7

2.2. Vers la mise en application : la construction du test Les deux tableaux suivants, n1 et n2, sont un extrait de la table de spcification du TEF, test qui se compose de deux sries dpreuves, les preuves dites obligatoires (comprhension crite, comprhension orale, lexique / structure) et les preuves dites facultatives (expression crite, expression orale). Tableau 1 Epreuves obligatoires en 3 parties indissociables sous forme de questionnaire choix multiple

Dure Structure Score sur

Comprhension crite 60 min 50 questions 300 points

Comprhension orale 40 min 60 questions 360 points

Lexique / structure 30 min 40 questions 240 points

TOTAL 2H10 150 questions 900 points

Source : Le TEF, 6 annes dexpertise, mars 2004, brochure dite par la CCIP-DRI/E, p 7. Tableau 2 Epreuves facultatives en deux parties indpendantes

Dure Structure Score sur

Expression crite (EE) 60 min 2 sujets traiter 450 points

Expression orale (EO) 35 min 2 sujets traiter 450 points

Source : Le TEF, 6 annes dexpertise, mars 2004, brochure dite par la CCIP-DRI/E, p 7. La conception des preuves est centralise et rpond aux critres dfinis dans la table de spcification du TEF. Elle est ralise par des concepteurs slectionns pour leurs comptences et rgulirement forms lutilisation des rfrentiels. Aprs valuation et validation pdagogique, les questions choix multiples sont pr-testes auprs de candidats. Enfin, des analyses sont menes sur les items laide de la mthode de rponse litem (MRI) et de lanalyse de Rasch. Les activits du TEF, au-del de la conception, sont multiples. Deux grands processus interagissent : celui de la conception (production des items, production des jeux) et celui de la ralisation (diffusion des jeux, organisation des sessions TEF et communication des rsultats). La qualit de ces deux processus est en permanence assure. Le schma n2 prsente ce cycle du Test dEvaluation de Franais (TEF) et la mesure de sa qualit.



8

3. La rfrentialisation : un rfrentiel des rfrentiels 3.1. Le rle du rfrentiel dans le test Le cadre de rfrence du TEF sest dabord appuy sur le Cadre europen commun de rfrence pour les langues. Ces rfrences ont permis dlaborer les grilles de correction, ncessaires lvaluation des preuves dexpression orale et crite, et de proposer des commentaires individualiss sur lattestation du candidat. Si le candidat ou un centre de formation le souhaite, il peut partir des scores obtenus et des commentaires attribus en fonction du niveau atteint se rfrer au Cadre europen commun de rfrence pour les langues.

Schma 2 Cycle du Test dEvaluation de Franais (TEF) et mesure de sa qualit

Source : Le TEF, 6 annes dexpertise, mars 2004, brochure dite par la CCIP-DRI/E, p 16.

La rfrentialisation devient un enjeu majeur lorsque certains niveaux correspondent la dlivrance de points par des autorits telles que Citoyennet et Immigration Canada, et que ces standards ne trouvent pas dquivalent dans le systme de notation propos par le test. Cela devient encore plus impliquant lorsque ce mme candidat obtient de 1 4 points par comptence sil atteint au moins le niveau 3 du TEF ou le standard 4 des SLC, comme nous le montre le tableau n3. Cest dans ce cadre que sest impose la multirfrentialisation du TEF sur les Standards linguistiques canadiens.



9

Tableau 3 Tableau dquivalence des scores et niveaux TEF et de leurs mises en correspondance avec les SLC. Extrait du site Internet de Citoyennet et Immigration Canada (juillet 2002).

Rsultats du test, par comptence Niveau Points (par comptence) Parler

(expression orale) couter

(comprhension orale) Lire

(comprhension crite) crire

(expression crite) 1re langue officielle : 4

lev (CLB/SLC 8-

12) 2e langue officielle : 2

niveau 5 niveau 6

(349-450 points)

niveau 5 niveau 6

(280-360 points)

niveau 5 niveau 6

(233-300 points)

niveau 5 niveau 6

(349-450 points)

Moyen (CLB/SLC 6-7)

2 niveau 4

(271-348 points) niveau 4



(271-348 points)

lmentaire (CLB/SLC 4-5)

1 (max. de 2)

niveau 3 (181-270 points)




Nant (CLB/SLC 0-3) 0

niveau 0 niveau 1 niveau 2

(0-180 points)


(0-144 points)


(0-120 points)


(0-180 points) Source : http://www.cic.gc.ca/francais/qualifie/qual-3-1.html.

3.2. Une langue commune

La multirfrentialisation a donc des vertus plusieurs gards. Elle permet une plus grande mobilit pour le candidat et facilite la traduction des niveaux pour les dcideurs, les formateurs et les gestionnaires de programmes. Elle rend les rsultats entre les individus plus quitables comme nous le montre ce passage extrait de lintroduction des Standards linguistiques canadiens.

Sustrina, 25 ans, est arriv au Canada dIndonsie avec des habilets limites en franais. Peu de temps aprs son arrive, on value sa comptence linguistique et, sur la foi de ses rsultats, il fut plac dans une classe de franais de niveau 6. Plus tard cette mme journe, Sustrina rencontra quelques uns de ses amis immigrants et, dsireux de comparer son niveau dhabilet linguistique avec le leur, annona quil se situait au niveau 6 en franais langue seconde et demanda chacun quel tait son niveau. Une amie rpondit quelle tait classe dbutant avanc et quelle ne comprenait pas ce quil voulait dire en parlant de niveau. Un autre rpondit quil comprenait parfaitement ce que Sustrina voulait dire parce que, son cole de langue, il avait t class au niveau 4. Il ajouta quon avait sans doute fait une erreur lEcole de Sustrina ou quil avait mal compris car, ils taient bien daccord l-dessus, les habilets de Sustrina en franais ntaient certainement pas meilleures que celles de son amie, au contraire. Cest aussi avoir une langue commune qui permet une reconnaissance lchelle internationale dune comptence en franais langue seconde et trangre. 3.3. Tableau synoptique de quatre rfrentiels en franais langue trangre Le tableau n4 propose de dcrire, de faon succincte, quatre rfrentiels et de les comparer. Il sagit du cadre de rfrence du TEF, du Cadre europen commun de rfrence pour les langues (CECR), des Niveaux de comptence en franais langue seconde qubcois (NCFLS) et des Standards linguistiques canadiens (SLC). Dautres rfrentiels auraient pu tre mentionns tant donn leur lien troit avec le CECR (chelles dALTE ancres sur le CECR et chelle Dialang, une application du CECR dans une version multilingue) ou avec le TEF (standards de lACTFL, American Council On the Teaching of Foreign Languages).



10

Tableau 4 Tableau synoptique de quatre rfrentiels

TEF CECR SLC NCFLS

Description acronyme Test dEvaluation de Franais Cadre europen commun de rfrence pour les langues

Standards linguistiques canadiens

Niveaux de comptence en franais langue seconde

Nombre de pages 10 pages 191 pages 186 pages 45 pages

Date ddition 1998 2001 2002 1998

Editeur

Chambre de Commerce et dIndustrie de Paris Direction des Relations Internationales de lEnseignement

Didier Conseil de lEurope

Centre des niveaux comptence linguistique canadiens

Gouvernement du Qubec

Mandataire Chambre de Commerce et dIndustrie de Paris

Conseil de lEurope Division des langues vivantes, Strasbourg

Citoyennet et Immigration Canada

Groupe interministriel sur le cadre commun pour la francisation des immigrants adultes

Source CECR ACTFL Treshold Level Waystage Alte

Canadian Language Benchmarks (CLB)

Canadian Language Benchmarks (CLB)

Vises Evaluation Apprendre Enseigner Evaluer

Normes nationales pour la formation des adultes en FLS Conception et administration de programmes Evaluation

Arrimage des programmes Base pour lvaluation Outil de communication Outil de pilotage

Comprhension crite Lire Comprhension crite Comprhension orale Lexique / structure

Comprendre Ecouter

Expression orale Parler Parler Interaction orale Comptences

Expression crite Ecrire Ecrire Production crite

Stades Elmentaire (0+ - 2)) Intermdiaire (3-4) Suprieur (5-6)

Elmentaire (A1-A2) Indpendant (B1-B2) Expriment (C1-C2)

Elmentaire (1-4) Intermdiaire (5-8) Avanc (8-12)

Dbutant (1-4) Intermdiaire (5-8) Avanc (9-12)

Niveaux 7 niveaux 6 niveaux 3 niveaux 12 niveaux

Langue dorigine Franais Langue de chaque pays europen Franais Franais

Traduction - oui Traduction des CLB -

Consultables sur : http://www.fda.ccip.fr http://www.coe.int http://www.language.ca http://www.immigration-quebec.gouv.qc.ca

Ce tableau rsume bien les ressemblances et les divergences entre rfrentiels. Par exemple, lapproche de la langue : elle est aborde de faon diffrente selon quil sagit du TEF, du CECR, des NCFLS ou des SLC : le dcoupage des comptences diffre au niveau des habilets productives ou rceptives et la notion de communication est plus ou moins importante.



11

4. La mise en correspondance du TEF avec les SLC 4.1. Schmatisation dune procdure pour relier les examens au CECR La mthodologie adopte pour cette mise en correspondance des spcifications du TEF avec les Standards linguistiques canadiens sappuie principalement sur une dmarche propose par le Conseil de lEurope dans le manuel Relier les examens de langue au cadre europen de rfrence pour les langues et dont la procdure est prsente dans le schma n3.

Schma 3 Reprsentation graphique des procdures permettant de relier les examens au CECR

Source : Conseil de lEurope (2003, p 4). Relier les examens de langue au Cadre europen de rfrence pour les langues: apprendre, enseigner, valuer.

SPECIFICATION DU CONTENU DU TEST

Validit interne: description et analyse

du contenu du test

Validit externe: mettre en correspondance le test avec les rfrentiels



12

4.2. Dmarche adopte pour la mise en correspondance du TEF avec les SLC Dmarche La dmarche de recherche adopte repose

- dune part sur une tude qualitative relative la mise en correspondance thorique des objectifs du TEF avec les descripteurs proposs par les Standards linguistiques canadiens,

- et dautre part sur une analyse quantitative ralise partir du classement des prototypes ditems et des units relles du TEF.

Corpus tudi Cette tude a t tablie partir de quatre corpus :

- les spcifications du test ; - les units spcifiques du TEF (unit prototypes en termes de comptences et dobjectifs

viss) ; - les units relles (items conus pour les jeux dpreuves et raliss partir des spcifications

dfinis dans lunit spcifique) ; - les descriptions de comptences et dchelles contenues dans les Standards linguistiques

canadiens.

Droulement Le tableau n5 retrace les diffrentes phases suivies pour la mise en correspondance de lchelle TEF avec les niveaux de comptence des Standards linguistiques canadiens.

Tableau 5 Prsentation des phases et tapes de la mise en correspondance du TEF avec les SLC

PHASES ETAPES

1 Synthse des SLC par comptence et par niveau

Information et formation de lquipe TEF aux outils SLC ; Ralisation de tableaux synoptiques types de la synthse des SLC ; Lecture approfondie des SLC et slection de produits et normes de comptence les plus pertinents en regard du TEF et dition des tableaux synthtiques.

2 Regroupement des SLC aux points de csure

des SLC aux points de csure CIC ; (agglomrat et carts*) Liste de contrle du TEF.

3 Mise en correspondance thorique des deux cadres thoriques TEF et SLC

Ralisation dun tableau synthtique ; Mise en correspondance thorique des deux cadres.

4 Mise en correspondance thorique du cadre TEF, des questions TEF et des SLC

Mise en correspondance des deux cadres avec les questions du TEF (objectifs et niveaux associs) ; Description et comparaisons ; Analyse et jugement.

5 Mise en correspondance pratique du cadre TEF, des questions TEF et des SLC

Protocole daction ; Compilation de donnes et du matriel pour lexpertise ; Classement des units types et relles par des experts (analyse des donnes) ; Interprtation des rsultats.

Source : Documents CCIP-DRI/E-TEF



13

La formation des valuateurs Une attention toute particulire a t accorde au recrutement et la formation des experts valuateurs. Les critres de slection ont port principalement sur la comptence des valuateurs qui devait avoir un minimum de dix annes dexpertise de lenseignement des langues et tre spcialis en linguistique, didactique et valuation des langues. Ces critres de choix ont t dtermins en fonction des champs disciplinaires que recouvrait cette exprience (Cf. schma n1). Sept experts, les mmes tout au long de lexprimentation, ont particip, soit : 3 experts extrieurs (valuation externe) ; 1 expert extrieur, mais assurant tout au long de lanne la qualit du test (valuation mixte) ; 3 experts internes (valuation interne) et les concepteurs du TEF. Quant la formation, elle a t dispense en amont de lexprimentation partir de fiches de synthse des SLC. Les experts avaient galement reus une copie du rfrentiel SLC de manire se lapproprier, deux mois avant lexprimentation. 4.3. Mise en correspondance thorique : lexemple de la comprhension crite Mthodologie Cette partie correspond aux phases 3 et 4 dcrites dans le tableau n5. La dmarche adopte a consist en : la collecte de donnes (slection de descripteurs SLC appropris au TEF) ; lorganisation de ces donnes (mise en correspondance) ; linterprtation des rsultats.

Rsultats La mise en correspondance du cadre TEF et des SLC est prsente par comptence. Lexemple propos dans le tableau n6 concerne une unit type de la comprhension crite code CEAU10+. Ces lments de description sont extraits de la table de spcification et mis en regard des descripteurs de performance des SLC les plus pertinents pour le TEF. Aprs mise en correspondance lors de la phase 3, on constate que lensemble des objectifs des questions TEF recouvre une partie des descripteurs de performance relatifs chaque niveau de comptence des SLC. Les domaines dapplication slectionns dans la table de spcification du TEF recouvrent bien ceux des SLC et aux mmes niveaux. Lintroduction des SLC insiste particulirement sur cet aspect : Les SLC mettent laccent sur les tches relies la collectivit, au travail et aux tudes (Standards linguistiques canadiens, 2002, page iv).



14

Tableau 6 Mise en correspondance thorique du cadre TEF, des questions TEF et des SLC : la comprhension crite / lire

Comprhension crite / lire

CADRE THEORIQUE ET QUESTIONS DU TEF CADRE DES SLC

Code item TEF

Niveaux TEF

Objectifs des questions du TEF pour le candidat

Niveaux SLC

Descripteurs de performance globale

pour lapprenant CEAU1 TEF 0+ Reconnatre les situations lmentaires de la

vie courante :

- identifier la nature et la fonction dun

document trs court de lenvironnement

quotidien (pancartes, tiquettes ) ;

- reprer des mots isols.

- 20 mots maximum.

Niveau I

Standard 1

Peut apparier des illustrations simples et

de courtes phrases crites contenant des

mots familiers (p 28).

De 1 5 phrases.

Source : Documents CCIP-DRI/E-TEF Aprs mise en correspondance, lors de la phase 4, des items avec les descripteurs prslectionns en phase 3, on constate galement une bonne concordance, comme lillustre lencart n1. Il y a parfaite adquation entre le descripteur SLC du tableau n6 et litem propos dans lencart 1, tant au niveau de lhabilet linguistique que de laspect psycholinguistique (longueur des phrases et traitement cognitif).

Encart 1 Unit relle du TEF

Question 1

On peut lire cette inscription

A. sur une porte.

B. sur un tlphone.

C. sur un ordinateur.

D. sur un bus.

Source : Documents CCIP-DRI/E-TEF

Les difficults rencontres lors de cette mise en correspondance thorique reposent essentiellement sur des formulations floues, ne permettant pas aux valuateurs de distinguer le degr de distinction entre deux descripteurs de niveaux diffrents. Par exemple, lutilisation des verbes reconnatre et comprendre sont utiliss des niveaux suprieurs, alors que les spcifications du test ne les introduisent quaux niveaux 0+ et 1. Dautre part, les descripteurs relatifs un contexte culturel particulier ont t systmatiquement exclus : titre dexemple, dans la comptence parler, le candidat discute lactualit canadienne .

PHASE 3

PHASE 4



15

4.4. Mise en correspondance empirique

Protocole dexprimentation Suite cette mise en correspondance thorique, une exprimentation a t mene afin denvisager, de faon plus pragmatique, cette indexation dchelles de comptence en franais langue trangre ou seconde. Cette partie correspond la phase 4 dcrite dans le tableau n5.

Pour rappel, la procdure de mise en correspondance des questions du TEF et des SLC a t assure la fois par un groupe interne (quipe pdagogique TEF et concepteurs TEF) et une quipe dexperts externes : le Service de Pdagogie Exprimentale de lUniversit de Lige (SPE-ULG), un charg de mission, le Groupe dtudes et de Recherche pour le Franais Langue Internationale (GERFLINT).

En dehors du travail danalyse du rfrentiel SLC, une mise lpreuve du classement des questions TEF a t ralise sur deux jours conscutifs, au sige de la DRI/E-CCIP. La procdure suivante a t adopte :

Le premier jour, la procdure de validation a t prsente aux trois experts externes, pralablement forms aux SLC. Une premire exprimentation a alors t mise en uvre durant laquelle chaque expert, isol dans un local diffrent et face 12 bacs correspondant aux 12 niveaux de rfrence des SLC, devait ranger les units types du TEF couvrant les trois domaines de comptence suivants : comprhension crite, comprhension orale et lexique/structure. Le schma n4 illustre cette partie de lexprimentation.

Schma 4 Protocole daction pour le classement des units types



16

Aprs la premire exprimentation, les rsultats des 3 experts ont t confronts au classement ralis par lquipe interne de manire obtenir une concordance optimale et commune des 4 classements, comme le montre le schma n5.

Schma 5 Protocole daction pour le classement commun de rfrence des units types

Le deuxime jour a t consacr au classement des units relles. Il a t ralis partir du classement commun effectu la veille et obtenu sur la base dun commun accord entre les 3 experts et lquipe interne. 294 units, extraites de 4 jeux rels, dj utiliss, ont alors t classes par les trois experts dans un mme temps, mais dans une salle diffrente pour viter leffet de contamination.

Schma 6 Protocole daction pour le classement des units relles.



17

Rsultats

Les taux de concordance des classements des 294 units sont prsents dans les trois tableaux n7, n8 et n9. La valeur 0 signifie que les trois experts et le groupe interne ne parviennent pas, pour une unit donne, fournir une rponse identique en termes de classement ; la valeur 2 signifie quau moins deux experts ou un expert et le groupe interne fournissent un classement identique de lunit1, la valeur trois que trois experts ou deux experts et le groupe interne fournissent une rponse identique ; la valeur 4, que tous les experts et le groupe interne fournissent une rponse identique. Les rsultats prsents sont agrgs au niveau du systme de points accords par CIC (cf. tableau 3).

Tableau 7 - Accords entre les 3 experts et le positionnement des diffrentes units de comprhension crite (CE) par le groupe interne dans le systme de points (0, 1, 2 ou 4) de CIC.

Accords Frquence % Frquence cumule

% cumul

4 20 27,78 72 100,00 3 24 33,33 52 72,22 2 28 38,89 28 38,89 0 0 0 0 0

Tableau 8 - Accords entre les 3 experts et le positionnement des diffrentes units de comprhension orale (CO) par le groupe interne dans le systme de points (0, 1, 2 ou 4) de CIC.


% cumul

4 32 27,35 117 100,00 3 48 41,03 85 72,65 2 37 31,62 37 31,62 0 0 0 0 0

Tableau 9 - Accords entre les 3 experts et le positionnement des diffrentes units de lexique et structure (LS) par le groupe interne dans le systme de points (0, 1, 2 ou 4) de CIC.


% cumul

4 28 26,67 105 100,00 3 36 34,29 77 73,33 2 40 38,10 41 39,05 0 1 0,95 1 0,95

Les taux daccord impliquant trois ou quatre experts par groupe interne dpassent 60% pour la comprhension crite et le lexique/structure, pour atteindre prs de 70% en comprhension orale ; une seule unit a conduit un problme important de classification, en lexique/structure.

1 La valeur 2 est aussi accorde lorsque 2 groupes distincts de deux experts et/ou groupe interne saccordent

chacun sur un classement identique.



18

Bibliographie

Psychomtrie

Demeuse, M., Henry, G. (2004). Lanalyse classique ditems. In M. Demeuse (d.). Introduction aux thories et aux mthodes de la mesure en sciences psychologiques et en sciences de lducation. Lige (Belgique) : Les Editions de lUniversit de Lige.

Laurencelle, L. (1998). Thories et techniques de la mesure instrumentale. Sainte-Foy : Presses de lUniversit du Qubec.

Leclercq, D., Denis, B., Jans, V., Poumay, M., Gilles, J.L. (1998). Chapitre 7. Lamphithtre lectronique. Une application : le LQRT-SAFE. In D. Leclecq (d.). Pour une pdagogie universitaire de qualit. Sprimont (Belgique) : Pierre Mardaga diteur.

Linguistique et didactique des langues

Baddeley, A. : La mmoire humaine, thorie et pratique (chapitres sur l'effet de rcence et la mmoire),

Presses Universitaires de Grenoble, 1993.

Citoyennet et Immigration Canada. Standards Linguistiques Canadiens 2002.

Conseil de lEurope, Division des Politiques Linguistiques (2003). Relier les examens de langue au Cadre europen de rfrence pour les langues : apprendre, enseigner, valuer (CECR) Manuel avant-projet. Strasbourg : DGIV/EDU/LANG.

Cuq J.-P., Grucq I. (2003). Cours de didactique du franais langue trangre et seconde. Collection FLE. Presses Universitaires de Grenoble. Chapitre II.

Lussier, D. (1992). Evaluer les apprentissages dans une approche communicative. Collection f autoformation. Paris : Editions Hachette.

Mothe, J.-C. (1975). Lvaluation par les tests dans la classe de franais. Paris : Editions Hachette / Larousse.

Scovel, T. Psycholinguistics. Series Editors H.G. Widdowson. Oxford University Press.

conomie des langues

Delamotte, E. (1999). Le commerce des langues. Collection CREDIF Essais. Paris : Editions Didier.

L'evaluation Des Comptences Linguistiques FLE

Documents

Transcript of L'evaluation Des Comptences Linguistiques FLE