D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université...

D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université de Liège

1

Apports divers de 20 ans de travaux de la commission « réussite » du CIUF

D. Leclercq

Séance Comprendre les facteurs de réussite en 1er BAC

29 avril 2011

Livres articles téléchargeable gratuitement : http://orbi.ulg.ac.be Leclercq Dieudonné (par ordre d’année de publication)

d. [email protected]

http://orbi.ulg.ac.be/

Recherches et actions en faveur de la réussite en première année universitaire

2011

Vingt ans de collaboration dans la commission « Réussite » du Conseil interuniversitaire de la Communauté française

Sous la direction de Philippe ParmentierPrésident de la Commission

D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université de Liège2

Réussite quantitative

Dispositions légales récentes pour augmenter ces passages : (1)trois possibilités (au lieu de deux) de passer les examens dans les cours (2)possibilité de reporter les notes de 10 et 11 d’une session à l’autre(3)passage avec 48 crédits (au lieu de 60).

Ces dispositions, il importe d’en mesurer l’impact sur le parcours ultérieur.

Les statistiques du % de réussite : Réussitesdans le primaire et le secondaire = ---------------------------- élèves dont les présences sont vérifiées

Réussites Réussite À l’université = --------------- ou ------------------ --------------- Inscrits Présents à tous les examens

(assidus)

Evolution ↘ du financement par étudiant ↗ des soutiens aux étudiants et plus récemment aux enseignants

Section 1. Qu'est-ce que la réussite d'un étudiant ? (DL et Ph. Parmentier)


La réussite qualitative

D. Leclercq (1987) 4 catégories d’ objectifs

1)les compétences spécifiques ou disciplinaires, propres à un métier, une profession ; 2)les compétences démultiplicatrices (qui permettent d’apprendre et d’agir plus) ou d’instrumentation transversale (maîtriser des langues étrangères, les Technologies de l’Information, la communication interpersonnelle, les méthodes d’apprentissage, etc.) ;3)(3) les compétences auto-cognitives (ou métacognitives) portant sur soi-même : ses forces, ses limites, ses conditions d’efficacité, de bonheur ;4) (4) les compétences dynamiques ou d’engagement, d’enthousiasme, de motivation (la prise d’initiative, la capacité et surtout la volonté d’entraîner d’autres, etc.).

Peter Knight (de l’Open U) en 2002 : l’employabilité : interview d’employeurs.4 qualités que les employeurs appréciaient le + lors des entretiens d’embauche :

(1) Understanding (par là il entend : être un bon professionnel de sa spécialité) ;(2) Skills (langues, NTI, capacités organisationnelles et relationnelles) ; (3) Efficacy beliefs (la conviction que l’on peut apporter un plus, une valeur ajoutée ; la force de conviction d’autrui) ; (4) Self (la connaissance de soi). Cette catégorisation, il l’a appelée USES.


Section 4. Que savent les étudiants lorsqu'ils entrent dans l'enseignement universitaire ? Ce que nous apprend le projet MOHICAND. Leclercq N’avait jamais été fait (et n’a jamais encore été refait) !

Unique au monde sur le point de l’auto-cognition ! (Degrés de certitude) et de son suivi : le projet MOHICAN « Monitoring Historique des Candidatures ».

Monitoring parce que le projet n’est pas une « intervention » : il fournit des donnéesHistorique puisque 4000 étudiants, testés lors de la première semaine d’octobre 1999 ont été suivis pendant un an, si bien qu’on a pu calculer des corrélations entre ces performances à l’entrée et les réussites / échecs en juin ou en septembre 2000. Le livre (22 chapitres, 25 auteurs, 312 pages, est téléchargeable gratuitement (voir dernière page) .


6

MOnitoring HIstorique des CANdidatures10 check ups en octobre 1999

Vocabulaire 45Syntaxe 12Compréhension 6Cartes, graphiques, tableaux Géo 10

Math 22Physique 10Chimie 8Biologie 10

Conn. Artistiques 25Histoire, actualité, économ 25


7

Méthodes et Instruments : b) Les auteurs des 10 check up

UCL ULg FUN ULB FUSL FUCAM UMH FPMs

Vocabul. XSyntaxe XCompréh XLect Géo XMath XPhysique XChimie XBiologie XHist-actual XArt X

Monballin FUNDP

Defays ULg

Hougardy ULB

Orban - FUNDP

Lebrun-Legas UCL

Chapelle FPMs

Cornélis ULg

Verhaege UMH

Leclercq-Lamblin

Leclercq-Georges ULg X


8

Méthodes et instruments : c) Echantillonnage des sections (principe CIUF)

UCL ULg FUN FSAGx FUSL FUCAM UMH FPMs

Médecine X XSc. Appl. X XPhilo & L XDroit X XSciences X XPsycho X XVété-Agro X X XEconomie X X


9

Méthodes et instruments : d) Questions à Choix Multiple

• Les mêmes pour tous• Couvrent bien la matière• Correction Objective et

rapide

• QCM à 5 solutions + 2 Solutions Générales : -

Aucune - Toutes


10

Pourquoi mesurer la certitude ?Bertrand RUSSEL

Mark TWAIN

6 Degrés de Certitude : 0% 20% 40% 60% 80% 100%

L’ennui dans ce monde est que les imbéciles sont sûrs de tout et les sages pleins de doute.

Ce n’ est pas ce que nous ignorons qui nous nuit,c ’est ce que nous savonset qui est faux.


Urgentistes

Education du patient(diabète, mucov.)

Étudiant(e)s

Soins infirmières

Certitude ?

Certitude ?

Certitude ?

Certitude ?

Certitude ?

11

Pilotes et mécanos avions

Certitude ?


Ce que le projet MOHICAN a montré 1.Une fois encore, les relations entre la réussite de l’année et

-l’origine socio-économique -la section suivie dans le secondaire (pp. 129-141).

2. Les corrélations (simples) entre le score à un check-up et la réussite en fin d’année sont toutes positives, mais certaines sont très faibles (pp. 142 -154).

3. Les régressions multiples (combinaison de plusieurs variables prédictives) avec la réussite sont plus élevées que les simples (pp. 149-150)

4. Les d’indices avec Degrés de Certitude (ex : le score spectral) prédisent mieux la réussite ou l'échec (pp. 149-150) que les indices sans DC.

5. les étudiants qui se surestiment ont tendance à le faire pour plusieurs tests et ceux qui se sous-estiment le font pour plusieurs tests aussi. (p. 97). Cette stabilité dans les biais d’auto-estimation (corrélation moyenne : 0,43) permet d’envisager des remédiations métacognitives.

6. Tous se surestiment, mais les filles moins que les garçons. (pp. 72-91).


7. Beaucoup d’étudiants n’identifient pas correctement un grand nombre des 45 termes de la langue française générale du check-up « Vocabulaire » (p. 73) :


8. Sur ces 45 termes, pour 3905 étudiants (175.000 réponses et 175.000 certitudes),

Réponses incorrectes Réponses Correctes

D’où l’importance d’entraîner à douter ET A VERIFIER !!!!


15

légaladditionretarderpermis

contesteordre

ajournerjudicieuse

anticiperémancipersommation

partialedivergent

subordonnerarbitraire

inhibésous-jacentes

asservirgriefs

exhaustifréfute

affranchirhabilité

précaritéréactionnaire

discréditempirique

présomptionlatentes

exhorterproscrit

déperditionclivagesinhérent

dénégationinvective

subversionprobité

a inférééludé

corroboreà l'instar

stigmatiséprérogatives

allégation

0 20 40 60 80 100

TRC Prédit

Facilité Objective

Facilité Subjective

9. Les profs ne savent-pas ce que les étudiants ignorent (p. 122).


16

Résultats d’Epreuves Standardisées au Service de l’Apprentissage en Candidature

10. Les peuvent favoriser la réussite par -une information -diagnostique (causale) et convergente . -multiple et convergente-des décisions individuelles -un appui de Guidance

22

Albert DUPONT

répartition spectrale des réponses-100 -80 -60 -40 -20 -0 OM 0 20 40 60 80 100

73 corrobore28 prérogatives35 stigmatisé54 sous-jacente4 latentes

76 divergentes37 dénégations57 discrédit35 inféré50 inhérentes55 clivages14 à l ’instar de

Feedback aux étudiants en octobre 1999

OCT 1999MOHICAN

MAI 2000RESSAC

Juin + sept2000Exams

Janv. 2000Exams

COMPR

COMPR

MEMOIRE


22

Albert DUPONT

répartition spectrale des réponses-100 -80 -60 -40 -20 -0 OM 0 20 40 60 80 100

73 corrobore28 prérogatives35 stigmatisé54 sous-jacente4 latentes

76 divergentes37 dénégations57 discrédit35 inféré50 inhérentes55 clivages14 à l ’instar de

Feedback aux étudiants en octobre 1999 % de réussite de la COHORTE

(les 300 étudiants de ce GROUPE)

(en rouge = Rép. Incorrectes (RI)(en vert = Rép. Correctes (RC)

-100 = RI avec certitude 100100 = RC avec certitude 100

de A. DUPONT


18

FAPSE 300 étudiants 1° candi Phases

• Oct 1999 : Checks up MOHICAN (4 de COMPREHENSION)• Janv 2000 : 4 Partiels (MC, SB, CM, DL) : MEM / COMP

• Mai 2000 : Radiographie Z • BLOQUE• Juin 2000 : Examens (MC, SB, CM, DL) • Questionnaire réflexif rétrospectif• sur changement dans méthodes d’étude

• Sept 2000: Examens (MC, SB, CM, DL) & Statistiques • de réussite

corrélations

explications


19

RESSACMai 2000Radiographie Z

COMPR

COMPR

MEMOIRE



20

RESSACMai 2000

COMPR

COMPR

MEMOIRE

Etudiant B

21D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université de Liège


22

23

Qu’avez-vous appris par ce tableau ?

H

J'ai une moins bonne compréhension et une meilleure mémoire.

COMPR

COMPR

MEMOIRE



24

Avez-vous changé votre façon d’étudier ?

A

Non je n'ai pas changé ma manière d'étudier car elle semblait convenir.

COMPR

COMPR

MEMOIRE



• En général, non.

B

25

26


J'ai essayé de m'orienter plus vers la compréhension

COMPR

COMPR

MEMOIRE


E

27


Non H

COMPR

COMPR

MEMOIRE



RESSAC FAPSE ULG examens de juin-septembre 2000

28

32

9

48

7

43

56

22

55

23

0

10

20

30

40

50

60

Total 99-105 Leclercq 28-34 Mormont 23-27 Brédart 33-31 Crahay 15-13

Tau

x d

e r

éu

ss

ite

%R sans

%R avec

Changement de méthode d’étude ?

29

RESILIENCE

• Le phénomène de résilience : on peut faire mentir les prédictions

• Born et al. (1997, 684) définissent la résilience comme "une situation où un individu, bien qu'ayant été exposé à divers facteurs de risques, ne développe pas le comportement craint".

• Ici, nous traduisons "une situation où un étudiant, auquel les variables prédictives donnent peu de chances de succès y arrive quand même ».



30

Interprétation

• Diagnosticité (MÉMOIRE ou COMPREHENSION ? ) • Simplicité du message : 2 concepts seulement• Répétition : plusieurs mesures disant la même chose• Impact sur 50% des Es seulement : proportion (50%)

qui « ne comprend pas » ou ne passe pas à l’action• Amélioration de la réussite de 15% seulement

31

Conclusion• Confirmer expérimentalement.• Combiner avec Guidance – Etude.• Un diagnostic même négatif ne démotive pas,

ou plutôt motive certains à changer leur stratégie d’étude.

• Plus précoce.• Seul l’étudiant sait les vrais pourquoi.• L’aider à s’auto-analyser.


Section 11 Comment développer des capacités cognitives et métacognitives ? Bernadette Noël et Dieudonné Leclercq

Auto-servuction = Tout service implique une participation du bénéficiaire-consommateur au profit de l’efficacité du service lui-même. (L’auto servuction s’est manifestée ces dernières années par une explosion de l’auto-servuction (self service en anglais) : self tanking (à la pompe à essence), self banking (au guichet automatique), self coding (à la caisse du grand magasin).

. Comme dans ces autres domaines, l’apprenant devra prendre de plus en plus en charge son processus de formation…donc être compétent pour ce faire. La métacognition porte, précisément sur la gestion réflexive de ses propres connaissances, de ses propres compétences : leur acquisition, leur utilisation, leur amélioration, etc.


Métacognition

Un ensemble• d’opérations (Jugement – Analyse – Régulation)• sur des objets (ses processus ou ses productions)• à certains moments (PRE – PER – POST performance)• dans certaines situations (d’Apprentissage ou

d’Evaluation)• et observables via des performances (comportements et/ou

conduites)

Dieudonné LeclercqMarianne Poumay

Notre définition


33

D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université de Liège 34

Analyse « à chaud »

35

Test spectral métacognitif

Après le film "L'école buissonnière". Nom : ……………………………….ULG AESS Cours "Psychologie éducationnelle". Prof . D. Leclercq 07/ 10/ 2008

6 = Aucune 7 = Toutes 8 = Manque (Cela dépend) 9 = Absurdité (dans l'énoncé)

100 80 60 40 20 0

Q1. Quelles initiatives pédagogiques a prises Célestin Freinet ?1. supprimer l'estrade 2. l'imprimerie à l'école3. la correspondance interscolaire 4. Le vote en classe5. les enquêtes menées par les enfants

0 20 40 60 80 100

100 80 60 40 20 0

Q2. Complétez la phrase suivante dite dans le film : "On ne peut pas faire boire……………………………" 0 20 40 60 80 100

100 80 60 40 20 0

Q3. Pourquoi Célestin Freinet préconise-t-il l'apprentissage par cœur ? 1. Parce qu'il vaut mieux par cœur que pas du tout2. parce que c'est au cœur de sa pédagogie3. parce que c'est la seule façon d'apprendre

0 20 40 60 80 100

100 80 60 40 20 0

Q4. La pédagogie que Freinet a développée prone 1. La compétition entre élèves2. La réalisation de projets3. La séparation entre la vie scolaire et celle des adultes

0 20 40 60 80 100

Test spectral méta



En plus des Réponses sur le test spectral, les étudiants répondent sur un formulom (formulaire destiné à al lecture optique de marques)

que le professeur reprend


DEBATPour la Q4, ma réponse diffère de la

vôtre !

Expliquez !

Je considère

que …Donc, …….

OK parce que….


DEBATPour la Q9, ma réponse diffère de la

vôtre !

Expliquez !

Je considère

que …Donc, …….

PAS OK parce que….


39

100806040200Je tire au hasard une carte d'un jeu de 52 cartes, sans la retourner. Quelqu'un qui a regardé en-dessous me dit "C'est un carreau". Cela me donne combien d'unités d'information ? 1 2 3 4 5

5020406080100

100806040200L'architecture des compétences en 4 paliers superposés est comparée par Leclercq à 1. un véhicule (un avion) 2. un animal (un insecte) 3. un outil (une mêche de foreuse) 4. Un cerf-volant

4020406080100

100806040200Utiliser un ordinateur pour produire des textes permet de toucher des compétences 1. spécifiques (disciplinaires) 2. démultiplicatrices (instrumentales) 3. stratégiques (auto-cognitives) 4. dynamiques (motivationnelles)

3020406080100

100806040200L'unité d'information proposée par Shannon est 1. le volt 2. Le mot 3. le caractère 4. la syllabe 5. la lettre

2020406080100

100806040200T.S. Eliot a dit "Where is information lost in……" 1. affairs 2. knowledge 3. life 4. wiseness 5. men

1020406080100

Questionnaire spectralCQ


5020406080100


4020406080100


3020406080100


2020406080100


1020406080100



5020406080100


4020406080100


3020406080100


2020406080100


1020406080100



5020406080100


4020406080100


3020406080100


2020406080100


1020406080100



5020406080100


4020406080100


3020406080100


2020406080100


1020406080100



5020406080100


4020406080100


3020406080100


2020406080100


1020406080100


40

Meta questions (reflections on own mental processes)

60

100

Pourquoi si sûr alors que RI ?

Pourquoi si peu sûr alors que RC ?

Spectral Meta Test


24/09/2003 PPUQ Chap 3 et 4 p. 66 à 80 Pré : 6. Aucune 7. Toutes Q C 8. Manque 9. Absurdité

100 80 60 40 20 0 1 T.S. Eliot a dit "Where is information lost in……" 1. affairs 2. knowledge 3. life 4. wiseness 5. men

0 20 40 60 80 100

100 80 60 40 20 0 2 L'unité d'information proposée par Shannon est 1. le volt 2. Le mot 3. le caractère 4. la syllabe 5. la lettre

0 20 40 60 80 100

100 80 60 40 20 0 3 Utiliser un ordinateur pour produire des textes touche des compétences 1. spécifiques (disciplinaires) 2. démultiplicatrices (instrumentales) 3. stratégiques (auto-cognitives) 4. dynamiques (motivationnelles)

0 20 40 60 80 100

100 80 60 40 20 0 4 L'architecture des compétences en 4 paliers superposés est comparée par leclercq à 1. un véhicule (un avion) 2. un animal (un insecte) 3. un outil (une mâche de foreuse) 4. Un jouet (un cerf-volant)

0 20 40 60 80 100

Test spectral avec zones de notations métacognitives

40%OK

40%FAUX

Aucune

Manque 80%OK

60%

C’est le mot « data » que je n’ai pas compris ni retenu.

Je n’avais pas étudié cette note de bas de page.

OK

Imprudence : Confiance : 40% 60%

Causes Interneschangeables

Une partie importante du diagnostic (quoi) :

les Attributions causales(A cause de qui ? MOI – PAS MOI

Changeable ? OUI - NON)


41

Quelques analyses causales

• Le professeur a mal expliqué ce concept

• Je reconnais les mots-clés du livre, et je crois qu’alors la question du test redit la même chose que dans le livre

• Au secondaire, il était exclu qu’une question soit absurde

42



Entraînement

Jan

2009 LF

Jan

2009

RapportMeta-

cognitif à froid

octobre 2008

Jan

2009 LOTest spectral métacognitif

Après l'exposé "A la recherche de la Triple Concordance". Nom : ……………………………….ULG I FRES. D. Leclercq 15-10-2008


100 80 60 40 20 0

Q1. Un enseignant dit "Mon but est de les entraîner à poser des bonnes questions au web". Il exprime ainsi un objectif1. de professeur 2. d'étudiant 3. comportemental

0 20 40 60 80 100

100 80 60 40 20 0

Q2. Dans l'architecture pyramidale des compétences, cet objectif "poser efficacement ses questions au web" est du niveau1. spécifique à une discipline 2. démultiplicateur-transversal3. auto-cognitif 4. d'engagement (social, professionnel, épistémique)

0 20 40 60 80 100

100 80 60 40 20 0

Q3. Une QCM mesure 1. la recognition uniquement 2. le rappel de mémoire 3. la vigilance cognitive 4. l'expression-formulation personnelle

0 20 40 60 80 100

100 80 60 40 20 0

Q4. Pourquoi, selon Leclercq, est-il plus pertinent de demander à un étudiant d'exprimer sa certitude par des mots plutôt que par des % de chance ?1. parce que c'est plus simple à corriger 2. parce que les mots permettent d'entrer dans les nuances 3. parce que les mots ont la même signification pour tous les étudiants

0 20 40 60 80 100

100 80 60 40 20 0

Q5. Parmi les objectifs rédigés ci-dessous, lequel est opérationnel ? 1. penser avec rigueur 2. être organisé 3. communiquer avec les autres 4. faire preuve de solidarité

0 20 40 60 80 100

100 80 60 40 20 0

Q6. Même avec les 4 solutions générales implicites proposées, l'étudiant a toujours la réponse correcte sous les yeux. Il ne doit jamais se la rappeler lui-même. Une parade à cela serait d'utiliser1. les degrés de certitude 2. les objectifs opérationnels 3. les compétences transversales

0 20 40 60 80 100

Examen

Exposés Exposés Exposés




100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

Test

Novembre 2008




100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

TestDecembre

2008Test spectral métacognitif



100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

100 80 60 40 20 0


0 20 40 60 80 100

Test

MémoireTexte à trous

octobre décembre

Mi-janvier

TracesDiagnostic

à chaud

TracesDiagnostic

à chaud

TracesDiagnostic

à chaud


44

Je commence par me demander si la question a du sens ou si elle est absurde.

Gros progrès dès Decembre

242 répondants2008-2009

Encore (un peu) Mieux en Janvier

Octobre& Novembre


Très faible en Oct & Nov

Instead of eliminating the proposed solutions, I first elaborate mine, then I compare with the

proposed ones.

Progres en Dec

Encore d’importants

Progres en Jan

242 répondants2008-2009

Au lieu de commencer par éliminer les solutions , je crée MA propre solution.


46

References

Leclercq, D., Fontaine, F., Verstegen, C. & Delcomminette, S. (2009) Degrees of certainty and formative spectral analysis to enhance metacognition. Rationale, methods and results. 12th biennal EARLI Conference. Amsterdam

Leclercq et Poumay (2008). La métacognition. Chap 6 de D. Leclercq. Psychologie éducationnelle de l’adolescent et du jeune adulte. Editions de l’université de Liège.

Section 13 En quoi la recherche contribue-t-elle à la réussite des étudiants ?Dieudonné Leclercq et Marc Romainville

Les recherches trans-locales top down : par des chercheurs dispositif expérimental trans-local (ex : PISA, « Passeports pour le Bac », MOHICAN

Les recherches locales : par des enseignants universitaires à l’occasion de leur(s) cours auprès de leurs étudiants. (Ex : RESSAC). Les questions fondamentales :

« Dans quelle mesure mes étudiants apprennent-ils ? » « Quelle est l’efficacité de mon enseignement ? »« Dans quelle direction dois-je le modifier ? ».

Le principe « toutes choses par ailleurs égales » n’est pas applicable (résultats peu généralisables)

Méta-analyses ou recherches trans-locales bottom-upprésenter une série de résultats chiffrés issus de publications différentes portant sur le même thème dans une échelle commune : l’Ampleur de l’Effet (AE) dont la formule la plus simple est (Mx-Mc)/ETc où Mx est la Moyenne du groupe expérimental, Mc celle du groupe contrôle et ETc l’Ecart-Type du groupe contrôle. Il existe des formules plus raffinées (voir Cohen, ). Un AE inférieur à 0,20 est négligeable, et devient important à partir de 0,40.La recherche locale d’un professeur peut être une des études reprises dans une méta-analyse.


Téléchargeables gratuitement à partir de http://orbi.ulg.ac.be puis Leclercq Dieudonné


http://orbi.ulg.ac.be/

D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université...

Documents

Transcript of D. Leclercq (Avril 2011) Apports de la Commission "Réussite" du CIUF. Séance CDS-IFRES Université...