Peut-on vraiment évaluer la montée en compétences dans les MOOC ?

Une apologie de l’apprentissage adaptatif

Matthieu Cisel – Laboratoire STEF – ENS Cachan

• Limitations des MOOC sur le plan de l’évaluation

• Définitions : de l’enseignement programmé au CAT

• L’essor de l’apprentissage adaptatif

• Prospective : vers une métamorphose des MOOC ?

Introduction

Session (équipe présente)Archives ouvertes

Archives fermées

Session (équipe présente)

o Contrainte de la synchronicité

o Difficulté d’évaluer les compétences acquises

• Evaluation par les pairs : problème de l’expertise des évaluateurs

• Evaluation automatisée : limites des Quizz et des correcteurs automatisés

• Quid de l’auto-évaluation ?

Limitations des MOOC

• Comment s’assurer que l’apprenant saura refaire l’activité ?

• Pas de renforcement des connaissances/compétences acquises

• Exercices d’évaluation inadaptés au niveau individuel

Limitations des MOOC

Dans les MOOC, l’évaluation mesure davantage l’implication que la compétence

• Pas de liens entre résultats aux évaluations et séquence des contenus

• Behaviorisme, Skinner, années 1960

• Deux concepts clés :

• Le renforcement par conditionnement opérant

• Les branchements (le livre dont vous êtes le héros)

• Pas d’inférence sur les connaissances de l’étudiant (i.e. pas de modèle étudiant)

• Trajets prédéterminés par l’enseignant

L’enseignement programmé

De la machine à apprendre de Skinner à Smart Sparrow

Branchement certes, mais pas de renforcement !

L’enseignement programmé

Spaced Repetition Systems et courbes d’oubli

Spaced Repetition Systems

Pure players Intégrés

Renforcement certes, mais séquence linéaire

Skinner, toujours pas implémenté en 2014

Question 1

Réponse juste

Réponse fausse

Niveau de difficulté décroissant

Niveau de difficulté croissant

Question 2a

Question 2b

Réponse juste

Réponse juste

Réponse fausse

Réponse fausse

Question 3a

Question 3b

Question 3c

Question 3d

Computerized Adaptive Testing

• CAT : Logique des tests de positionnement

• Meilleur pouvoir de discrimination (cf. concours)

• Vers le multiple-IRT : estimation multi-axiale de la compétence

Théorie de la Réponse à l’Item

• IRT : théorie derrière le CAT (depuis les années 50, Modèle de Rasch)

• Le modèle de domaine (Knowledge graph)

• Dessiner un graphe à épistèmes, pas toujours simple

• Inférence et modèle étudiant

• Modèle d’expertise partielle

• Vs. Modèle de déviation (modéliser l’incompétence)

• Modèles de tuteur : séquençage des tâches et ressources sur la base du modèle étudiant

Systèmes Tuteurs Intelligents et tuteurs cognitifs

• Prototypes de laboratoire depuis les années 70, buzz dans les années 1990 (ex : Andes)

• Fondation en 2008, levées de fonds successives (105 millions $)

Systèmes Tuteurs Intelligents et tuteurs cognitifs

Historique de l’apprentissage adaptatif

Historique de l’apprentissage adaptatif

Historique de l’apprentissage adaptatif

Paysage de l’apprentissage adaptatif

Cours adaptatif + forums + OCW +Evaluations par les pairs

• Quel format pour les MOOC 2.0 ?

Session (équipe présente)

Archives ouvertes

Archives fermées

Session (équipe présente)

• Format actuel des MOOC

• Quid de l’apprentissage adaptatif collectif ?

MOOC et apprentissage adaptatif

• Alliance de startups edtech (Knewton, etc) avec des éditeurs

• Editeurs de contenus, qui deviennent éditeurs d’applications et de formations

• Vers un établissement de monopoles privés ? (barrière à l’entrée, etc)

Quelles implications pour l’avenir ?