Séminaire polytechnique 12nov15

53
Sémantron: Évaluation de compétences par des questions ouvertes dans un CLOM par Claude Coulombe candidat au doctorat en sciences cognitives UQAM / TÉLUQ Séminaire du département de génie informatique et génie logiciel Polytechnique 12 novembre 2015

Transcript of Séminaire polytechnique 12nov15

Sémantron: Évaluation de compétences par des questions ouvertes dans un CLOM

par Claude Coulombecandidat au doctorat en sciences cognitives

UQAM / TÉLUQ

Séminaire du département de génie informatique et génie logiciel

Polytechnique

12 novembre 2015

C.Coulombe - Sémantron

Source image: http://www.i-programmer.info/images/stories/prof/training/TrackingMOOC/classcentral.jpg

IntroductionLe phénomène CLOM, une déferlante...

C.Coulombe - Sémantron IntroductionDe la CLOM-manie à la CLOM-phobie

Source: http://en.wikipedia.org/wiki/Hype_cycle

C.Coulombe - Sémantron

● Ils sont massifs;● Ils favorisent la flexibilité dans l’apprentissage;● Ils proposent une interactivité riche et ils sont

conviviaux (web 2.0);● Il se basent sur:

● une pédagogie active;● une pédagogie de la maîtrise;

● Ils sont « sociaux »● Ils recueillent et exploitent les données des

étudiants via l’analytique d’apprentissage

IntroductionLes innovations des CLOM

C.Coulombe - Sémantron

● L’enseignement en « mode cours magistral traditionnel » ne fonctionne pas aussi bien que

l'enseignement dans un «mode d'engagement interactif» [Hake, 1998].

● Prônée par Bloom, la pédagogie de la maîtrise (mastery learning) émulerait en partie l’

effet d’un tutorat individuel [Norvig, 2012], [Glance, Forsey & Riley, 2013].

● L’usage de courts questionnaires associés aux capsules vidéo offrent aux apprenants une

occasion de pratiquer le rappel mnémonique ce qui améliore la mémoire à long terme des

faits [Glance, Forsey & Riley, 2013]. On s’entend toutefois pour qualifier ces petits

questionnaires de « méthodes faibles ». Il faut des activités plus approfondies comme la

réalisation de projets pour parler vraiment d’acquisition de compétences.

● Une étude récente confirme que l’apprentissage actif accroit la performance des étudiants

en science, en ingénierie et mathématiques [Freeman et al, 2014].

IntroductionLa pédagogie des CLOM

C.Coulombe - Sémantron

Types d’évaluation Questions ouvertes / fermées Agents

évaluation automatique fermées QCM (questions ouvertes encore au stade de la recherche)

un logiciel de correction et/ou d’analyse de réponses

auto-évaluation surtout ouvertes mais les questions fermées sont également possibles

l’apprenant lui-même

évaluation par les pairs (calibrée)

surtout ouvertes, mais les questions fermées sont également possibles

les apprenants entre eux

évaluation externe surtout ouvertes, mais les questions fermées sont également possibles

chargé de cours, professeur, tuteur

IntroductionDispositifs d’évaluation dans les CLOM

C.Coulombe - Sémantron

● Collecte massive des données sur le comportement des apprenants;

● Analytique de l’apprentissage (learning analytics) et traitement de

données massives (big data);

● Pratique courante du Web 2.0 « à la Google »;

● Exploiter les données massives générées par les apprenants pour

améliorer et personnaliser l’apprentissage individuel;

● Pédagogie basée sur les données (data driven).

IntroductionL’ingrédient secret, les données massives

C.Coulombe - Sémantron

● Enseignement insuffisamment personnalisé;

● Acquisition de connaissances au détriment des

compétences;

● Évaluations le plus souvent limitées aux QCM.

ProblématiqueQuelques limites des CLOM actuels

C.Coulombe - Sémantron

● Adapter un cours aux besoins individuels de chaque apprenant;

● Les jours de la politique de « taille unique » sont comptés.

ProblématiqueEnseignement insuffisamment personnalisé

« While the potential for MOOCs to contribute significantly to the development of personalized and adaptive learning is high, the reality is far from being achieved. » [Hollands & Tirthali, 2014]

C.Coulombe - Sémantron

● Au coeur de l'approche par compétences on trouve l'évaluation fréquente

des compétences [Tardif, 2006];

● L’évaluation n’est pas restreinte à donner une note finale (évaluation

sommative ou certificative), mais est utilisée pour donner des rétroactions à

l’apprenant tout au long du processus d’apprentissage et ceci en dehors de

toute contribution à une note (évaluation formative).

« Une compétence est un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d'une variété de ressources internes et externes à l'intérieur d'une famille de situations. » [Tardif, 2006]

ProblématiqueL’approche par compétences

C.Coulombe - Sémantron

● Les CLOM se cantonnent pour le moment à la transmission des

connaissances en empruntant une pédagogie plutôt conventionnelle, ce

qu'on appelle les xCLOM [Margaryan, Bianco & Littlejohn, 2015];

● L'apprentissage à base de compétences sera le catalyseur du changement

du modèle économique de l'enseignement supérieur [Morrison, 2012];

● Les CLOM avec des certificats ou des insignes numériques (digital badges)

qui certifient l’acquisition de compétences auront un « marché* » florissant

[Hollands & Tirthali, 2014].

*Note: Le terme « market » est employé par les auteurs

ProblématiqueAcquisition de connaissances au détriment des compétences

C.Coulombe - Sémantron

● La vaste majorité des CLOM se cantonne dans l’emploi de questionnaires à

choix multiples (QCM) pour les évaluations car il est facile et peu coûteux d’

automatiser leur correction;

● Les QCM ne mesurent qu’une partie des compétences de l’apprenant;

● Certains domaines comme les sciences humaines et les arts se prêtent

difficilement à l’évaluation par QCM.

ProblématiqueÉvaluations le plus souvent limitées aux QCM

C.Coulombe - Sémantron

Importance des questions ouvertes ou à développementAvantages Inconvénients

Permet à l’apprenant de s’exprimer dans ses propres mots, de révéler ses conceptions ou donner son opinion

Difficile à analyser et/ou interpréter - demande du TLN et des techniques d’évaluation plus sophistiquées

Permet de ne rien oublier, toutes les réponses possibles seront recueillies

Davantage subjective

Permet de recueillir de nouvelles idées, des propos inattendus et/ou nuancés

Demande des grilles de correction complexes et du personnel spécialisé

Permet une expression plus complète et authentique de la pensée de l’apprenant

Difficile à quantifier

Moins sensible aux petites stratégies de passation de tests et techniques de devinette

Demande davantage de travail à l’apprenant

Facile à créer par le professeur Peut être intimidant

Peut servir à compléter une question fermée Très grande variabilité des réponses

C.Coulombe - Sémantron

Différents types de question ouverteRemplacement En remplacement d’une question fermée pour obtenir des réponses plus complètes,

authentique, sans a priori et où l’apprenant s’exprime dans ses propres mots.

Extension En extension à une question fermée. Par exemple, à l’item « Autre réponse, svp spécifiez » à la fin d’une liste de réponses prédéterminées.

Complément* En complément à une question fermée. Par exemple, « Svp, pouvez-vous élaborez davantage? »

Commentaire Pour recueillir les commentaires de l’apprenant. « Vos commentaires sont bienvenus »

*Note: Forme privilégiée pour le projet Sémantron.

C.Coulombe - Sémantron

● Le caractère massif des CLOM rend impraticable la correction par des évaluateurs

humains de questions ouvertes à cause des coûts;

● On a recours à des dispositifs d’auto-correction ou de correction par les pairs

calibrée (Calibrated Peer Review) qui sont lourds et d’usage limité;

● Il existe deux types d’outils automatiques selon la longueur des textes:

○ Correction d’essais (AES: Automated Essay Scoring);

■ En français, CA2E « Correction Automatique d’Essais Écrits »;

○ Correction de réponses courtes (ASAG: Automatic Short Answer Grading)

■ En français, CARC « Correction Automatique de Réponses Courtes »;

ProblématiqueÉvaluation des questions ouvertes

C.Coulombe - Sémantron

● Plus de 100 mots en anglais ou plus d’un paragraphe [Burrows, Gurevych & Stein, 2015];

● +12 produits commerciaux tous en anglais: e-rater, PEG (Project Essay Grade), LightSide,

IEA (Intelligent Essay Assessor), IntelliMetric, Benchmark-SkillWriter, CRASE

(Constructed-Response Automated Scoring Engine), Lexile Writing Analyzer, etc. [Shermis

& Burstein, 2013];

● Orienté davantage style que contenu;

● Exploitent des technologies plus anciennes comme des méthodes lexicométriques et des

approches à base de règles avec des heuristiques astucieuses*;

● La plupart utilisent peu ou pas l’apprentissage statistique (machine learning), ne reposent

pas sur une analyse détaillée de la phrase, ni sur un modèle cognitif de la compétence.

ProblématiqueOutils de correction d’essais (CA2E)

*Note: Longueur moyenne des phrases, étendue du vocabulaire, nombre de fautes d’orthographe, présence de mots comme « then », « because », « since », ou de mots connecteurs « and », « or », de verbes particuliers, etc.

C.Coulombe - Sémantron

● Moins de 100 mots ou entre une phrase et un paragraphe;

● Un article récent recense 35 systèmes de CARC utilisés à l’occasion de compétitions

internationales comme SemEval [Burrows, Gurevych & Stein, 2015];

● De ceux-ci 29 (83%) étaient en anglais, 5 en espagnol, 3 en allemand, un en chinois

mais aucun en français*;

● Orienté davantage contenu que style;

● La correction automatique de réponses courtes est encore au stade de la recherche;

● Principalement à base de techniques récentes d’apprentissage statistique (machine

learning), mais aussi: recouvrement de concepts, extraction d’information, méthodes à

base de corpus [Burrows, Gurevych & Stein, 2015].

ProblématiqueCorrection de réponses courtes (CARC)

*Le total fait 38 car certains systèmes sont bilingues

C.Coulombe - Sémantron

Hypothèse de recherche principale

L’évaluation de compétences à partir de réponses écrites

en français à des questions ouvertes dans un CLOM peut

être réalisée automatiquement et de façon fiable* à l’aide

de techniques de traitement de la langue et d’apprentissage

statistique.

*Note: Au moins aussi fiable que l’accord inter-juges (inter-rater agreement)

C.Coulombe - Sémantron

Objectifs de la recherche

● Modéliser les compétences d’une façon opérationnelle;

● Élaborer une méthode permettant d’évaluation de

compétences à partir de réponses écrites en français à des

questions ouvertes*;

● Implanter la méthode dans un système automatique appelé

Sémantron.

*Note: Plus précisément, la tâche visée est l’évaluation de compétences à partir de réponses courtes, écrites en français à des questions ouvertes.

C.Coulombe - Sémantron

● Ce qui nous amène à l’idée d’améliorer les CLOM actuels en les recentrant

sur l’acquisition des compétences. Nous proposons le terme facile à retenir

de CLOM-abc pour CLOM à base de compétences [Coulombe, 2013b];

● L’idée est de baser l’évaluation sur un modèle explicite des compétences qui

est intégré à la plateforme CLOM sous la forme d’un service de référentiel

de compétences.

MéthodologieCLOM à base de compétences ou CLOM-abc

C.Coulombe - Sémantron

Modèle MOT (Modélisation par Objets Typés) qui décrit une compétence selon la définition suivante: « Une compétence est la relation entre une habileté générique appliquée à une connaissance à un certain niveau de performance ». [Paquette, 2007]

MéthodologieLa modélisation des compétences

C.Coulombe - Sémantron

La taxonomie des habilités sur 2 niveaux [Paquette, 2002b]

MéthodologieLa modélisation des compétences (2)

C.Coulombe - Sémantron

Inspiré du schéma: [Raynauld, Gerbé & Téta Nokam, 2012]

MéthodologieRéférentiel de compétences (1)

C.Coulombe - Sémantron

Domaines de compétences: i.e. l’ensemble des compétences liées à la mission

1. Compétences en écriture

Compétences proprement dites (competencies)

1.1. Qualité de la langue

Composantes ou capacités / habiletés (capacities)

1.1.1. Orthographe d’usage

Indicateurs observables / manifestations pour évaluer la compétence

(indicators)

1.1.1.1. J’écris sans faire de faute d’orthographe.

Échelle pour mesurer le niveau (measurement scale)

○ Échelle ou niveau d’atteinte de la compétence ( 1à 10)

○ Niveau minimum souhaîté / note de passage (passing mark)

2. Compétences disciplinaires

2.1. ...

Schéma hiérarchique des compétences stocké sous la forme de documents structurés

MéthodologieRéférentiel de compétences (2)

C.Coulombe - Sémantron

● Automatiser l’évaluation de compétences à partir de courtes réponses

textuelles en à des questions ouvertes en français;

○ Pour noter ou évaluer les compétences;

○ Pour donner des conseils ou rétroactions utiles aux apprenants;

● Sémantron fonctionnera essentiellement sur la base d’un apprentissage

supervisé à partir d’exemples notés (ou étiquetés) afin de créer des modèles

statistiques capables de prédire une note ou étiquette sur de nouveaux

exemples.

MéthodologieÉvaluation de réponses à des questions ouvertes

C.Coulombe - Sémantron

● Il existe quelques systèmes expérimentaux de correction automatique basés

sur l’apprentissage statistique comme EASE (Enhanced AI Scoring Engine)

un système expérimental de correction automatique uniquement en anglais

destiné à être intégré à Open edX [Balfour, 2013];

● L’idée est d’entraîner un modèle statistique avec un petit nombre de

réponses corrigées par un professeur ou un tuteur humain (typiquement de l’

ordre d’une centaine) pour alimenter un correcteur automatique capable d’

évaluer des milliers d’autres copies.

MéthodologieÉvaluation automatique par l’approche statistique

C.Coulombe - Sémantron

Le problème d’évaluation des réponses à des questions ouvertes peut être

envisagé comme:

● Un problème de classification à deux classes (réponses correctes vs

réponses rejetées);

● Un problème de classification à plusieurs classes (du genre « satisfaisant »,

« incomplet », « contradictoire », « insuffisant » et « sans rapport »)*;

● Un problème de régression (prédiction d’un nombre) en considérant des

étiquettes essentiellement numériques (prédiction d’un ou plusieurs scores).

MéthodologieÉvaluation automatique & modèle prédictif

*Note: Forme privilégiée pour le projet Sémantron.

C.Coulombe - Sémantron

Définir des habiletés puis mesurer des indicateurs [Shermis & Burstein, 2013]

○ comme l’orthographe / la grammaire

○ le vocabulaire / choix des mots / richesse,

○ la qualité / fluidité des phrases, la structure / complexité des phrases,

○ le niveau de détails, l’organisation du texte,

○ le respect des conventions,

○ la qualité du développement narratif,

○ la répétition / redondance, les emprunts / le plagiat,

○ le style, les idées ou thèmes abordés (i.e. le nombre d’idées, leur variété),

originalité (comment la mesurer?), etc.

MéthodologieÉvaluer des compétences en écriture?*

*Note: Surtout valable dans le contexte de la correction d’essais ou de textes plus longs

C.Coulombe - Sémantron

● Une première approche « naïve »

○ Mesurer l’usage du vocabulaire propre à la taxonomie du domaine des

compétences disciplinaires à évaluer;

● Idées plus avancées:

○ Comparaison de fragments de cartes conceptuelles:

■ Extraction de concepts et de relations d’une réponse textuelle;

○ Inférence textuelle* (Textual Entailment):

■ À partir de deux textes, déterminer si le sens du second texte peut être

déduit à partir de celui du premier [Dagan, Glickman & Magnini, 2006];

○ Paraphrasage et réécriture [Androutsopoulos & Malakasiotis, 2010].

MéthodologieÉvaluer des compétences disciplinaires?

*Note: Autre équivalent en français « Implication textuelle »

C.Coulombe - Sémantron

● Préparation des données;

● Ingénierie des attributs;

● Création et entraînement de modèles statistiques;

○ Algorithmes classiques d’apprentissage statistiques;

○ Exploration de l’apprentissage profond (deep learning).

MéthodologieChaîne de traitements intelligents des données

C.Coulombe - Sémantron

Chaîne de traitement intelligent des données

MéthodologieChaîne de traitements intelligents des données

*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM

C.Coulombe - Sémantron

Source: http://peekaboo-vision.blogspot.ca/2013/01/machine-learning-cheat-sheet-for-scikit.html

MéthodologieOutils: Python, Pandas, Scikit-learn, NLTK (Natural Language ToolKit),

analyseur dérivé du Correcteur 101, WOLF, Pylearn2, Theano, Lasagne, etc.

C.Coulombe - Sémantron

● Les attributs les plus usuels [Burrows, Gurevych & Stein, 2015];

○ lexicométriques: nombre de caractères, nombre de mots, longueur moyenne

des mots, nombre de phrases, longueur moyenne des phrases, nombre de

mots distincts, nombre de verbes, …

○ statistiques: ngrammes, cooccurrence, TF-IDF*, mesures de similarité,

distance d’édition, métrique BLEU ou ROUGE, fréquence des termes;

○ linguistiques: sac de mots, partie du discours / étiquettes lexicales, étiquettes

syntaxiques, erreurs orthographiques / grammaticales,

○ sémantiques: lemmes, termes, réduction ou ajout de synonymes, analyse

sémantique latente**, algorithme de Lesk

MéthodologieAttributs usuels

*Note: Term Frequency - Inverse Document Frequency **Latent Semantic Analysis (LSA)

C.Coulombe - Sémantron

● Le jeu de données est divisé en 3 groupes*:

○ les données d’entraînement (training set) 60 % des données;

○ données de validation croisée (cross-validation) 20 % des données;

○ données de test (test set) 20 % des données;

● Ainsi, les données de test restent vierges afin d’estimer l’erreur de

généralisation, (i.e. la mesure de performance ultime) du modèle

sélectionné;

● On répète les tests avec chaque modèles plusieurs fois en appliquant un

test d’hypothèse comme le test T de Student à 5% ou à 1%.

MéthodologieCréation et sélection de modèles statistiques

*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM

C.Coulombe - Sémantron

Tendances observées pour un modèle statistique

modèle simple modèle complexe

biais élevé variance élevée

sous-apprentissage (underfitting) sur-apprentissage (overfitting)

MéthodologieChaîne de traitements intelligents des données

*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM

C.Coulombe - Sémantron

● Économiser la création d’attributs complexes;

● Laisser les algorithmes de réseaux de neurones à plusieurs couches apprendre eux-

mêmes les attributs ou représentations;

● Devenu possible ces dernières années par l’accroissement des capacités de calcul et

les volumes considérables de données;

● Explorer les limites de l’application de l’apprentissage profond;

● Comparer une approche où l’accent a été mis sur l’ingénierie des attributs et une autre

approche qui apprend les attributs;

● Principal problème: la petite taille du corpus;

● Solutions: recueillir suffisamment de données ou contourner le problème =>

augmentation / enrichissement des données;*Note: Ou apprentissage de représentations par réseaux profonds de neurones - En anglais Deep Learning Source: [Bengio, 2009]

MéthodologieApprentissage profond*

C.Coulombe - Sémantron

La validation des résultats du prototype reposera sur plusieurs approches:

● Étiquetage indirect par autoévaluation;

● Étiquetage manuel des données d’entraînement par un premier juge

humain;

● Comparaison Sémantron-juges et inter-juges:

On comparera les prédictions de Sémantron avec les résultats étiquetés par

deux autres juges sur les données de test.

MéthodologieValidation des résultats

C.Coulombe - Sémantron MéthodologieProcessus de recherche

C.Coulombe - Sémantron

État d’avancement des travaux

C.Coulombe - Sémantron

État d’avancement des travaux (1)● L'usage d'un corpus de taille suffisante en langue française est un point critique

dans la réalisation du projet;

● Intégration d’un type spécial de questions ouvertes à la plateforme Open edX dans

le cadre du projet pilote CLOM-TÉLUQ et Ulibre lancés en octobre 2014;

● Constitution du corpus CLOM-TÉLUQ:

○ 9 questions différentes;

○ Réponses courtes en français (entre 75 et 150 mots)*;

○ 4 762 réponses, avec 400 à 700 réponses par question (moyenne 529);

○ Un corpus CACR typique comporte 9 questions, 1029 réponses et 92 réponses

par question en moyenne [Burrows, Gurevych & Stein, 2015];

● Suffisant pour des algorithmes classiques d’apprentissage statistique.*Note: Un texte est généralement plus long en français qu’en anglais et on parle de 100 mots en anglais.

C.Coulombe - Sémantron

État d’avancement des travaux (2)● En avril - premiers résultats de Sémantron sur un modèle statistique

prédictif, supervisé très « élémentaire ».

● Traitement d'une seule question avec 783 réponses

● Attributs: essentiellement des mots filtrés par TF-IDF*

● Étiquetage: via l'auto-évaluation par les étudiants

● Algorithme: classificateur Bayes naïf

● Score avec validation croisee (20 fois) et intervalle de confiance de 95 pourcent: 79.2 % (+/- 1.10)

● Base de référence: 50.7 % (OneR, i.e. la classe la plus fréquente).● A priori, ça semblait bon, mais….

*Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)

C.Coulombe - Sémantron

État d’avancement des travaux (3)● Problème d’équilibre des classes

● En vérifiant mes résultats, je me rends compte d’une « erreur

méthodologique » dans le calcul de ma base de référence (classe

dominante) d’abord évaluée à 51 % car j’incluais des NaN (réponse

incomplète ou réponse vide)

● En réalité les classes sont très mal équilibrées et ma base de référence,

celle de la classe dominante est à 78.9 %

● Donc mon modèle ne faisait pas mieux que la règle OneR !

*Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)

C.Coulombe - Sémantron

État d’avancement des travaux (4)● Rééquilibrage du corpus

○ Créer un corpus équilibré au niveau de la répartition des classes. On va

maximiser l'emploi de la classe qui est la moins représentée et

compléter avec des exemplaires de la classe dominante.

● Traitement d'une seule question avec 505 réponses

● Attributs: mots filtrés par TF-IDF*, augmentation des données par des

synonymes

● Étiquetage: via jugement humain

● Algorithme: forêts d’arbres aléatoires (random forests)

● Emploi maximal des données par la mise-de-côté unique (leave-one-out )

● En août 2015 Score avec mise-de-côté unique 90.476 % (+/-2.429)

C.Coulombe - Sémantron

État d’avancement des travaux (5)

C.Coulombe - Sémantron

État d’avancement des travaux (6)

C.Coulombe - Sémantron

Contribution originale attendue● Premier outil de correction automatique de réponses courtes à des

questions ouvertes en langue française basé sur l’apprentissage statistique

et un modèle cognitif de la compétence*;

● Sémantron tentera d’apporter un support aux apprenants dans l’acquisition

de compétences:

○ au niveau de l’écriture;

○ au niveau de compétences disciplinaires;

● Meilleure compréhension des conditions et limites d’application des

algorithmes d’apprentissage profond (deep learning) en langue naturelle.

● Expérimentation de l’augmentation / enrichissement des données;

● Note: Du moins conçu pour être intégré à une plateforme de CLOM

C.Coulombe - Sémantron

Perspectives● Mise à la disposition du corpus CLOM-TÉLUQ;

● Étendre Sémantron à la correction d’essais, i.e. des textes de plusieurs

paragraphes;

● Sémantron sera intégré à la plateforme Open edX.

C.Coulombe - Sémantron

C.Coulombe - Sémantron

Annexe - Open edX● Disponible depuis juin 2013, la plateforme Open edX en logiciel libre sous

licence Affero GPL v3 permet de créer et gérer des CLOM;

● Open edX sera utilisée pour la collecte du corpus puis pour l’intégration de l’

évaluation de compétences au moyen de questions ouvertes;

● Une fois le modèle prédictif opérationnel, nous prévoyons intégrer des outils

de correction de questions courtes et d’essais en français à la plateforme

Open edX.

C.Coulombe - Sémantron

Bibliographie[Androutsopoulos & Malakasiotis, 2010] Androutsopoulos, I., & Malakasiotis, P. (2010). A survey of paraphrasing and textual entailment methods. Journal of Artificial Intelligence Research, 135–187. En ligne:http://www.jair.org/media/2985/live-2985-5001-jair.pdf[Balfour, 2013] Balfour, S. P. (2013). Assessing writing in MOOCs: Automated essay scoring and calibrated peer review. Research & Practice in Assessment, 8(1), 40–48.En ligne http://www.rpajournal.com/dev/wp-content/uploads/2013/05/SF4.pdf[Bengio, 2009] Bengio, Y. (2009). Learning Deep Architectures for AI. Machine Learning, 2(1), 1–127. En ligne http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf[Burrows, Gurevych & Stein, 2015] Burrows, S., Gurevych, I., & Stein, B. (2015). The Eras and Trends of Automatic Short Answer Grading. International Journal of Artificial Intelligence in Education, 25(1), 60–117.En ligne http://www.uni-weimar.de/medien/webis/publications/papers/stein_2014n.pdf[Coulombe, 2013b] Coulombe C., Vers les CLOM-p - Les CLOM portfolios pour l'agrément des compétences, Journée MATI Montréal 2013, L’innovation dans les modèles, méthodes et outils pour l’apprentissage et le développement des compétences, Montréal, 1er mai 2013. En ligne Diapos de la présentation Vidéo de la présentation

C.Coulombe - Sémantron

Bibliographie (2)[Csikszentmihalyi & Nakamura, 2002] Csikszentmihalyi, M., & Nakamura, J. (2002). The concept of flow. Handbook of Positive Psychology, 89–105. En ligne: http://myweb.stedwards.edu/michaelo/2349/paper1/ConceptOfFlow.pdf[Dagan,Glickman & Magnini, 2006] Dagan, I., Glickman, O., & Magnini, B. (2006). The PASCAL recognising textual entailment challenge. In Machine learning challenges. evaluating predictive uncertainty, visual object classification, and recognising tectual entailment (pp. 177–190). Springer. En ligne http://eprints.pascal-network.org/archive/00001298/01/dagan_et_al_rte05.pdf[Freeman et al, 2014] Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., & Wenderoth, M. P. (2014). Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences, 111(23), 8410-8415.http://www.pnas.org/content/111/23/8410.full[Hake, 1998] Hake, R. R. (1998). Interactive-engagement versus traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses. American journal of Physics, 66(1), 64-74.http://files.eric.ed.gov/fulltext/ED441679.pdf

C.Coulombe - Sémantron

Bibliographie (3)[Hollands & Tirthali, 2014] Hollands, F. M., & Tirthali, D. (2014). MOOCs: Expectations and Reality (p. 211). Teachers College, Columbia University. En ligne http://cbcse.org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf[Margaryan, Bianco & Littlejohn, 2015] Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77–83. En ligne http://www.sciencedirect.com/science/article/pii/S036013151400178X#appsec1[Morrison, 2012] Morrison, Debbie. The Next Big Disruptor - Competency-based Learning. Blog. Online Learning Insights, June 12, 2012. En lignehttp://onlinelearninginsights.wordpress.com/2012/06/12/the-next-big-disruptor-competency-based-learning/ [Norvig, 2013] Norvig, P. (2013, July 18). How to Make Online Courses Massively Personal: Scientific American. Scientific American, (August 2013 issue). En ligne http://www.scientificamerican.com/article.cfm?id=how-to-make-online-courses-massively-personal-peter-norvig

C.Coulombe - Sémantron

Bibliographie (4)[Paquette, 2007] Paquettte G., An ontology and Software Framework for Competency Modeling and Management, Educational Technology & Society, vol. 10, no 3, juillet 2007, p. 1-21.[Paquette, 2002b] Paquette, G.. Modélisation des connaissances et des compétences. Presses de l’Université du Québec, 2002. Québec, Québec, p. 66 [Raynauld, Gerbé & Téta Nokam, 2012] Raynauld, J., Gerbé, O., & Téta Nokam, N. (2012). Référentiels de compétences (No. Publication 2012-06) (p. 37). Montréal: GTN-Québec. En ligne http://www.gtn-quebec.org/moa/publications/rapport/referentiels-competences/[Reich, 2015] Reich, J. (2015). Rebooting MOOC Research. Science, 347(6217), 34–35. En lignehttp://www.edtechresearcher.com/wp-content/uploads/2012/11/Reich_Rebooting_1214.docx[Shermis & Burstein, 2013] Shermis, M. D., & Burstein, J. (2013). Handbook of automated essay evaluation: Current applications and new directions. New York, USA: Routledge.[Tardif, 2006] Tardif, J. L’évaluation des compétences. Chenelière Éducation, 2006, p.