ANALYSE DES

TRACES

Pour évaluer les pratiques de travail des apprenants et la participation

individuelle de chacun

Année 2009 – version 1.0 Isabelle Gonon ( Créative Common 5 « Paternité- Pas d'utilisation Commerciale - Partage des conditions initiales à l'identique »- Mise à disposition par l'Agence universitaire de la Francophonie)

1

L’analyse des traces peut avoir des buts différents. Ici nous nous intéressons aux traces

laissées par les apprenants dans le but d’évaluer leur participation.

Pourquoi évaluer la participation ? Lorsque « la participation » est notée, dans le cadre

d’un travail collaboratif en particulier, afin de ne pas attribuer la note du groupe à celui

qui n’a pas participé, et moduler la note selon la participation de l’étudiant.

1

Evaluation de la participation à partir

des traces

• Ce sont les traces laissées sur la plate-forme de formation : • Dans les statistiques de connexion• Dans les forums• Dans l’historique des wikis• Dans les enregistrements des chats

• L’évaluation porte sur :• Le quantitatif : combien de fois ?• Le qualitatif : pour faire quoi ? Avec quelle efficacité ?

• On évalue la qualité de la participation en fonction de l’activitédemandée et des modalités de travail (-> quels critères d’évaluation ?)

2

La qualité de la participation aux activités demandées s’évalue en fonction des objectifs

fixés et des modalités de travail préconisées. Il s’agit généralement de la participation

aux échanges et au travail demandé, au travail collaboratif notamment.

Si l’on veut encourager cette participation, il convient de l’évaluer au mieux et de la

noter.

Il faut donc établir des critères d’évaluation.

2

Statistiques de connexion

• On les trouve • Dans la liste des participants :

• temps écoulé depuis la dernière connexion (permet une vue

rapide)

Dans le rapport d’activités de chaque participant :• rapport du nombre de « vues » des ressources, de participation

aux activités (date et heure de la consultation et depuis combien

de temps cette ressource n’a pas été consultée)

• historique : histogramme des requêtes sur la plate-forme pour

l’ensemble de la période

• statistiques quotidiennes : consultations, messages, autres

activités

3

Moodle indique combien de fois l’étudiant s’est connecté, mais pas la durée de la

consultation qui ne veut rien dire. Il peut être intéressant de regarder combien de fois

telle ressource a été consultée et à quel moment, mais rien ne nous assure que la

consultation ait été efficace. La qualité des messages ne s’évalue pas ici, mais dans le

contexte de la discussion, sur le forum.

3

Rapport

4

Exemple de rapport

4

Statistiques

5

Exemple de statistiques

5

Historiques

6

Exemple d’historique

6

Du quantitatif au qualitatif

• La consultation des statistiques de connexion des

étudiants :• permet de voir celui qui ne se connecte jamais ou très peu.

• ne permet pas de juger de la qualité de l’activité de celui qui

se connecte souvent. Sauf à lire en détail les messages

envoyés.

7

Les statistiques de connexion sont utiles pour repérer les étudiants peu actifs en cours

de formation, mais, lorsqu’il s’agit d’évaluer la qualité de la participation, il faut

parcourir tous les espaces d’échange et de travail de la plate-forme et se donner les

moyens d’estimer leur valeur.

7

Evaluation des posts sur un

forum

• Quantitative :• le nombre de contribution se repère dans le rapport d’activité

• Qualitative : pour évaluer la qualité, • il faut lire les contributions

• apprécier le contenu en se basant sur un barème et des

critères d’appréciations

8

Attention, trop de contributions peuvent parasiter le travail du groupe.

Pour évaluer il faut avoir :

-Des critères : qui sont des élément observable (considérés comme important), -> ici la

nature du message

-Une échelle des valeurs -> le meilleur est celui qui fait avancer le travail à réaliser

-Le moyen d’établir sa valeur sur cette échelle -> l’évaluateur doit avoir une bonne

connaissance des modalités de travail et des résultats attendus

8

Exemples (barème de forum)

• Le barème de moodle : Message plutôt lié / Message plutôt détaché / Message à la fois détaché et lié• caractérise des interactions, évalue l’empathie

• Barème possible : réponse claire et complète / réponse correcte mais un peu rapide / réponse incomplète / vous ne répondez pas à la question / réponse inexacte ou partiellement inexacte / vous répétez ce qu'un autre étudiant a déjà dit au lieu de compléter l'information précédente • Caractérise les réponses à une question, évalue des connaissances

• De l’analyse du contenu à la construction de son propre barème• en fonction des objectifs de l’activité, définir des types d’intervention• Placer ces types sur une échelle de valeur

9

Lorsqu’il s’agit d’évaluer la collaboration et la participation au travail de groupe :

On analyse le contenu des messages et on définit des types d’interventions qui servent

à caractériser les contributions et que l’on situe sur une échelle de valeur.

Pour cela il faut pouvoir dire : qu’est-ce qu’une bonne contribution sur un forum dans le

cadre de telle activité ? Dans le cadre d’un travail de groupe, une bonne intervention fait

avancer le groupe. On la situera au sommet de l’échelle des valeurs et on l’assimilera à

un A ou un 10/10

Cette valeur pouvant être exprimée par des chiffres (un nombre de points) ou des

appréciations qualitatives (Très bien, bien, moyen etc.)

Construire une échelle revient à établir une correspondance entre un type

d’intervention et une valeur.

9

Historique d’un wiki

• L’historique du wiki permet de :– savoir qui sont les auteurs du document,

– savoir ce que chacun a apporté en affichant les versions

antérieures et les modifications

• Une organisation appropriée du wiki facilite le suivi : – des couleurs différentes pour chaque auteur

– des pages différentes pour chaque exercice (structuration du

contenu)

10

L’utilisation des couleurs permet de gagner du temps et de mieux identifier les auteurs

lorsque l’affichage des modifications ne prend pas toujours en compte (dans toutes les

versions de la plate-forme) ce qui provient d’un copier-coller. Or, de crainte de perdre

leur modification lors de l’enregistrement, les étudiants préparent généralement leurs

écrits en local dans un traitement de texte et en font ensuite un copier-coller.

Les versions les plus récentes évitent ces problèmes car elles signalent si le wiki est en

cours de modification.

10

Les chats

• Moodle enregistre les chats et l’on peut afficher les

« précédentes sessions », ce qui permet de : • savoir qui était présent

• évaluer la qualité des interventions : proposition,

organisation, critique positive etc.

11

Le chat est un mode de communication plus spontané, qui se traduit par des phrases

courtes, incomplètes… On ne peut guère qu’évaluer globalement la participation d’un

étudiant.

11

Ces traces qui bâtissent une

réputation

• Si le tuteur est à l’affût de toutes les traces laissées par la

participation d’un étudiant aux échanges et aux travaux

collaboratifs en vue de son évaluation,

• les autres étudiants repèrent eux aussi la qualité de l’un

d’entre eux à ses contributions, sa présence, sa réactivité ;

ceci fait sa réputation* au sein de l’espace virtuel de

formation et parfois au delà, sur Internet.

* Réputation numérique

12

Sur internet, la réputation numérique d’un individu vient de sa participation aux

échanges, de la qualité de ses publications, de la pertinence de ses contribution. Au sein

des communautés de pratiques, on est reconnu et apprécié par ses pairs. Dans un

campus virtuel, c’est un peu la même chose, même si les évaluateurs n’ont pas pour

habitude de prendre en compte l’avis des autres étudiants.

12