Les Mooc, premier bilan 18 mois après le lancement des 1er Mooc
Evaluation par les pairs dans les MOOC : résultats d'une enquête
-
Upload
clement-dussarps -
Category
Education
-
view
5.422 -
download
0
Transcript of Evaluation par les pairs dans les MOOC : résultats d'une enquête
Evaluation par les pairs dans les MOOC : résultats d’enquêteFévrier 2016 - Clément Dussarps & Elodie Vaugier
2Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Auteurs de l’enquête Clément DUSSARPS, docteur en sciences
de l’information et de la [email protected]
Elodie VAUGIER, ingénieur pé[email protected]
Administrée en avril/mai 2015
3Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Sommaire Echantillon 4 Activités et temps passé sur le MOOC 9 Anonymat et évaluation par les pairs
12 Evaluation par les pairs (EPP) :
Organisation des MOOC 15 Expérience en EPP 17 EPP et communication avec autrui 19 EPP et ressentis des apprenants 23 Satisfaction des apprenants 26 Préférences et avis sur l’EPP 32
N = 135Remarques : • tous les résultats suivants sont issus de
l’échantillon de répondants, 135 apprenants ayant réalisé des évaluations par les pairs ;
• l’échantillon est opportuniste et n’a pas vocation à être représentatif.
Echantillon
5Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Echantillon
Coursera 13%
Autres 14,81%
France Université Numérique36%
Unow 36,30%
Plateformes représentées(répartition des individus par
plateforme)
Principaux MOOC enquêtés : - ABC de la gestion de projet (27 %) - Comprendre le transmédia storytelling (22 %) - Gamification (7 %) - Monter un MOOC de A à Z (7 %) - Effectuation - L’entreprenariat pour tous (5 %) - Informer et communiquer sur les réseaux sociaux (5 %)
6Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Echantillon Sexe et âges :
Statut :
Localisation :
60 %
40 %0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100
%
5% 24% 41% 30%
Age des répondants(en années) 18-24 25-35
36-49 + de 50 71 % ont plus de 35 ans
67 % en emploi
18 % deman-deurs d’emploi
6 % étudiants
85 % en France
11 % enEurope
4 % hors Europe
(9 % autres statuts)
7Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Un échantillon motivé et satisfait
Considèrent le MOOC important pour eux
Sont satisfaits du MOOC
Ont plaisir à suivre le MOOC
Accordent de l'importance à la certification
0% 20% 40% 60% 80% 100% 120%
92%
94%
96%
60%
Les apprenants…
Seuls 4 % ont abandonné le MOOC (pour lequel ils répondent à cette enquête)
97 % se disent à l’aise avec les outils numériques
8
Communication sur l’EPP
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Tous les apprenants ne savaient pas qu’ils auraient à réaliser une évaluation par les pairs (EPP) avant de démarrer le MOOC : Seuls 59 % des apprenants savaient qu’ils auraient à évaluer leurs pairs AVANT de démarrer le MOOC.
29 % l’ont découvert lors de la première semaine du MOOC et 9 % lors de la réalisation ou l’évaluation du premier travail. 3 % l’ont appris à un autre moment.
Activités et temps passé sur le MOOC
10
Temps passé par type d’activité
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Cours Travaux EPP
72.00%51.50%
86.00%
20.50%39.00%
10.00%7.50% 9.50% 4.00%
Temps passé par les apprenants par type d’activité
(en heures par semaine)< à 3h De 4 à 6h > à 7h
La plupart des apprenants passent moins de 3 heures par semaine sur chaque type d’activités (cours, travaux à rendre, évaluation par les pairs).
Les travaux à réaliser demandent souvent plus de temps (4 heures ou plus pour 48,50 %) que le reste.
Les travaux à réaliser demandent généralement plus de temps que les évaluations de ses pairs.
11
Temps prévu vs temps passé
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
de temps que celui prévu (annoncé) par les MOOC étudiés.
56 % des apprenants ont passé
20 % des apprenants ont passé24 % des apprenants ont passé
Généralement, un temps moyen à passer par semaine est indiqué sur les plateformes de MOOC. Ce temps n’est pas toujours celui réellement passé par les apprenants.
Rappel : 41 % des "MOOCeurs" ne savaient pas qu'ils auraient à évaluer leurs pairs avant de commencer le MOOC.
Anonymat et évaluation par les pairs
13Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Anonymat et qualité de la note
47 % des apprenants de notre échantillon connaissaient le nom ou pseudo de l'étudiant à évaluer
Les apprenants pensent que l’anonymat…
19 % : améliore la qualité de la note
76 % : ne change rien
5 % : réduit la qualité de la note
14Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Anonymat : préférences
Préférent être anonymes
Préfèrent être connus de leur correcteur
Y sont indifférents
33%
20%
47%
Préférence vis-à-vis de leur correcteur
Préfèrent ne pas connaître la personne qu'ils cor-rigent
Préfère être connu de la personne qu'ils corrigent
Y sont indifférents
31%
28%
41%
Préférences vis-à-vis de leurs pairs, en tant que correcteurs
(EPP : Evaluation Par les Pairs)
EPP: organisation des MOOC
16
EPP et organisation des MOOC
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
42 % des apprenants devaient s’évaluer eux-mêmes (en plus d’évaluer leurs pairs)
1 ou moins
2 à 3
4 à 5
Plus de 5
1.61%
43.55%
53.23%
1.61%
Nombre de travaux à évaluer
La majorité des apprenants avaient entre 4 et 5 travaux à évaluer :
100 % des apprenants disposaient d'aide à l'évaluation. La consigne est le plus fréquent (87%).
Consigne
Barème
Conseils
Exemple de correction
87%
81%
47%
23%
Outils d’aide à l’évaluation disponibles :
42 % des apprenants pouvaient contacter leur pair-évaluateur. 18% d'entre eux ne savaient pas si cela était possible.
Expériences en EPP
18Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Expériences précédentes 56 % des apprenants avaient une expérience d’évaluation
par les pairs (dont 67 % en dehors des MOOC) :
Aucune ex-périence
Expérience dans un autre
MOOC
Expérience hors MOOC
Autre MOOC + hors MOOC
44%
12%37%
7%
Expériences précédentes en EPP
Pour 78 %, cette expérience précédente a été une aide pour évaluer leurs pairs dans le MOOC.
EPP et communication avec autrui
20Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Evaluer seul ou à plusieurs ? 90 % des apprenants ont réalisé les
évaluations seul Seuls 20 % d’entre eux auraient préféré la
faire à plusieurs
21Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Echanges avec l’équipe pédagogique
32 % ont contacté l’équipe pédagogique au sujet de l’évaluation par les pairs
56 % estiment ne pas en avoir eu besoin
12 % ne savaient pas si cela était possible
22Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Echanges avec les autres apprenants
Avec l’ensemble des apprenants : 44 % des apprenants ont échangé avec leurs pairs au
sujet de l’évaluation par les pairs et ont obtenu une réponse
43 % ne l’ont pas fait, jugeant cela non nécessairePour les 13 % restants : ils ne savaient pas si cela était possible (7%), ne savaient pas comment le faire (3 %) ou cela n'était pas possible dans leur MOOC (3 %).
Avec les pairs évalués : 42 % pouvaient contacter les pairs évalués et l’ont fait 40 % ne pouvaient pas les contacter (faute d’un dispositif
technique le permettant) 18 % n’ont pas su dire si cela était possible
EPP et ressentis des apprenants
24Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Sentiments d’être légitime, capable, suffisamment formé
Pour évaluer ses pairs, l’apprenant se sent…
Suffisamment formé
Capable
Légitime
24%
8%
39%
47%
48%
34%
29%
44%
27%
Tout à fait Plutôt ouiPlutôt non ou pas du tout
25Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Importance des commentaires reçus
95 % des apprenants accordent de l’importance aux commentaires reçus de la part de leurs pairs sur leur évaluation.
Très faible
Plutôt faible
Plutôt grande
Très grande
2%
4%
39%
55%
Importance accordée aux com-mentaires
des pairs-évaluateurs
Satisfaction des apprenants
27Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Eléments pour aider à évaluer 86 % des apprenants ont un regard positif sur les
éléments mis à leur disposition pour les aider à évaluer les travaux de leurs pairs :
75 % ont trouvé que les aides (consignes, barèmes…) pour évaluer leurs pairs étaient en nombre suffisant.
Plutôt insatisfaitPlutôt satisfait
Totalement satisfait
13.93%
62.30%
23.77%
Niveau de satisfaction sur les outils d’aide à l’évaluation
Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de l’échantillon.
28Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Outils pour évaluer
88 % des apprenants ont trouvé l’outil d’évaluation par les pairs facile (41 %) ou très facile (47 %) à utiliser.Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de l’échantillon.
29Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Utilité pédagogique
85 % considèrent qu’évaluer leurs pairs leur a permis de progresser dans leur apprentissage.
81 % considèrent également que leur auto-évaluation leur a permis de progresser.
30Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Motivation et plaisir à évaluer ses pairs
84 % des apprenants ont trouvé motivant d’évaluer leurs pairs (39 % très motivant, 45 % plutôt motivant)
89 % des apprenants ont trouvé plaisant d’évaluer leurs pairs (44 % très plaisant, 45 % plutôt plaisant).
31Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Contrainte à évaluer ses pairs
22 % ont trouvé l’évaluation par les pairs contraignante. Les principales raisons évoquées sont : Le manque de temps / un nombre trop
important de travaux à évaluer Le flou des consignes pour évaluer La complexité du travail Un sentiment d’illégitimité à évaluer Une absence de goût pour l’évaluation en
général
Préférences et avis sur l’EPP
Crédit image : Elliot Lepers
33
Regards sur l’EPP
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Malgré un regard majoritairement positif sur l’EPP (permettant de progresser dans l’apprentissage, motivante, satisfaisante…), les répondants indiquent :
À 50 %, qu’ils auraient préféré être notés par un enseignant(dont 43 % parmi ceux trouvant l’EPP motivante)
A 54 % qu’ils jugent l’EPP peu fiable(dont 48 % parmi ceux trouvant l’EPP motivante)
Et cela même si 92 % estiment avoir été évalués avec sérieux par leurs pairs.
L’enseignant reste, pour la majorité des apprenants, l’évaluateur préféré, malgré les avantages ressentis à être évalué par un pair et à évaluer.