Evaluation par les pairs dans les MOOC : résultats d’enquêteFévrier 2016 - Clément Dussarps & Elodie Vaugier

2Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Auteurs de l’enquête Clément DUSSARPS, docteur en sciences

de l’information et de la communicationclementdussarps@gmail.com

Elodie VAUGIER, ingénieur pédagogiqueelodievaugier@yahoo.fr

Administrée en avril/mai 2015

3Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Sommaire Echantillon 4 Activités et temps passé sur le MOOC 9 Anonymat et évaluation par les pairs

12 Evaluation par les pairs (EPP) :

Organisation des MOOC 15 Expérience en EPP 17 EPP et communication avec autrui 19 EPP et ressentis des apprenants 23 Satisfaction des apprenants 26 Préférences et avis sur l’EPP 32

N = 135Remarques : • tous les résultats suivants sont issus de

l’échantillon de répondants, 135 apprenants ayant réalisé des évaluations par les pairs ;

• l’échantillon est opportuniste et n’a pas vocation à être représentatif.

Echantillon

5Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Echantillon

Coursera 13%

Autres 14,81%

France Université Numérique36%

Unow 36,30%

Plateformes représentées(répartition des individus par

plateforme)

Principaux MOOC enquêtés : - ABC de la gestion de projet (27 %) - Comprendre le transmédia storytelling (22 %) - Gamification (7 %) - Monter un MOOC de A à Z (7 %) - Effectuation - L’entreprenariat pour tous (5 %) - Informer et communiquer sur les réseaux sociaux (5 %)

6Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Echantillon Sexe et âges :

Statut :

Localisation :

60 %

40 %0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100

%

5% 24% 41% 30%

Age des répondants(en années) 18-24 25-35

36-49 + de 50 71 % ont plus de 35 ans

67 % en emploi

18 % deman-deurs d’emploi

6 % étudiants

85 % en France

11 % enEurope

4 % hors Europe

(9 % autres statuts)

7Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Un échantillon motivé et satisfait

Considèrent le MOOC important pour eux

Sont satisfaits du MOOC

Ont plaisir à suivre le MOOC

Accordent de l'importance à la certification

0% 20% 40% 60% 80% 100% 120%

92%

94%

96%

60%

Les apprenants…

Seuls 4 % ont abandonné le MOOC (pour lequel ils répondent à cette enquête)

97 % se disent à l’aise avec les outils numériques

8

Communication sur l’EPP

Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Tous les apprenants ne savaient pas qu’ils auraient à réaliser une évaluation par les pairs (EPP) avant de démarrer le MOOC : Seuls 59 % des apprenants savaient qu’ils auraient à évaluer leurs pairs AVANT de démarrer le MOOC.

29 % l’ont découvert lors de la première semaine du MOOC et 9 % lors de la réalisation ou l’évaluation du premier travail. 3 % l’ont appris à un autre moment.

Activités et temps passé sur le MOOC

10

Temps passé par type d’activité

Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Cours Travaux EPP

72.00%51.50%

86.00%

20.50%39.00%

10.00%7.50% 9.50% 4.00%

Temps passé par les apprenants par type d’activité

(en heures par semaine)< à 3h De 4 à 6h > à 7h

La plupart des apprenants passent moins de 3 heures par semaine sur chaque type d’activités (cours, travaux à rendre, évaluation par les pairs).

Les travaux à réaliser demandent souvent plus de temps (4 heures ou plus pour 48,50 %) que le reste.

Les travaux à réaliser demandent généralement plus de temps que les évaluations de ses pairs.

11

Temps prévu vs temps passé

Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

de temps que celui prévu (annoncé) par les MOOC étudiés.

56 % des apprenants ont passé

20 % des apprenants ont passé24 % des apprenants ont passé

Généralement, un temps moyen à passer par semaine est indiqué sur les plateformes de MOOC. Ce temps n’est pas toujours celui réellement passé par les apprenants.

Rappel : 41 % des "MOOCeurs" ne savaient pas qu'ils auraient à évaluer leurs pairs avant de commencer le MOOC.

Anonymat et évaluation par les pairs

13Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Anonymat et qualité de la note

47 % des apprenants de notre échantillon connaissaient le nom ou pseudo de l'étudiant à évaluer

Les apprenants pensent que l’anonymat…

19 % : améliore la qualité de la note

76 % : ne change rien

5 % : réduit la qualité de la note

14Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Anonymat : préférences

Préférent être anonymes

Préfèrent être connus de leur correcteur

Y sont indifférents

33%

20%

47%

Préférence vis-à-vis de leur correcteur

Préfèrent ne pas connaître la personne qu'ils cor-rigent

Préfère être connu de la personne qu'ils corrigent

Y sont indifférents

31%

28%

41%

Préférences vis-à-vis de leurs pairs, en tant que correcteurs

(EPP : Evaluation Par les Pairs)

EPP: organisation des MOOC

16

EPP et organisation des MOOC

Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

42 % des apprenants devaient s’évaluer eux-mêmes (en plus d’évaluer leurs pairs)

1 ou moins

2 à 3

4 à 5

Plus de 5

1.61%

43.55%

53.23%

1.61%

Nombre de travaux à évaluer

La majorité des apprenants avaient entre 4 et 5 travaux à évaluer :

100 % des apprenants disposaient d'aide à l'évaluation. La consigne est le plus fréquent (87%).

Consigne

Barème

Conseils

Exemple de correction

87%

81%

47%

23%

Outils d’aide à l’évaluation disponibles :

42 % des apprenants pouvaient contacter leur pair-évaluateur. 18% d'entre eux ne savaient pas si cela était possible.

Expériences en EPP

18Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Expériences précédentes 56 % des apprenants avaient une expérience d’évaluation

par les pairs (dont 67 % en dehors des MOOC) :

Aucune ex-périence

Expérience dans un autre

MOOC

Expérience hors MOOC

Autre MOOC + hors MOOC

44%

12%37%

7%

Expériences précédentes en EPP

Pour 78 %, cette expérience précédente a été une aide pour évaluer leurs pairs dans le MOOC.

EPP et communication avec autrui

20Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Evaluer seul ou à plusieurs ? 90 % des apprenants ont réalisé les

évaluations seul Seuls 20 % d’entre eux auraient préféré la

faire à plusieurs

21Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Echanges avec l’équipe pédagogique

32 % ont contacté l’équipe pédagogique au sujet de l’évaluation par les pairs

56 % estiment ne pas en avoir eu besoin 12 % ne savaient pas si cela était possible

22Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Echanges avec les autres apprenants

Avec l’ensemble des apprenants : 44 % des apprenants ont échangé avec leurs pairs au

sujet de l’évaluation par les pairs et ont obtenu une réponse

43 % ne l’ont pas fait, jugeant cela non nécessairePour les 13 % restants : ils ne savaient pas si cela était possible (7%), ne savaient pas comment le faire (3 %) ou cela n'était pas possible dans leur MOOC (3 %).

Avec les pairs évalués : 42 % pouvaient contacter les pairs évalués et l’ont fait 40 % ne pouvaient pas les contacter (faute d’un dispositif

technique le permettant) 18 % n’ont pas su dire si cela était possible

EPP et ressentis des apprenants

24Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Sentiments d’être légitime, capable, suffisamment formé

Pour évaluer ses pairs, l’apprenant se sent…

Suffisamment formé

Capable

Légitime

24%

8%

39%

47%

48%

34%

29%

44%

27%

Tout à fait Plutôt ouiPlutôt non ou pas du tout

25Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Importance des commentaires reçus

95 % des apprenants accordent de l’importance aux commentaires reçus de la part de leurs pairs sur leur évaluation.

Très faible

Plutôt faible

Plutôt grande

Très grande

2%

4%

39%

55%

Importance accordée aux com-mentaires

des pairs-évaluateurs

Satisfaction des apprenants

27Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Eléments pour aider à évaluer 86 % des apprenants ont un regard positif sur les

éléments mis à leur disposition pour les aider à évaluer les travaux de leurs pairs :

75 % ont trouvé que les aides (consignes, barèmes…) pour évaluer leurs pairs étaient en nombre suffisant.

Plutôt insatisfaitPlutôt satisfait

Totalement satisfait

13.93%

62.30%

23.77%

Niveau de satisfaction sur les outils d’aide à l’évaluation

Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de l’échantillon.

28Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Outils pour évaluer

88 % des apprenants ont trouvé l’outil d’évaluation par les pairs facile (41 %) ou très facile (47 %) à utiliser.Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de l’échantillon.

29Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Utilité pédagogique

85 % considèrent qu’évaluer leurs pairs leur a permis de progresser dans leur apprentissage.

81 % considèrent également que leur auto-évaluation leur a permis de progresser.

30Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Motivation et plaisir à évaluer ses pairs

84 % des apprenants ont trouvé motivant d’évaluer leurs pairs (39 % très motivant, 45 % plutôt motivant)

89 % des apprenants ont trouvé plaisant d’évaluer leurs pairs (44 % très plaisant, 45 % plutôt plaisant).

31Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Contrainte à évaluer ses pairs

22 % ont trouvé l’évaluation par les pairs contraignante. Les principales raisons évoquées sont : Le manque de temps / un nombre trop

important de travaux à évaluer Le flou des consignes pour évaluer La complexité du travail Un sentiment d’illégitimité à évaluer Une absence de goût pour l’évaluation en

général

Préférences et avis sur l’EPP

Crédit image : Elliot Lepers

33Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

Regards sur l’EPP Malgré un regard majoritairement positif sur l’EPP

(permettant de progresser dans l’apprentissage, motivante, satisfaisante…), les répondants indiquent :

À 50 %, qu’ils auraient préféré être notés par un enseignant(dont 43 % parmi ceux trouvant l’EPP motivante)

A 54 % qu’ils jugent l’EPP peu fiable(dont 48 % parmi ceux trouvant l’EPP motivante)

Et cela même si 92 % estiment avoir été évalués avec sérieux par leurs pairs.

L’enseignant reste, pour la majorité des apprenants, l’évaluateur préféré, malgré les avantages ressentis à être évalué par un pair et à évaluer.