Les méthodes d’évaluation 23 Février – 16h – 17h30 Objectif : situer les différentes méthodes en termes d’objectifs (quelle dimension ergonomique, quels types de données recueillies, moment de conception)

Les dimensions ergonomiques

Efficience Gestion des erreurs Satisfaction Apprenabilité

Atteinte des objectifs utilisateurs Support à l’activité

Valeurs d’usage Intégration pratique

Bétrancourt (2007). in Charlier, B. et Peraya, D. (Eds). Regards croisés sur la recherche en technologie de l’éducation (pp. 77-89), De Boeck: Bruxelles, 2007.

Les objets recueillis

Représentations Ce que j’en sais ou crois que j’en sais

Attitudes Ce que j’en pense, ce que j’aime ou non…

Pratiques effectives Ce que je fais réellement avec le système…

Le tets utilisateurs parmi les différentes méthodes

Le test utilisateur

Test utilisateur de smartphone : http://www.youtube.com/watch?v=LnAS_MKl96A

Test de site web à distance : http://www.youtube.com/watch?v=k2lcfSVSR40

Quelles sont les différentes étapes du test ?

²  ²  D’après la vidéo du test ci-dessous, quelles sont les étapes du test utilisateur ?

�  Test utilisateur (humoristique) : http://www.youtube.com/watch?v=3Qg80qTfzgU

Test de scénarios (usability testing) 1.  Construction de scénarios authentiques d’après

analyse de l’activité et analyse du système

•  Pre-test

2.  Recrutement des utilisateurs

3.  Passation du test utilisateurs

1.  Expliquer

2.  Faire passer les tâches - enregistrer

3.  Questionnaires et entretien de debriefing

4.  Analyse qualitative et quantitative

5.  Diagnostic et proposition de remédiations.

Exercice : deux volontaires dont un ne connaît pas le site Scénario Observateurs : -  la moitié observent l’entretien : ce qui se passe, comment se déroule le test, quelles sont les difficultés potentielles -  l’autre moitié notent les problèmes rencontrés par l’utilisateur (en précisément ce qui s’est passé)

Après le test, chacun rapporte son observation (y compris les participants au jeu de rôle)

Test de scénarios : petit jeu de rôle

Passation - Recommandations

�  Difficultés pour savoir comment guider l’utilisatrice, cadrer la situation -> être au clair sur ce qui est important et ce qui l’est moins

�  Expliquer le vocabulaire, s’assurer que la tâche est comprise �  Importance du public cible, connaissances du type d’application �  Problématique de plateforme : harmoniser le type d’écran et ordinateur �  Tâches de la plus simple à la plus complexe, pour qu’util soit à l’aise �  Verbalisation : parfois moins quand tâche difficile, attention au volume, faire

dire où elle clique, rappeler que la personne doit verbaliser �  Ecoute attentive et encourageante �  Fin des tâches : demander à l’utilisateur de confirmer qu’il a trouvé,

formulation des tâches pour que ce soit clair �  Tâche faisable, formulation claire qui correspond à ce qu’on peut trouver. �  Que faire si la personne est en galère ? Proposer de passer à la tâche

suivante, quand on sent que la personne s’essouffle dans la tâche ou se perd dans des vérifications inutiles.

�  Ne pas laisser chercher dans moteur recherche, ni dans d’autres sites �  Respecter les habitudes de navigation des utilisateurs

Voir l’animation humoristique The scrollwheel

Problèmes observés

�  Que voulait faire l’utilisatrice ? �  Que s’est-il passé ? Pourquoi était-ce un problème pour

l’utilisateur �  Quelle conséquence ?

Postezchacununproblèmeobservédansopenclass,catégorieTestutilisateur,motclé«chien»

•  Représentatifs du public-cible (si possible) –  Prendre les vrais utilisateurs, « pas leurs représentants »

•  Population homogène pour chaque échantillon de public cible

•  Qui sont usagers réguliers d’internet, mais ne connaissent pas le site en question

•  Combien de sujets –  Dépend de la diversité du public cible : 5 par type de

cibles est acceptable

2. Recruter les utilisateurs

�  Je vous vous présenter différentes tâches que vous devrez réaliser sur un site web.

�  Ce test va durer … minutes. �  Le but n’est pas de vous évaluer mais de savoir si le site est

satisfaisant. �  Il n’y a pas de bonne ou mauvaise réponse. �  Je vais vous demander de penser à voix haute pendant que

vous réalisez ces tâches. �  Dites-moi lorsque vous pensez avoir terminé la tâche. �  Vous pouvez abandonner la tâche si vous le souhaitez. �  Puis-je vous enregistrer... -> enregistrer de préférence avec

un enregistreur d’écran : �  Voir suggestions PC / Mac sur Wikispaces

3. Tester 3.1. Expliquer

�  Voici le site. A quoi vous fait-il penser de premier abord ? �  Voici la première tâche. Lisez-là à voix haute (ou on la lit).

Est-ce que vous avez compris ce qui vous est demandé ? �  PENSEZ TOUT HAUT �  PENSEZ TOUT HAUT �  PENSEZ TOUT HAUT �  PENSEZ TOUT HAUT �  PENSEZ TOUT HAUT… hmm… qu ’est-ce que vous êtes en train de faire ? �  PENSEZ TOUT HAUT

�  Voici la deuxième tâche. ...

3. Tester 3.2. Faire passer

�  Règles classiques de l ’entretien : �  Ecouter > Parler �  Poser des questions sur son activité �  Poser des questions neutres �  Fournir un feedback neutre �  Respecter les silences, laisser un petit moment après chaque tâche �  Rebondir sur les points intéressants, ne pas suivre rigidement un canevas

�  Ne pas se laisser placer dans un rôle d’expert par l’utilisateur �  Arrêter le test en cas d’échec répétitif �  Prévoir un entretien post-test :

�  Échelles de satisfaction (voir demain) �  Entretien ouvert : « qu’avez-vous pensé du site lorsque vous effectuiez les

tâches demandées ? »

3. Tester 3.3. Ecouter

Test de scénarios (usability testing) 1.  Construction de scénarios authentiques d’après

analyse de l’activité et analyse du système

•  Pre-test

2.  Recrutement des utilisateurs

3.  Passation du test utilisateurs

1.  Expliquer

2.  Faire passer les tâches - enregistrer

3.  Questionnaires et entretien de debriefing

4.  Analyse qualitative et quantitative

5.  Diagnostic et proposition de remédiations.

Etape 1 : création de scénario Le Scénario pour le test utilisateur est une série de tâches à réaliser sur le site web choisi, inspirées de l’analyse de l’activité, qui a pour objectif de mettre les participants dans une situation authentique d'utilisation du site web. Vous devez faire un test utilisateurs pour évaluer un site Web de cuisine. Le public cible est large et ne concerne pas forcément des personnes férues de cuisine. Imaginez un scénario pour le test utilisateur qui comprenne au moins deux tâches. Le scénario doit réaliser une « mise en situation » authentique qui donne du sens aux différentes tâches. Postez votre scénario (formulé tel qu’il le serait pour l’utilisateur) dans openclass, catégorie Test Utilisateur, avec le #scenario

Qu’est-ce qu’un bon scénario ?

• 

Objectif : relever les préférences et observations de l’utilisateur (en fait l’experience utilisateur, cf. modèle Mahlke, séance 1)

Deux phases : �  Faire passer un questionnaire d’évaluation subjective �  Plusieurs sont conseillés dans le Wikispaces, particulièrement le

Wammi �  Entretien :

�  question générale : selon toi, quels sont les points forts et faibles de ce site Web ?

�  Puis sur la base des réponses au questionnaire, pour revenir sur des moments du test…

3. Tester 3.2. Phase post-test

Les étapes du test utilisateur : après la passation Description et diagnostic des problèmes Grilles heuristiques

•  Synthèse : •  description générale et points positifs •  éventuellement, temps moyen

•  Diagnostic des problèmes

–  Description avec Citations, copie d’écran ou screen cast,

–  Statistiques : combien d’utilisateur ont rencontré ce problème

–  Gravité : degré d’entrave à l’atteinte de la tâche –  Catégorisation selon grille de critères

•  Propositions de solutions –  Argumentées –  Implémentées ou non dans le prototype 2

4. Résultats : Diagnostic Voir Modèle de rapport dans wikispaces

Pourquoi utiliser une grille ? Objectif rhétorique :

Objectif diagnostique :

pour synthétiser les problèmes rencontrés

pour faciliter le diagnostic des problèmes rencontrés et leur résolution

Deux cas de figure :

pour systématiser une inspection experte pour synthétiser les résultats d’un test utilisateurs

Trois exemples de grilles ou « check-lists »

La norme ISO 9241

Les 10 recommandations de Nielsen

Les critères de Bastien & Scapin

Les 10 recommandations de Nielsen

Inspection experte

Heuristiques basées sur l ’optimisation des fameux 4 critères :

ü apprentissage ü efficience ü gestion des erreurs ü satisfaction

Document Wikispaces : Principes Nielsen

Les normes ISO

Normes définissant la qualité d’un produit informatisé

ü Principes de dialogue ü Utilisabilité des systèmes ü Présentation visuelle ü Guidage de l’utilisateur ü Styles de dialogue : menus, manipulation directe, ü langage de commande ou formulaires

Document Wikispaces : Checklist ISO

Les critères de Bastien & Scapin

•  recueil d’un grand nombre de données expérimentales (800) et de recommandations individuelles (guidelines)

•  traduction de ces données en règles

•  distinction de classes de règles

•  Test expérimental de l’efficacité de la grille pour experts et non experts

Stratégie de construction des critères :

Références Bastien, J. M. C., & Scapin, D. L. (1995). Evaluating a user interface with ergonomic criteria. International Journal of Human-Computer Interaction, 7, 105-121. Site de l’auteur : http://www.ergoweb.ca/criteres.html Documents Dokeos : Liste des critères de Bastien et Scapin plus présentation illustrée avec les sous-critères.

1. Guidage La personne qui utilise sait-elle toujours ce qu’elle doit et peut faire ? L’information est-elle clairement organisée et présentée ?

2. Charge de travail L’interface n’est-elle pas trop chargée au niveau des éléments à lire ou des actions à faire ?

Source: http://www.internetactu.net/2008/04/24/pour-une-ecologie-informationnelle/

3. Contrôle explicite

Les actions entreprises par le système correspondent-elles à ce qu’attend l’utilisateur-trice ? A-t-on le contrôle sur les actions en cours ?

4. Adaptabilité

Peut-on personnaliser l’interface, définir des préférences ?"Y a -til une prise en compte de l’expérience (sur le site) de l’utilisateur ?"

5. Gestion des erreurs

Peut-on facilement éviter les erreurs et les corriger lorsqu’elles surviennent ?"

6. Homogénéité / Cohérence

Les éléments de l’interface sont-ils conservés pour des contextes identiques et différenciés pour des contextes différents ?

codes, dénominations, formats, procédures, etc.

7. Signifiance des codes et dénominations

Les codes et dénominations utilisées sont-ils signifiants, intuitifs pour les utilisateurs-trice ?

8. Compatibilité

Le contenu est-il adapté aux caractéristiques du public cible et à son activité ?"

Pratique du test utilisateur

Par deux, un-e utilisateur-trice, un-e expert-e. Scénario : voir feuille distribuée. (Ajoutez le « revenez sur la page d’accueil » entre les tâches et prenez le temps de noter les problèmes observés) Après la passation, l’expert fait passer le questionnaire Wammi, puis demande à l’utilisateur de décrire son expérience sur le site. Expert-e et participant-e discutent des problèmes rencontrés par l’utilisateur pendant la passation puis en décrivent deux selon la grille page suivante.

Description des problèmes utilisateurs

•  Que s’est-il passé ? (bien décrire la séquence des événements) Pourquoi c’était un problème pour l’utilisateur ? Comment le sait-on (hésitation, retour en arrière répétées, phrases éloquentes…) ? •  Diagnostic : Classification selon la grille de Bastien et Scapin : quel critère

d'utilisabilité le problème viole-t-il ? Justifier ! •  (Statistiques : combien d'utilisateurs l'ont rencontré ?) •  Gravité du problème :

•  critique : empêche ou décourage l'achèvement de la tache; •  sérieux : ralentit et force l'utilisateur à chercher une autre solution; •  léger: agace mais n'empêche pas la poursuite de la tâche A poster dans openclass pour un (deux max) des problèmes rencontrés avec le mot clé #testcuisine.