1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies...

1

Marc-Eric BOBILLIER CHAUMONMarc-Eric BOBILLIER CHAUMONUniversité Lyon 2 - Université Lyon 2 - Institut de Institut de

PsychologiePsychologie

Usages des technologiesles tests d’usage :

Méthodes et Techniques d’évaluation et de diagnostic

2

Méthodes d’évaluation des usagesMéthodes d’évaluation des usages

Méthodes et techniques d’évaluation des usages : – Avec/Sans usagers

– En situation réelle / Artificielle

(Selon Brangier & Barcenilla, 2003)

6

L'utilisabilité : un processus peu coûteux et rentable pour l'entreprise !

L'étude de Jakob Nielsen, en 2003, a démontré que sur 863 projets* de conception et de développement de sites Web recensés,

le coût de l’intervention en utilisabilité se chiffrait entre 8 et 13 % du budget du projet

pour une amélioration de l’utilisabilité de 135 % après intervention.

Moyenne de l’amélioration: •Ventes / Taux de conversion = 100 % •Trafic / Nombres de visites = 150 % •Performance utilisateur / Productivité = 161 % •Usage de fonctions spécifiques = 202 %

*À travers 42 projets où les métriques semblables d’utilisabilité ont été collectées. Nielsen, 2003.

7

1.1. L’utilisabilitéL’utilisabilité C’est Quoi ?C’est Quoi ?

Définitions

« Capacité, en termes fonctionnels et humains, à permettre une utilisation facile et effective par une catégorie donnée

d'utilisateurs, avec une formation et un support adaptés, pour accomplir une catégorie donnée de tâches, à l'intérieur d'une

catégorie spécifique de contextes » Shackel (1991)

"Degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité,

efficience et satisfaction dans un contexte d'utilisation spécifié".Norme ISO 9241–11 (1998)

8

1.1. L’utilisabilitéL’utilisabilité C’est Quoi ?C’est Quoi ?

L’utilisabilité est le résultat d’une interaction entre :

Environnement,

Contexte d’usage

Tâches-Activités

Dispositifs technologiques

9

2. Test d’utilisabilité : 2. Test d’utilisabilité : Les méthodesLes méthodes

Inspection ergonomique

10

2.1. Evaluation par inspection 2.1. Evaluation par inspection ergonomiqueergonomique

– Principes» Font appel aux jugements d’évaluateurs (plutôt experts)» Visent à la détection des aspects de l’interface pouvant alourdir

l’utilisation du système ou le travail des utilisateurs

– Définition« Cela consiste à passer en revue chacun des composants de l'interface afin

de vérifier qu'ils respectent un ensemble de critères, normes, principes, recommandations ergonomiques »

– Deux méthodes possibles :1. Evaluation générale et globale (par heuristiques : Plutôt expert)

2. Evaluation de la conformité à des recommandations

11

A. Principes Heuristiques de A. Principes Heuristiques de Nielsen Nielsen (Cf. fin de Polycop)(Cf. fin de Polycop)

Heuristiques Nielsen (1994

Visibilité de l'état du système : Prévoir du feedback à l'utilisateurLe système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide

Lien entre le système et le monde réel : Parler le langage de l'utilisateurLe système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur

c- Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiquéLes utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système

Annuler

12

A. Principes Heuristiques de A. Principes Heuristiques de NielsenNielsen

Heuristiques Nielsen (1994)

Prévenir l'erreur :Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution

Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateur.L'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit

Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes expertsPermettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues

Ici, l’option est grisée car elle n’est pas utilisable dans

le contexte

Ici, des raccourcis sont proposés

13

A. Principes Heuristiques de A. Principes Heuristiques de NielsenNielsen

Heuristiques Nielsen (1994

Esthétique et design minimal :Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur

Homogénéité et standards : S'assurer d'être cohérentLes utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions -> il faut appliquer la règle pour l'ensemble du système

Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier

Aide et documentation : Utiliser un langage simple et naturelDans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches…

Copier (Crt C) Couper (Ctrl X) Coller (Ctrl V)

14

A. Principes HeuristiquesA. Principes Heuristiques

– Grille inspirée de Nielsen (93)a) Le dialogue est-il simple ?

b) Le langage utilisé est-il celui de l'utilisateur ?

c) Le travail de mémorisation est-il minimal ?

d) La présentation et le dialogue sont-ils cohérents ?

e) Les retours sont-ils visibles ?

f) Les sorties sont-elles explicites ?

g) Existe-t-il des raccourcis ?

h) Les messages d'erreur sont-ils explicites ?

i) Les erreurs sont-elles évitées ?

j) Existe-t-il une aide ?

k) Le logiciel est-il documenté ?

Tests automatiques

» http://www.acm.org/~perlman/question.html

» http://uzilla.mozdev.org/heuristicreview.html#

15

Heuristiques AFNOR – Normes Z67-133-1

16

B. Evaluation de la conformité à B. Evaluation de la conformité à des recommandationsdes recommandations

Démarche Elaborer une grille d’évaluation (check-list) à partir de:

» Critères & principes ergonomiques (sélectionner les critères)

(Nielsen, 1994 ; Bastien & Scapin, 1993 ; AFNOR (ISO 9241) ; Vanderdonckt,

1994 ; Nogier, 2002…)

» Caractéristiques de l’application, de l’environnement technique (collaboratif,

intranet/internet, commercial, informationnel…)

» Profil des utilisateurs

(Novices/experts, utilisateurs réguliers ou irréguliers, interne/externe à

l’entreprise…)

» Objectifs de l’évaluation

(évaluation de l’usage, de l’utilité, de l’utilisabilité, de l’acceptabilité ?…)

17

8 critères ergonomiques pour la conception et 8 critères ergonomiques pour la conception et l’évaluation des sites WEB (Scapin & Bastien, 1998)l’évaluation des sites WEB (Scapin & Bastien, 1998)

1. GUIDAGE

2. CHARGE DE TRAVAIL

3. CONTROLE EXPLICITE

4. ADAPTABILITE

5. GESTION DES ERREURS

6. HOMOGENEITE/ COHERENCE

7. SIGNIFIANCE DES CODES ET

DENOMINATIONS

8. COMPATIBILITE

Pour une illustration de ces critères http://www.ergoweb.ca/criteres.html

1. GUIDAGE

2. CHARGE DE TRAVAIL

3. CONTROLE EXPLICITE

4. ADAPTABILITE

5. GESTION DES ERREURS

6. HOMOGENEITE/ COHERENCE

7. SIGNIFIANCE DES CODES ET

DENOMINATIONS

8. COMPATIBILITE

Pour une illustration de ces critères http://www.ergoweb.ca/criteres.html

Guidage

Zone de menu

Zone de texte

Charge de travail

Contrôle explicite

Adaptabilité

Gestion des erreurs

1 2 3

Homogénéité-cohérence

Signifiance des codes et dénominations

Compatibilité

18

1. Evaluation par inspection 1. Evaluation par inspection ergonomiqueergonomique

– Démarche» Questionnaire / Grille d’évaluation permettant d’obtenir des

résultats chiffrés pour chaque critère évalué

» Echelle de lickert

Exemple : « La page s’affiche rapidement : »

« Les liens sont explicites et judicieux »

19


– Exemple de barèmes1 2 3 4

Pas du tout d'accord Peu d'accord D'accord Tout à fait d'accord

Pas du tout satisfaisant

Peu satisfaisant Satisfaisant Tout à fait satisfaisant

Lacune(s) bloquante(s) pour la

navigation/interaction

Critère partiellement rempli mais lacunes

pas bloquantes (justes gênantes)

Critère partiellement rempli mais lacunes concernant juste des perfectionnements

pointus et non essentiels

Critères pleinement remplis

Le système présente de sérieux problèmes d’utilisabilité sur ce

critère, des modifications importantes sont

absolument nécessaires.

Le système présente quelques problèmes d’utilisabilité sur le

critère considéré, qui justifieraient des modifications et

adaptations.

Le système est acceptable en l’état

pour le critère considéré, les

problèmes d’utilisabilité relevés

sont superficiels.

Le système présente une bonne

ergonomie pour le critère considéré.

20


– Exemple d’évaluation quantitative des critères

» Note (de 1 à 4) pour chaque critère 1. L’application présente de sérieux

problèmes d’utilisabilité sur ce critère, des modifications importantes sont absolument nécessaires.

2. l’application présente quelques problèmes d’utilisabilité sur le critère considéré, qui justifieraient des modifications et adaptations.

3. l’application est acceptable en l’état pour le critère considéré, les problèmes d’utilisabilité relevés sont superficiels.

4. l’application présente une bonne ergonomie pour le critère considéré.

21

Exemple pour l’analyse des banques

22


– A un niveau qualitatif» Fiche problème décrivant :

> le critère ou sous-critère concerné,

> le contexte d’occurrence (page écran ou procédure mise en cause),

> la nature du problème (description, manifestation),

> ses conséquences probables en termes d’utilisation pour les utilisateurs concernés,

> le degré de gravité estimé,

> et éventuellement, des suggestions d’amélioration

– A un niveau quantitatif» Moyenne des notes attribuées

pour chaque critères et sous-critères (évaluation des affirmations) sur une échelle en 4 points.

Présentation des résultats

23

2. Test d’utilisabilité2. Test d’utilisabilité

2. Test d’utilisabilité

– Définitionle test utilisateur est une méthode d'évaluation qualitative basée sur

l'observation individuelle d'utilisateurs cibles

– Objectifs » Observer directement et réellement la façon dont l'utilisateur

se sert de l'application

» savoir s'ils utilisent convenablement ou non l'interface, s'ils apprécient ou non certaines fonctionnalités,

» et ainsi identifier concrètement les problèmes qu'ils rencontrent, les erreurs qu'ils commettent et les difficultés qu'ils éprouvent

24

2. Tests d’utilisabilité2. Tests d’utilisabilité

Nombre d’utilisateurs à observer ?– Groupe de 5 à 10 évaluateurs 80 % des problèmes

d’utilisabilité identifiés (selon Nielsen)

– Groupes différentes : experts, novices, intermédiaires

Selon Nielsen

26


2.2 Tests en situation d’usage

2.2.1 Exploration libre commentée

Il s'agit de laisser l'utilisateur naviguer sur le dispositif sans aucune directive spécifique .

– Principe

On invite l’utilisateur à penser à voix haute » à exprimer ce qu’ils aiment et n’aiment pas sur les pages web ;

» à indiquer ce qui leur pose problème ;

» ce qu'ils pensent trouver comme information, contenu, texte en choisissant tel lien ou tel item de navigation

» à faire des suggestions d’amélioration.

» Etc.

27


– Inciter l’utilisateur à verbaliser en lui posant des questions : » "Que voulez-vous faire ? Identifier le but poursuivi

» Comment faites-vous cela ?" Déterminer le mode opératoire mis en œuvre pour atteindre ce but

» "Que fait le système ? Que veut dire ce message ?" on vérifie si la réponse du logiciel est correctement comprise et qu'elle correspond à ce que l'utilisateur attendait.

– Quelques recommandations» Temps de passation : < 45 minutes

» Nombre de personnes par test : de 1 à plusieurs utilisateurs

» Ne pas aider l’utilisateur, le laisser se tromper

» Bon résultat avec des prototypes papier (tôt dans la conception)

28


2.2.2 Tests scénarisésConsiste à demander à un utilisateur de réaliser une tâche type, spécifique (scénario) du

logiciel ou du site web pour évaluer son utilisabilité

– Principe» Avant le test : définir un seuil de réussite» Pendant le test : directivité de l’évaluateur

> Incite l’utilisateur à suivre un scénario> Verbalisation simultanée de l’utilisateur

« verbalisez ce que vous faites et pourquoi vous le faites… »

– Que prendre en compte ? Que cherche-t-on à évaluer ?1. Efficacité Objectifs atteints ? 2. Efficience Temps nécessaire ? Nature, fréquence origine des erreurs ?

nombre de sélection ? Chemin parcouru ? 3. Satisfaction Remarques négatives, positives ?

http://www.acm.org/~perlman/question.html

Ex : Manip d’une calculatrice

Expert

Novice

29

Exemple de données recuilliesExemple de données recuillies

Efficacy(% of success in the

scenario)

Satisfac-tion

(mean score / 5)

Efficiency

Mean exploration time (sec)

Mean number of strategies deployed

Mean number of selections per scenario

Sighted(S)

Blind(B)

S B S B S B S B

Scen. 1 100% 60% 4.17 3.42 105 814 1.38 3.40 4.38 8.20

Scen. 2 62.5% 20% 2.84 2.86 230 1134 2.29 3.70 6.43 7.30

Scen. 3 66 % 10% 2.84 2.86 334 1176 3.00 3.44 10.83 8.22

30


– Les mesures effectuées : objectives» le temps écoulé pour l’exécution d’une tâche, d'un scénario

» les performances : réussite/échec, exactitude du résultat, de la réalisation du scénario

» le nombre et le type d’erreur commise

» le temps passé dans une rubrique, sur une page

» les difficultés rencontrées

» les impasses

» les incompréhensions (en fait, tout événement verbal ou non verbal qui montre une difficulté d'utilisation du logiciel) (Cf Tab. des verbalisation)

» etc

– D’autre mesures subjectives…» Verbalisations simultanées (enregistrements Audio et retranscription)

» Comportements non verbaux & verbalisations consécutives (enregistrements vidéo & Grille d’observation)

» Verbalisations lors des débriefings (enregistrements Audio)

31


Calcul des indices de performance (Bastien, 2007)…– Données à prendre en compte

» Temps de réalisation du scénarii (sec)» Nombre de pages parcourues» Nombre d’actions (Clique G/D, scroll, sélection, saisie…)» Etc.

– Modes de calcul» Indice Temps (IT) =

» Indice Action (IA) =

» Indice Chemin (IC) =

» Etc. > Indices Globale de Performance = IT*IA*IC

– Possibilité de comparer : » les effets des modifications apportées au site : Avt/Après» Les populations d’utilisateurs (novices / experts / Intermédiaires)

Meilleur temps (= Temps moyen de tous les individus)

Temps réalisé par l’individu

Nombre de page à parcourir

Nombre de pages parcourues

Nombre d’actions minimum (à faire)

Nombre d’action de l’individu

32

Analyse des verbalisationsAnalyse des verbalisations

Prbl tolér. aux erreurs

Charge de Travail (mémorisation)

Non homogénéité/cohérence

Manque de guidage/navigation

- " Elle est où, cette aide?

- " Comment on fait pour désigner les erreurs ?"

"Je l'ai déjà fait ça ?"

- "Qu'est ce qu'il me reste à faire, j'me rappelle plus"

- "Je me souviens plus sur quoi j'ai cliqué"

- "Ha, j'ai déjà vu ça, il fallait pas que j'appuie, il faut que je revienne"

- "Dans les risques, j'ai tout fait ? J'sais plus..."

- "Pourquoi ça me dit rien . D'habitude quand je clique sur les carrés..."-"Des fois il y a des trucs à chercher, des fois il n'y en a pas ?...« -"qu'est ce qu'y a le son ne marche plus ?" (habituellement chaque image est accompagnée d'un commentaire sonore

- " Mince, je suis déjà passé là ?- Bon, j'appuie où là ?- "Qu'est ce que je dois faire ?"

- "Comment tu lui indiques ?..."

- "Bon, là je vois pas ce qu'il faut faire."

- "Alors tu sors là ou pas ?"

- " Là, il pose une question. Comment veux-tu y répondre ?"

- "Bon, j'appuie où là ?"

- " Il faut que j'appuie là dedans ou quoi, qu'est ce que c'est ce merdier"

- "C'est fini là, non ?"

- "Y'a quelque chose à faire ou pas’

Problèmes identifiés : analyse des verbalisations de l’usager

33

Analyse des verbalisationsAnalyse des verbalisations

Prbl de navigation

Probl

Compatibilité

Probl Contrôle explicite

Manque de feed-back

- Bon, j'appuie où là ?- " Mince, je suis déjà passé là ?- " Elle est où, cette aide ?"

- "Ca veut dire quoi cliquer sur les zones ?"

- "Cliquer sur les boutons ?.."

-Chargement?....

- Je peux pas revenir en arrière"

- "Ca l'arrête pas!"

- "Ch'ui parti où avec ma souris". (Ici l'ordinateur à la main, l'opérateur ne peut interagir, le curseur n'étant pas visible)-"Tu peux pas faire un défilement plus rapide ?..." -Je laisse faire là ?"

- "J'ai appuyé là?"

- "Elle est ou cette patte de mouche ?" (Ici le curseur est invisible, l'opérateur ne peut voir la conséquence de son action sur la souris)

- "Il est ou mon guignol ?"(même problème)

- "Il cliquette pas là" (Ici pas de feed-back à un clic)

- "Il a capté là?"

Problèmes identifiés : analyse des verbalisations de l’usager

34

3. Questionnaire de satisfaction3. Questionnaire de satisfaction

– Exemples de questions types pour évaluer l’utilisabilité dans un questionnaire

1. Il y a beaucoup d’informations intéressantes sur ce site2. Lorsque j’utilise ce site, j’ai le sentiment de contrôler la situation3. Sur ce site, je peux trouver rapidement ce que je recherche4. L’organisation de ce site me paraît logique5. Ce site mériterait de fournir plus d’explications en introduction6. Les pages de ce site sont très attrayantes7. La navigation sur ce site est facile8. Ce site est trop lent9. Ce site m’a aidé à trouver ce que je recherchais10. Apprendre à trouver mon chemin dans ce site est difficile11. Je n’aime pas utiliser ce site web12. Sur ce site, je peux facilement contacter les personnes que je désire13. Je me sens efficace lorsque j’utilise ce site web14. Il est difficile pour moi de dire si ce site propose ce que je cherche15. L’utilisation initiale de ce site est facile16. Ce site web contient des éléments agaçants17. Sur ce site, il m’est facile de me rappeler où je me trouve18. Utiliser ce site web est une perte de temps19. Lorsque je clique sur des éléments du site, j’obtiens toujours les informations auxquelles je

m’attends20. Sur ce site, tout est facile à comprendre

35


Techniques disponibles– Grille d’observation traditionnelle, vidéo, magnéto– Logiciels de capture d’écran (vidéo/Copie d’écran)

» Gratuit> http://www.screentoaster.com/ (à partir du navigateur)

> http://descary.com/camtasia-studio-gratuit/ (Camtasia Gratuit/30J)

> http://www.techsmith.com/jing/

> https://addons.mozilla.org/en-US/firefox/addon/8090/ (addon pour firefox pour faire des screencast de navigateur)

> http://www.microsoft.com/downloads/en/details.aspx?FamilyID=75402be0-c603-4998-a79c-becdd197aa79 (10 minutes de film)

36


Techniques disponibles– Logiciels de capture d’écran (vidéo/Copie d’écran)

» Payant> Viewletcam : http://www.formastore.com/-ViewletCam-

> http://www.hyperionics.com/hsdx/downloads.asp

> http://www.techsmith.com/products/snagit/default.asp

– Eyes-tracking » Vidéo 1 – 2 – 3 - 4

» www.seeingmachines.com

– Laboratoire d’utilisabilité» http://cleeo.com/etic/methodologies2.php

37

Laboratoire d’utilisabilitéLaboratoire d’utilisabilité

38

Annexe : Heuristiques de NielsenAnnexe : Heuristiques de Nielsen

1.Visibilité de l'état du système : Prévoir du feedback à l'utilisateurLe système doit toujours tenir informé l'utilisateur de ce qui se passe, avec un retour d'information suffisamment rapide

2.Lien entre le système et le monde réel : Parler le langage de l'utilisateurLe système doit parler le même langage que l'utilisateur, il faut éviter tout terme, concept et logique d'utilisation orientés concepteur

3.Contrôle et liberté de l'utilisateur : Prévoir des sorties du système clairement indiquéLes utilisateurs choisissent souvent des fonctions ou des destinations par erreur, il faut leur permettre de sortir ou de revenir en arrière sans qu'ils aient à quitter complètement le système

4.Homogénéité et standards : S'assurer d'être cohérentLes utilisateurs ont besoin de se familiariser avec des signes homogènes qu'ils retrouvent dans tout le système, l'utilisateur ne doit pas se poser de question sur la proximité de sens de 2 mots, ou actions => il faut appliquer la règle pour l'ensemble du système

5.Prévenir l'erreur :Il faut éviter que l'utilisateur ne se trompe et lui apporter toutes les informations nécessaires pour qu'il trouve immédiatement la bonne solution

– Principes Heuristiques de Nielsen (1994) (Cf. polycopié)

39


6. Reconnaître plutôt que se rappeler : minimiser la charge mentale de l'utilisateurL'utilisateur doit avoir à portée de regard tout ce dont il a besoin pour se déplacer et comprendre où il se trouve, il ne doit pas avoir à réfléchir pour se souvenir comment faire telle action ou aller à tel endroit

7. Flexibilité et efficacité d'utilisation : Autoriser les abréviations et les modes expertsPermettre à l'utilisateur averti d'aller plus vite, sans pour autant gêner l'utilisateur novice par des informations superflues

8. Esthétique et design minimal :Eviter de mettre des éléments de contenu non indispensables, éviter le superflu qui vient "charger" la lecture et la compréhension de l'utilisateur

9. Aider l'utilisateur à reconnaître, diagnostiquer et comprendre ses erreurs : Prévoir des messages d'erreur clairs, informatifs L'utilisateur doit pouvoir comprendre clairement quel problème il a rencontré, et comment y remédier

10. Aide et documentation : : Utiliser un langage simple et naturelDans le cas où l'utilisateur le souhaite, il doit pouvoir accéder à une aide en ligne, facile d'accès et orientée sur ses tâches…

– Heuristiques de Nielsen (Suite)

1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies...

Documents

Transcript of 1 Marc-Eric BOBILLIER CHAUMON Université Lyon 2 - Institut de Psychologie Usages des technologies...