1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC [email protected]...

30
1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC [email protected] Méthodes d’Inspection (évaluation sans utilisateur) Cours 5 (partie 1) (Cf. cours 1 bis)

Transcript of 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC [email protected]...

Page 1: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

1

Évaluation des logiciels interactifs (1)

M2-IFL/DU-TICE, [email protected]

Méthodes d’Inspection(évaluation sans utilisateur)

Cours 5 (partie 1)(Cf. cours 1 bis)

Page 2: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

2

Plan du cours Cours 5 : Évaluation des logiciels interactifs (partie 1)

Évaluer ? Votre projet IHM

• Évaluation heuristique (septembre)• Mise en place d’une revue de conception

(aujourd’hui)• Évaluation coopérative (27 janv.)

Méthodes d’inspection ?• Revue de conception• Évaluation heuristiques

Cours 5 : évaluation des logiciels interactifs (partie 2) Méthodes des tests utilisateurs Quelles méthodes choisir ?

Page 3: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

3

(Rappel) Cours 1 : Facteurs de succès

Cycle de conceptionConception centrée usager L’analyse des tâches et les analyses en

contexte de travail usuel Le prototypage rapide

L’évaluation constanteConception itérative La qualité de la programmation

Page 4: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Évaluation et conception itérative

(cours de James Landay)

Page 5: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

5

Évaluer ? Qu'est-ce que l'évaluation ?

Définition :• évaluer = juger• Objectivité ??? Référence ?

Plusieurs approches : Critères raisonnés, modéles Quand ? Pourquoi ?

Moments d'évaluation Objectifs

Quoi ? Variables cibles

Comment ? À quel coût ? Méthodes, techniques Temps, argent

Page 6: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

6

Projet1 : Évaluer la concurrence Quand ?

Moments d'évaluation : en amont (sept. Cours 2) Pourquoi ?

Objectifs : lister les bonnes et mauvaises pratiques Quoi ?

Variables cibles : rapidité de prise en main, temps de saisie des informations, résumé des saisies

Comment ? Inspection heuristique (critères, scénarios) Évaluation coopérative

À quel coût ? Rapide : quelques heures Bon marché

Page 7: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

7

Projet2 : Évaluer un scénario de conception

Quand ? Moments d'évaluation : en cours de conception

(aujourd’hui) Pourquoi ?

Objectifs : détecter des problèmes d’utilisabilité Quoi ?

Un scénario de conception, logique de travail Comment ?

Revue de conception (Design Walkthrough) Évaluation par des pairs

À quel coût ? Rapide : une heure Bon marché

Page 8: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

8

Projet3 : Évaluer un prototype Quand ?

Moments d'évaluation : fin d’une itération (Fin Janvier)

Pourquoi ? Objectifs : tester l’utilisabilité

Quoi ? Variables cibles : temps de prise en main, nombre

de tâches complétées/abandonnées, nombre d’erreurs/hésitation, satisfaction

Comment ? Évaluation coopérative

À quel coût ? Rapide : quelques heures Assez bon marché

Page 9: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

9

Évaluation : Définitions processus pour étudier les rapports entre la

conception et l'utilisation a priori, formative (conception)

pour identifier ou prévoir les besoins, les scénarios d’utilisation et les difficultés potentielles ou réelles des utilisateurs

pour donner et évaluer des idées a posteriori, sommative (usage)

pour caractériser les points forts et les points faibles d'un système interactif

pour préparer les évolutions pour produire des connaissances

Page 10: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Moments & Objectifs d'évaluation

en cours de conception analyse de besoins, compréhension des situations, étude de

l’existant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité

en cours de réalisation détection et correction de défauts, contrôle qualité, test de

performance avant diffusion

tests de déverminage, d'acceptabilité, vérification des performances

intégration dans l’activité en cours de diffusion

satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit

avant d'acheter comparaison de logiciels : technique/utilisabilité

Page 11: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Évaluer quoi ?

Les dimensions d'évaluation dépendent des objectifs et du contexte

utilité la fiabilité, la qualité technique les temps de réponse

utilisabilité la facilité d'apprentissage, la flexibilité, la

robustesse l’utilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de l’assistance la logique du travail les opinions ou les attitudes

Page 12: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Évaluer comment ? Sans utilisateurs : approche analytique

a priori, ne nécessitant pas un système fondée sur des modèles

• implicites (méthodes d’inspection)• explicites (formels, approches automatiques)

Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès

d'utilisateurs (en situation réelle ou en laboratoire)•Méthode d'évaluation coopérative (cours 5.2)• Tests d'utilisabilité, expérimentation contrôlée (N.

Mandrian, W. Mackay)

Page 13: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

13

Évaluer à quel prix ? Temps, argent, compétences

Méthodes « low cost »• Culture de l’évaluation chez les informaticiens• Détection des gros problèmes, pas les

problèmes subtils• Informelles, qualitatives, évaluation formative

Méthodes scientifiques et rigoureuses• Gros projets, projets à risques, recherche• Informations fiables, quantitatives

Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

Page 14: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

14

Plan

Rappels Évaluer ? Méthodes d’inspection Tests utilisateurs (cours 5.2) Choisir une méthode (cours 5.2)

Page 15: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Approches analytiquesl'évaluation de l'IHM se fait a priori par comparaison avec un

"modèle de référence" modèle qui n'est pas souvent formalisé ni explicité

on distingue des approches informelles

Méthodes d’inspection (cours 1)• Méthodes « low cost »

des approches formelles (ou semi-formelles) (non étudiées ici) modèles prédictifs

• analyse de tâches (KLM et GOMS)• modèle linguistique (ALG et CLG)• modèle de complexité cognitive (Kieras et Polson)

modèles de qualité de l'interface• approche cognitive• recherche des qualités optimales

Page 16: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

16

Les méthodes d’inspection Inventaire

Les jugements d’experts Les grilles d’évaluation Les revues de conception (design walkthrough)

S’appuient sur Des scénarios Des heuristiques, des recommandations ou des

critères Avantages

Pas cher et rapides (de l’ordre d’une journée) Faciles à utiliser (détecter les erreurs flagrantes en 2

à 4 h) Inconvénients

Ne permettent pas de détecter des erreurs subtiles (liées à l'analyse du travail, au contexte)

Page 17: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Jugements d'experts

Diagnostic a priori ou a posteriori un ou des experts donnent leur avis sur l'interface (ou

le projet) sous la forme d'un rapport ou d'un formulaireFondements

Modèle de l'interface non formalisé (ni même explicité) Heuristiques, recommandations ou critères

ergonomiquesRésultats

Points positifs et négatifs et leur pondération Prévision de difficultés d’utilisation probables Informations sur les fonctionnements humains

insuffisamment pris en compte Propositions d’améliorations argumentées et pondérées

Page 18: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

18

Jugement d’experts

(Inspection heuristique) choisir au moins deux experts (domaine et utilisabilité) technique 1: fondée sur des scénarios

jouer un des scénarios technique 2 : fondée sur des critères ou des guides

étude systématique de tous les critères sur chaque écran

Procédure commune1. noter tous les problèmes rencontrés2. analyser les causes3. proposer des solutions4. rédiger un rapport

Page 19: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

19

Jugements d’experts Biais :

Experts : vue plus générale, sources potentielles de dysfonctionnement

Novices : difficultés matérielles et conceptuelles de bas niveau

Biais de focalisation• fonctionnement particulier ( e.g. d'utilisateurs

novices), sur les "marottes" de l'expert• domaine d'expertise (domaine, IHM, graphisme)

Intérêt Pas cher, rapide et efficace, peut intervenir très tôt

dans le cycle de conception Plusieurs experts

Page 20: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

20

Pourquoi plusieurs experts ? Un expert ne détecte pas tous les problèmes Les bons évaluateurs trouvent les problèmes faciles

et les problèmes difficiles

Page 21: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

21

Jugements d’experts [Nielsen 1993]

% Problèmes détectés

Nombre d ’évaluateurs

0

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

210

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

210

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

21

Page 22: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

22

ROI (Return on investment)problems found benefits / cost

[Canny 2004]

Page 23: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

23

Organiser des expertises

Conseils : Au moins trois experts :

• avis indépendants • puis coordonnés, voir contradictoires

Ergonomes qualifiés d’au moins trois ans d’expérience

Leur donner • une description de la population des futurs

utilisateurs• Scénarios, critères ou grille d’analyse

Attention Ne remplacent pas les utilisateurs

Page 24: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours

de conception objectif : identifier des problèmes (pas les résoudre) durée : limitée à 1 h (fatigue) 5 rôles :

Présentateur : déroule un scénario Scribe : note tous les commentaires Modérateur/ Gardien des standards :

• centre la discussion sur l'utilisation, sur le cahier des charges

• veille au respect de l'horaire Observateurs :

• prennent le rôle de l'utilisateur, posent des questions,

• font des remarques ou critiques (constructives) sur l'utilisation

Page 25: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Grilles d'évaluation principes

Évaluation d'après une liste des propriétés d'une bonne interface

Notation systématique sur une échelle de valeur (3 à 7 points) problèmes

état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ?

interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses

notation• hétérogénéité de ce qui est noté : règle des 80/20 (ou

90/10) • ne permet pas

- de comprendre la nature du problème rencontré- de hiérarchiser les difficultés

Avantages : utile pour faire des comparaisons

Page 26: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

1. Structuration des activités et guidage2. Minimiser la charge de travail3. Contrôle entre les mains de l'utilisateur4. Adaptabilité5. Prévision et récupération des erreurs6. Compatibilité7. Signifiance des codes et dénomination8. Cohérence et homogénéité

À l’origine de la norme Z67-133-1, Décembre 1991, Evaluation des produits logiciels : Partie 1, Définition des critères ergonomiques de conception et d’évaluation des interfaces utilisateurs.http://www.ergolab.net/articles/les-criteres-ergonomiques-

partie1.html#4

Critères de l’INRIA (Bastien et Scapin)

Page 27: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

27

Utilisation des critères

Pour l’évaluation Évaluation heuristique

Pour la conception Inscrire les critères d’évaluation dans les dossiers

de conception Guide pour l’équipe de conception

Foultitude de critères normes et recommandations Parfois contradictoires Pour éveiller votre attention

Page 28: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

Conclusion sur les critères

En évaluation Art délicat de l’évaluation heuristique

• Évaluateurs moyens : subtiles Permet d’établir des rapports évaluation sur l’aspect

utilisabilité En conception :

Très utile de les avoir en tête lors de la conception Compromis entre différentes recommandations contradictoires

en fonction de la tâche, de l'activité ou du public cible Mais

• ne pas introduire de gadget ni multiplier les fonctions• étudier de nombreuses interfaces d'un regard critique et

piquer les bonnes idées• regarder de nombreux guides et critères (Cf. le web)

Page 29: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

29

Retenir

Les différentes méthodes d’évaluation sans utilisateurs Jugement d’experts Inspection heuristique (critères) Revue de conception (scénarios)

Au moins un jeu de critères ergonomiques Par exemple ceux de l’INRIA

Exercez-vous à étudier les interfaces que vous utilisez du point de vue utilisabilité et faites-vous des catalogues

Page 30: 1 Évaluation des logiciels interactifs (1) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes dInspection (évaluation sans utilisateur) Cours 5.

30

Take home messages (partie 1)

Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les

maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de

type « amateur » En projet

Évaluation heuristique (inspection avec un jeu de critères)

Revue de conception (scénarios)Méthodes d’évaluation avec utilisateurs Indispensables pour les problèmes liés au domaine, à

l’activité, aux usages