Les différentes méthodologies d’évaluation en IPM

Cours Ergonomie des Interactions Personne-Machine

17 novembre 2009

Mireille Bétrancourt - TECFA - FPSE

TECFATechnologies pour la

Formation et l’Apprentissage

Plan de la séance

• Présentation des groupes 14, 15, 16• Fin de la présentation de la semaine dernière• Présentation des différentes méthodes de

test de l’utilisabilité• Exercice test utilisateur

Comment évaluer l’utilisabilité ?

Méthodes d’évaluation du site de la FPSE ?

Prise en main vs. Utilisations régulièreTâches simulées vs. Réelles, en contexte

Différentes méthodes selon l’objectif

Enquêtes - Observation de terrain

Obtenir des informations sur ce que les utilisateurs pensent du système, en attendent, ou ce qu’ils en font réellement.

Objectif :

Caractéristique :

Porte sur l’usage et l’utilisation sur le terrain

Enquêtes - Observation de terrain

représentation

Ce que j’en sais ou crois que j’en sais

attitudes

Ce que j’en pense, ce que j’aime ou non…

pratiques effectives

Ce que je fais réellement avec le système…

Trois dimensions :

Enquêtes - Observation de terrain

représentation

attitudes

pratiques effectives

observation

entretiens

« traçage »

questionnaires

focus groups

Approches par inspection experte

Vérifier l’utilisabilité de l’interface à partir de connaissances expertes générales sur les recommandations ergonomiques

Objectif :

Caractéristique :

Doit être faite par des experts en ergonomie des IPM, mais ayant une connaissance du contexte

Approches par inspection experte

Facilité d’apprentissage

Efficience

Prévention des erreurs

Satisfaction

Par fonctionnalité

Evaluation selon grilles heuristiques*

Cognitive walkthrough

* Voir présentation des grilles au cours du 25 novembre

Approches par test utilisateurs

Vérifier que le système soit utilisable pour les utilisateurs (novices en général)

Objectif :

Caractéristique :

Doit être faite par des « vrais utilisateurs » à partir de scénarios d’usage réels

Approche par test utilisateurs

Verbalisation provoquée

Auto confrontation

Suivi ethnographique

Approche « clinique »

Test de reconnaissance

Test oculomoteur

…

Test de scénarios

Approche« expérimentale »

Test de scénarios (usability testing)

1. Construction de scénarios authentiques d’après analyse de l’activité et analyse du système

2. Recrutement des utilisateurs :

3. Passation du test utilisateurs

1. Expliquer

2. Faire passer les tâches

4. Catégorisation de problèmes, diagnostic et proposition de remédiations.

Voir exercice sur : http://tecfa.unige.ch/tecfa/teaching/LMRI41/projet_phase4.html

• Représentatifs du public-cible (si possible)– Prendre les vrais utilisateurs, « pas leurs représentants »

• Echantillon des types d’utilisateurs

• Contactés par un interne de l’entreprise qui explique les enjeux

• Combien de sujets– Dépend de l ’homogénéité de la population : 5 par type

de cibles

2. Recruter les sujets

• Le but n’est pas de vous évaluer• Il n’y a pas de bonne ou mauvaise réponse• Ce test va durer … minutes• Puis-je vous enregistrer...• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT… hmm… qu ’est-ce que vous êtes en train de faire ?• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT• PENSEZ TOUT HAUT

3. Tester 3.1. Expliquer

• Règles classiques de l ’entretien :– Ecouter > Parler– Poser des questions sur son activité – Poser des questions neutres– Fournir un feedback neutre – Respecter les silences, laisser un petit moment après chaque tâche– Rebondir sur les points intéressants, ne pas suivre rigidement un canevas

• Traiter l’utilisateur comme un expert dans son métier, pas comme un cobaye

• Ne pas se laisser placer dans un rôle d’expert par l’utilisateur• Arrêter le test en cas d’échec répétitif• Prévoir un entretien post-test

3. Tester 3.2. Ecouter

• Diagnostic des problèmes– Description, Citations– Catégorisation selon grille (cf. cours du 8 décembre)– Diagnostic– « Statistiques »

• Propositions de solutions– Argumentées– Bon marché / dispendieuses– Court / Long terme

• Critères d’évaluation– Utilisation : efficacité, efficience, apprentissage, satisfaction– Utilité– Usages

4. Résultats

Analyse de l’activité

Test utilisateurs

Analyse du système

Contenu, organisation, fonctionnalités, outils d’aidePb d’utilisabilité « supposés »

Scénario d’utilisation

Contexte global d’utilisation

Un ou plusieurs exemples

de tâches authentiques

Pb d’utilisabilité observés :Diagnostic, propositions de remédiation

1 entretien

5 utilisateurs / -trices d’un même public cible

Vous êtes ici