1 Évaluation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr...

download 1 Évaluation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Méthodes impliquant les utilisateurs Cours 5 (partie 2)

of 64

  • date post

    04-Apr-2015
  • Category

    Documents

  • view

    102
  • download

    0

Embed Size (px)

Transcript of 1 Évaluation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr...

  • Page 1
  • 1 valuation des logiciels interactifs (2) M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr Mthodes impliquant les utilisateurs Cours 5 (partie 2)
  • Page 2
  • 2 valuation Cours 5.1 : valuation sans utilisateurs valuer ? Mthodes dinspection Cours 5.2 : valuation avec utilisateurs Tests avec utilisateurs Les mthodes Recueil de donnes Quelles mthodes choisir ?
  • Page 3
  • 3 (Rappel) cours 5.1 : Mthodes dvaluation sans utilisateurs Indispensables en cours de conception valuer les maquettes et prototypes Rapides, pas chres et efficaces Fondes sur des scnarios ou sur des heuristiques Permettent dliminer les erreurs de conception de type amateur Mthodes dvaluation avec utilisateurs Indispensables pour les problmes lis au domaine, lactivit, aux usages
  • Page 4
  • 4 Mthodes dvaluation Retenir Tests dutilisabilit (Usability Testing) Des utilisateurs accomplissent une tche Mthodes dinspection Des gens expriment une opinion
  • Page 5
  • 5 Tests dutilisabilit Quest-ce que cest ? Exprimentations pour obtenir des informations sur un problme de conception Quand en faire ? Tout au long du cycle de conception En savoir plus ? En ligne sur le site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe A, B A la bibliothque A. Boucher 2009, chapitres 9 et 11 E. Brangier et al. 2003, chapitre 5
  • Page 6
  • Comment ? A lorigine mthodes de psychologie exprimentale protocoles et des analyses statistiques rigoureuses Maintenant techniques plus lgres pas de certitudes scientifiques informations qualitatives ou quantitatives indispensables la conception Principe simple : Trouver des utilisateurs tudier comment ils utilisent le produit et recueillir des donnes Analyser les donnes et en dgager des dcisions 6
  • Page 7
  • 7 Les diffrentes mthodes Exprimentations contrles Quasi-exprience tude de cas tudes de terrain (ergonomiques, ethnographiques) valuation cooprative (Giboin)
  • Page 8
  • 8 Expriences contrles Discipline : psychologie exprimentale/mdecine But tester une hypothse ou tudier des corrlations produire une connaissance scientifique tapes 1.Spcifier l'hypothse : qu'est-ce qu'on tudie ? 2.Spcifier les variables indpendantes : qu'est-ce qui varie ? 3.Oprationnaliser le comportement comment tudier ces variations ? 4.Spcifier les variables dpendantes qu'est-ce qu'on mesure ? 5.Spcifier les procdures rpartition des groupes, rle de l'exprimentateur etc. 6.Identifier les tests statistiques appropris y a-t-il une diffrence ?
  • Page 9
  • 9 Exemple (1/2) Ref. M. Btrancourt, Effet de trois modalits d'intgration texte figure dans les systmes multi-mdia, IHM'94, Lille, France, 8-9 Dcembre 1994, p. 219-224 Spcifier l'hypothse format de prsentation influence l'apprentissage Spcifier les variables indpendantes trois formats de prsentation du matriel d'apprentissage texte et figure spars prsentation intgre (texte et figure cte cte) texte en escamot (pop-up), bulles d'informations Oprationnaliser le comportement tche de mmorisation et tche de rsolution de problme
  • Page 10
  • 10 Exemple (2/2) Spcifier les variables dpendantes temps d'apprentissage et mmorisation (nombre de termes correctement replacs sur le graphique) Spcifier les procdures (rsum) Test individuel pour 24 tudiants rpartis alatoirement en 3 groupes consigne : tudier le graphique et le commentaire; tche : on prsente le graphique et il faut donner le commentaire) Identifier les tests statistiques appropris la diffrence entre le groupe escamot et le groupe conventionnel est significative (f = 2, 94 et p =.028)
  • Page 11 30) utiliser des statistiques appropries et dterminer le degr de confiance p Problmes de validit/ rplicabilit et en dehors du laboratoire ? utilisateurs reprsentatifs ? cobayes professionnels ? contexte social est-il indiffrent ? tches typiques ? environnement matriel indiffrent ?">
  • 11 Quelques problmes Mthodologie comparaison entre groupe exprimental et groupe tmoin exposer les sujets toutes les valeurs de la variable indpendante Problmes de fiabilit contrle de l'affectation alatoire dans les groupes, des conditions d'exprimentation reproductibilit de l'exprience, diffrences individuelles ? utiliser un nombre "raisonnable" de sujets (N>30) utiliser des statistiques appropries et dterminer le degr de confiance p Problmes de validit/ rplicabilit et en dehors du laboratoire ? utilisateurs reprsentatifs ? cobayes professionnels ? contexte social est-il indiffrent ? tches typiques ? environnement matriel indiffrent ?
  • Page 12
  • 12 Expriences contrles Manipuler : variables indpendantes Observer les effets : les variables dpendantes Tirer des conclusions partir de tests statistiques significatifs Ralises en labo permettent un plus grand contrle des variables ne peuvent pas tre gnralises des situations relles Utilises par des spcialistes (psychologues, ergonomes) explorer une nouvelle technique d'interaction choisir entre des alternatives de conception valuation d'un systme comparer deux systmes comparer des techniques d'valuation ! Laboratoire dutilisabilit lourds portables
  • Page 13
  • 13 Quasi-expriences But : Cf. exprimentation contrle mais en situation relle Problme : on ne contrle pas tous les facteurs Solution : Rendre explicites les menaces d'invalidit, identifier les sources potentielles dinterprtation errone Trianguler, trianguler, trianguler : faire varier le dispositif exprimental les mthodes -expriences -tudes de cas -interviews recouper les informations
  • Page 14
  • 14 tudes de cas pas du tout tude statistique comprhension profonde d'un sujet, dune activit difficile mener gnralement un exprimentateur pose des questions enregistrement vido plusieurs personnes tudient et discutent l'enregistrement aide mettre des hypothses expliciter des modles comprendre des difficults, des fonctionnements, une situation reprer des rgularits, des invariants
  • Page 15
  • 15 tudes de terrain Les observations de terrain anticiper les besoins sassurer de lutilisabilit dun produit Pour un prototype assez avanc le tester dans lenvironnement de travail habituel des utilisateurs Mises en uvre par des professionnels ergonomes, ethnologues
  • Page 16
  • 16 valuation cooprative (Giboin) Mthode conue par des ergonomes pour tre mise en uvre par des non ergonomes (informaticiens) Objectif : dtecter des problmes potentiels pour amliorer la conception informer la conception tapes 1.Recruter des utilisateurs 2.Prparer lvaluation 3.Raliser lvaluation : interagir avec les utilisateurs 4.Analyser les rsultats de lvaluation 5.Tirer les consquences de lvaluation 6.Rdiger le compte rendu de lvaluation
  • Page 17
  • 17 Recruter des utilisateurs Dimensions des utilisateurs Statut, niveau dexprience, prfrence Typologie des utilisateurs Occasionnel, intensif, rpt Nombre dutilisateurs Entre 1 et 5 chaque itration Recrutement Annonces, financement, autorisations
  • Page 18
  • 18 Prparer lvaluation Dfinir les tches : 1.Reprsentatives des tches relles 2.Permettre une exploration minutieuse de linterface Rdiger une feuille de tches effectuer par lutilisateur Donne lutilisateur au dbut de la sance Tches prcises Contre Ex : Faites ce que vous faites normalement Ex : Inscrivez-vous en ligne au Master Tches ralisables avec le prototype Prparer une grille dobservation avec les points que vous voulez observer
  • Page 19
  • Exemples/contre-exemple de tches Armoire pharmacie lectronique Exemple : Vous revenez de chez le pharmacien avec les mdicaments de lordonnance de votre bb de 6 mois et du renouvellement de vos mdicaments contre la tension et le cholestrol Voici les deux ordonnances et le sac de mdicaments. Rentrez ces mdicaments dans la pharmacie lectronique Contre-exemple : Cliquez sur saisir les donnes ; choisir le nom du mdicament dans la liste droulante 19
  • Page 20
  • 20 Conseils : listes des tches noncer clairement les tches De prfrence dans un scnario Apporter des accessoires de la vie courante valuer le temps ncessaire Dcider d'un temps maximum pour chaque tche Prparer des questions Distinguer dcouverte et utilisation courante Double examen des tches importantes Tester la prise en main puis tester une nouvelle fois en fin de sance Livrable 3.1 madresser la feuille de tches que vous envisagez de communiquer aux utilisateurs
  • Page 21
  • 21 Vrifier 1.Les tches choisies sont-elles ralisables l'aide du prototype ? 2.Les tches amnent-elles l'utilisateur se centrer sur les parties de l'interface qui intressent ? 3.Combien de temps est allou pour chaque utilisateur ? 4. combien estimez-vous le temps ncessaire chaque utilisateur pour raliser les tches ? 5.Le temps imparti dpasse-t-il d'au moins 50 % le temps ncessaire pour raliser les tches ? 6.L'nonc des tches est-il suffisamment clair pour un utilisateur qui dcouvre ? 7.Lnonc est-il trop directif ?
  • Page 22
  • 22 Avant lvaluation Vrifiez que tout est en place Le prototype est-il prt ? Avez-vous test vous-mme la feuille de tches pour la vrifier ? Lenvironnement est-il tranquille ? Le matriel est-il prt pour enregistrer ce que dit lutilisateur ? Ce quil fait ? Vrifiez le fonctionnement Chronomtre ? Une feuille prformate est-elle prte pour prendre des notes ? Liste des questions poser ? Phrase pour accueillir lutilisateur ?
  • Page 23
  • 23 Droulement (1/2) Introduction (5 min)