L’usage des modalités dans une L’usage des modalités dans une interface de téléphonieinterface de téléphonie

J. Caelen, J. Coutaz ; A. Bisseret J. Caelen, J. Coutaz ; A. Bisseret

Contrat CNET-CogniSciences (94-96)

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système

PlanPlan

Introduction Dispositif et conditions expérimentales

(Vidéo) Analyse des résultats

Analyse des tâches Analyse des actions

Conclusion

Déroulement des travaux Pré-expérience : tâche de dessin Développement de la plate-forme Supratel +

Neimo Expérimentation Magicien d’Oz

Méthode expérimentale Sujets : utilisateurs potentiels

Rôles : compères (pas d’initiative) / sujets (fait ou fait faire)

Vocabulaire : restreint, syntaxe libre

Les scénarios : tous les services

TravauxTravaux

Exemples de commandesExemples de commandes

commande orale : "ouvrir" (si un document est déjà sélectionné)

"ouvrir le document X"

commande gestuelle : clic souris sur le bouton concerné

commande mixte : 8 clic sur un document + "ouvrir"

"ouvrir" +8 clic sur un document + "ce document"

"ouvrir" +8 clic sur un document

Exemple de scénariosExemple de scénarios

Simulation d’une interruption

Tâche initialisée par le sujet SCÉNARIO 3téléphoner à Mme Camille MORIN pourdemander l'heure et le jour de laprochaine réunion

inciter visiophonie (ne possédez vous pas la visiophonieinciter miroir (êtes vous sur que vous êtes bien cadré,jevous vois mal )date par exemple : 20 décembre 10h30

Tâche initialisée par le sujet SCÉNARIO 4Le numéro de Mireille PARRAN achangé, effectuer les modifications dansle répertoire : 74-23-45-28Si un fax arrive, consultez le

Pendant la saisie, envoi d'unfax de Marie Lenoir 74-23-45-89

Exemple de réalisationExemple de réalisationRéalisation des tâchesRéalisation des tâches

sujet 08 supratelscénario 4 session 1

temps capture code remarques287 00:26:59288 00:27:02 click at the Loc

of bg button Pclic-répertoire-onglet P

289 00:27:06 repSelectionSujet 1

doubleclic-répertoire-correspondant 1

290 00:27:08 repEditerFiche clic-répertoire-boutonéditer

291 00:27:11/00:27:45

ficheTelVide saisie saisie pb saisie

292 00:27:23 AppelFax"lenoir" compère interruption sujet pas interrompu. Ne fait pas la relation entre les bruits et l'arrivée d'un fax. ça y est ils passent l'aspirateur maint'nant ?

293 00:27:46 repSujetAlt down parole 0.54s OK294 00:27:47/

00:27:54repSujetAlt up compère interprétation

Résultats globauxRésultats globauxRéalisation des tâchesRéalisation des tâches

habitude des interfaces graphiques parole + multimodalité < manuel

Pourcentage des différents types de tâches

manuel56%

multim29%

parole15%

166 tâches93 manuelles25 orales48 multimodales

Résultats globauxRésultats globauxRéalisation des tâchesRéalisation des tâches

Modalités / sessions utilisation identique

Modalités / tâches de complexité

tél : simplicité sémantique fax : plus complexe rép : difficulté graphique (avec assignation graphique pour la saisie)

Pourcentage d'utilisation des modalités en fonction des services

rép fax tél

parole

multimod

manuel

0

5

10

15

20

Stratégies des sujetsStratégies des sujets Réalisation des tâchesRéalisation des tâches

11 16

S15 S3

S4

S5,11

S6

S7S8S12

S13

S14

S16S17

S18

1

11 1

11

Dominantemanuel

66

Dominantemultimodal

Dominanteparole

Stratégie globale des sujets pour la totalité des tâches

Utilisation dominanted’une modalitéTrois types d'utilisateurs

Stratégies des sujetsStratégies des sujets Réalisation des tâchesRéalisation des tâches

[20-30] [30-40] [40-50]

parole

multimod

manuel

01020

30

40

50

60

70

Influence du facteur "habitude"

Utilisation des modalités en fonction de l'âge

pas de différence / sexepas de différence / professiondifférence / âge

Analyse des tâches multimodalesAnalyse des tâches multimodales Réalisation des tâchesRéalisation des tâches

Multimodalité induite vs spontanée 35 changements spontanés

12 changements induits

Multimodalité comme mode de récupération des erreurs

spont25%

s. chang66%

induit9%

Pourcentage des réalisations sans changementvs avec changement de modalité

Les propriétés T-Ccare Les propriétés T-Ccare Réalisation des tâchesRéalisation des tâches (8)(8)

Deux types de gestion de l'interruption mise en attente (alternance des tâches) réalisation de la touche courante, puis de la tâche

interrompante

Caractères interruptifs différents téléphone plus attractif que fax

tâches de laboratoire tâches réelles

ConclusionConclusion Réalisation des tâchesRéalisation des tâches

tâches multimodales : 29% ; tâches orales : 15% stabilité entre les sessions multimodalité et parole convenir à la complexité

sémantique, et habitudes de communication

Stratégie utilisateur comportement inter-sujet variable ; influence de l'âge

dans l'utilisation de la parole

Tâches multimodales utilisation spontanée des deux modalités alternance de modalité comme mode de récupération

des erreurs réalisations séquentielles ou alternées

Résultats globauxRésultats globaux Réalisation des énoncésRéalisation des énoncés

359 énoncés 260 manuels 66 oraux 33 multimodaux

parol18%

multi9%

man73%

Pourcentage des différents types d'énoncés

énoncé manuel dominant 22% de baisse d'énoncés manuels pour la seconde session => augmentation efficacité par apprentissage

FacteursFacteurs Réalisation des énoncésRéalisation des énoncés

Modalité manuelle Modalité oralehabitude grande nulle ou faible /

IHMfiabilité connue (feed-back

pas à pas)inconnue

réactivité immédiate délai / interprétationirréversibilitéde l'action

aisée jusqu'au "OK"final

non possible

autres apprentissage voc,inhibition

Les échecsLes échecs Réalisation des énoncésRéalisation des énoncés

59 échecs (16% des énoncés) Taux en manuel dû au comportement d'essai-erreur ?

parole15%

multim10% manuel

75%

répertoire fax téléphone0102030405060 multimod

parole

manuel

Proportion d'échecs par service

pourcentage d'échec par modalité

Les échecsLes échecs Réalisation des énoncésRéalisation des énoncés

Pour le Répertoire discontinuité visuelle différence de logique entre téléphone, fax et répertoire difficulté de modification de fiche

Pour le Fax pas de problème particulier avec modalité manuelle commandes incomplètes pour les énoncés oraux

Pour le Téléphone désactiver visiophone = désactiver téléphone conversation alternée activation du service (pour les deux modalités)

Les échecsLes échecs Réalisation des énoncésRéalisation des énoncés

Echecs non directement imputables à l'interface :

5% des énoncés oraux

parole multimodligne ouverte raccrocher 3 0

visiophone 1 0saisie 0 4touche dédiée 1 2comm incomp 3 1abandon 1 0

Propriétés CcarePropriétés Ccare Réalisation des énoncésRéalisation des énoncés

Conflit total / partiel

Redondance toujours partielle porte majoritairement sur l'action (20.5/23)

Deux types : activation redondance fortuite

Complémentarité peu utilisée (8 énoncés) difficile à utiliser dans cette maquette

compl2%

redond16%

conflit6%

parole76%

Pourcentage d'énoncés mono vs multimodaux

Autres caractéristiquesAutres caractéristiques Réalisation des énoncésRéalisation des énoncés

Geste précède toujours parole longueur moyenne énoncés oraux : 4.8 mots

énoncés multim : 4.2 + 1

Utilisation d’anaphore : 11%

Phrases essentiellement à l'infinitif (83.8%), utilisation des mots de liaison (98.2%)

Pauses et hésitations assez peu nombreuses (18.9%)

ConclusionConclusion Réalisation des énoncésRéalisation des énoncés

Enoncés à composante orale (27%) souris = dispositif connu, pas de nouvel

apprentissage énoncés oraux 2x plus nombreux que multimodaux,

peut être à cause de la simplicité sémantique Echecs : dus pour l'essentiel à la stratégie essai-

erreur utilisée par les sujets et aux contraintes sur l'utilisation de la parole (limitation du vocabulaire)

Enoncés multimodaux “fortuits” Utilisation de phrases impersonnelles.

ConclusionConclusion

Bilan scientifique Résultats fondamentaux sur l’usage de la

multimodalité dans une tâche réelle Evaluation ergonomique de l’interface Plate-forme et méthodologie réutilisables

Bilan organisationnel Déroulement du travail en concertation

étroite avec le CCETT (M. Naël, N. Portolan) Difficulté de mise en place du contrat et

délais importants de démarrage