Présentation du laboratoire

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système

Jean.Caelen@imag.frwww-clips.imag.fr

Directeur: Jean Caelen (DR CNRS)Directeur adjoint : Catherine Berrut (Prof. UJF)

Tutelles

UMR 5524

Thèmes de recherche

Interactions homme-machineInteractions humaines médiées par la machineTraitement des informations parole, images,

languesEnvironnements multimédia et hypermédia pour la formationEnvironnements perceptifsIndexation de documents multimédiaIngénierie de l’interaction et réalité augmentéeInteraction verbale et dialogue homme-machineInterfaces collaboratives et/ou multimodalesRecherche d’informations et/ou documentaireTraduction automatiqueTraitement de la langue, multilinguismeTraitement de la parole

Structure

Direction

Recherche• ARCADE• GEOD• GETA• IIHM• MRIM

Con

seil

de

lab o

Equ

ipe

de d

irec

tion

Soutien Technique• Réseau, Serveur• Projets

Soutien Administratif• Secrétariat• Gestion des RH• Gestion financière• Gestion des moyens• Communication

Valorisation• MultiCom

Effectif : 77 (permanents + thésards)UJF, CNRS, INPG, UPMF, US

Equipes de recherche

ARCADE (J.P. Peyrin, prof. UJF)Ateliers de Réalisation et de Conception d ’Applications Destinées à l ’Education

GEOD (J.F. Serignat, MCF INPG)Groupe d ’Etude sur l ’Oral et le Dialogue

GETA (C. Boitet, prof. UJF)Groupe d ’Etude sur la Traduction Automatique

IIHM (J. Coutaz, prof. UJF)Ingénierie de l ’Interaction Homme-Machine

MRIM (M.F. Bruandet, prof. UJF)Modélisation et Recherche d ’Informations Multimédia

Effectif au 1/1/2000

Effectif du laboratoire 72(a) C et EC en poste 29(b) ITA en poste 11(c) Thésards+Post-Doc+ATER 26(d) Contractuels 7

(e) DEA 12(f) Stagiaires 12(g) Invités + Associés 10Nombre de personnes physiques 110

CNRS UJF/ADR INPG UPMF US12 15 3 8 2

Valorisation

MultiCom : Plate-forme technologique et laboratoire d’utilisabilité pour la conception et l’évaluation des systèmes interactifs

Autres aspects de la valorisation

1998 : Création de la start-up NOVADIS (UJF + INRIA),1999 : Création d’une entité industrielle ARLYS (MENRT,

CARMI, Microsoft, Axe et Cible), service d ’exploitation de réseau pédagogique,

2000 : Le projet Spatio-Guide en pré-incubation (prix de l’ANVAR), partenaires MAGELLAN et ADB (PME grenobloises)

MultiCom

Une plate-forme technologique pour :• Etudier les usages et l’utilisabilité en situation de travail• Concevoir et évaluer les systèmesen,• Expérimentant des scénarios d’usage• Simulant des maquettes

Elle offre Un réseau de compétences multidisciplinaires (sociologie des

usages, ergonomie, ingénierie)Des outils et des méthodesUne veille technologique en CHMUne formation (séminaires, stages)

Contrats en coursA travers (ou liés à) MultiCom• 6 industriels (Schneider, France-Télécom, EDF), • 1 européen SIRLAN IST 5ème PCRD, 30 mois, • 1 Emergence SHIVA RRA 99 et Thématique 2000De recherche• 6 industriels (Thomson, France-Télécom, EDF, Alcatel) dans

RNRT, RNTL, CTI CNET, DGA ou directs• 2 internationaux C-STAR, UNL et 2 AUPELF• 5 européens NESPOLE (R&D), TACIT (TMR), TIPS (R&D),

ARIADNE (R&D), GLOSS (R&D)• 1 CNRS (Télécom)• 2 RRA Thématique et Emergence 99• 2 IMAG (C-STAR, RICOM) et 2 en instance (RESIDE-HIS,

EPIC)

Des projets d’équipes « contractualisés »Des projets inter-équipes « fédérateurs »Des projets IMAG « visibles »

Projets fédérateurs

C-STAR/NESPOLE! : Traduction de dialogues parlés dans le domaine touristique (GEOD, GETA) projet IMAG

RICOM : Recherche Interactive, Collaborative et Multimodale d ’informations (3 équipes GEOD, IIHM, MRIM), projet IMAG

Environnements perceptifs (télé-médecine, domotique…), projets IMAG (EPIC, RESIDE-HIS)

FORMID : FORMation Interactive à Distance (ARCADE, IIHM)… pas encore projet IMAG

C-STAR : Consortium for Speech Translation Advanced Research (Japan, Corea, USA, Germany, Italy, France)NESPOLE! (IST project) : NEgotiating through SPOken Language in E-commerce

Projet C-STARTraduction de dialogues parlésApplications au tourisme et au commerce électronique

Modules linguistiques : 2 chemins possibles

texte langue source

reconnaissance de la parole

Traduction

Synthèse de la parole

texte langue cible

site qui parlesite qui parle

site qui entendsite qui entend la traductionla traduction

texte IFtexte IF

Analyse vers IF

Génération

L’Interchange Format

• Représentation du sens indépendamment des langues

• Représentation fondée sur des– Actes de parole

• ce que l’on veut ou que l’on fait

– Concepts• à propos de quoi (focus informationnel)

– Arguments• valeurs des variables du discours

give-information

+availability+room

room-type=(single ; double)

L’IF : avantages

• N langues cibles possibles pour le coût d’une

• Exemple pour le français

• Possibilité de rétrogénérer en français pour le contrôle

IF

Analyse vers IF

Génération

Les composants : “reconnaissance”

• Reconnaissance multilocuteur – vocabulaire (centré sur le domaine) de 64k mots– parole continue spontanée

• Architecture client-serveur

• Module RAPHAEL construit sur la boîte à outils de JANUS III

en collaboration avec l’université de Karlsruhe et l’université Carnegie Mellon

“Français vers IF”

• Entrée : transcription orthographique de l’énoncé oral

• Analyse morphologique et lemmatisation des mots du texte

• Première consultation de dico. de transfert français vers IF

• Analyse syntaxique pour la reconnaissance de structures grammaticales sémantiquement pertinentes– Dates, quantités, numéros, prix

• Autres consultations de dico. de transfert français vers IF

• Génération syntaxique et morphologique de l’IF

• Sortie : texte en langue IF

Le 22 juillet 1999à Grenoble

RICOM : Recherche Interactive, Collaborative et Multimodale d’informations• HALPIN : Dialogue homme-machine en langage parlé• CoVitesse : Navigation coopérative dans une grande masse d’informations

J'ai trouvé 1206 documents ayant comme thème intelligence artificielle . Voulez-vous affiner votre requête ?

Qu'est ce que tu peux me proposer sur ... heu, l'intelligence artificielle ?

HALPIN : Dialogue en langage naturel pour la recherche d’informations sur le Web

Un profil utilisateur est identifié. L'usager dialogue avec le système HALPIN. Il énonce sa demande oralement et la machine lui répond sur le même mode. La réponse est coopérative : c'est ici une proposition d’affiner la requête pour restreindre le nombre de réponses.

Historique du dialogue

Boîte de dialogue de l’usager

Réponse écrite de la machine (avec hyperliens)

Zone de détails d’un document

Boutons pour les interactions vocales

Module de reconnaissance vocale pour IBM ViaVoice

COVITESSE

• Navigation collaborative synchrone sur le Web

• Définition des types de navigation synchrone à partir :

“Twidale, M., Nichols, D., Paice, C. Browsing is a collaborative process.”

• questionner un autre utilisateur,

• rechercher en groupe en partageant ses trouvailles,

• faire visiter, tel un guide dans un musée, un ensemble de pages à des groupes,

• être conscient de l’activité de groupe et agir dans ce sens.

Détection de conflit

Seuil haut

Seuil bas

Multidirectionnel

Monodirectinonnel

Grand

Minimum

Informel

Maximum

Formel Petit

Style

TailleFormalité de communication

Contrôle

Visite guidée

Navigation partagée

Navigations relâchée et planifiée

Protocoles des interactions humaines

Interface pour la navigation collaborative

RESIDE-HIS : Habitat Intelligent SantéCOMEDI : Communication Mediatisée Informelle

RESIDE-HIS

Dispositif de maintien au domicile

Intelligence locale / distante - Mémoire d’événements- Identification

Horodatation- Communication

Présentation des données

Réseau Téléphonique Public

Modem

HModem

Bus domotique

Capteurs de données physiologiques- fréquence cardiaque- tension artérielle- poids- pression intracrânienne- pression occulaire- …

Capteurs de sons, d'appels...

Plan de l'HISexpérimental

CoMedi : Espace de communication informelle

Observabilité publiée et filtrée, Réflexivité, Réciprocité

Awareness, Focus

Autorisations d’accès

Ctrl social dynamique

Exemples de filtres de publication

Poster

Stores vénitiens

EigenSpace

Filtre EigenSpace: Analyse en Composante Principale (J.Crowley)

Base des images publiables Eigen Space

Image source Image envoyée

FORMID : FORmation Interactive à DistanceTableau Magique : Espace de partage de travail

FORMID : FORmation Interactive à Distance vise à fournir un ensemble cohérent de solutions opérationnelles permettant à distance d’assurer la création, l’adaptation et l’exploitation effective de ressources pédagogiques de type « simulation »

FORMID

GeneSimuOasisTableau magique

Projets d’équipe

VITESSE : Présentation de grandes quantités d’informationTableau magique : Réalité augmentéeTIPS : Recherche d’informationsUNL : Traduction de textes écrits en 15 languesEMACOP et GERSONS : Corpus de paroleOASIS/GENESIMU : Générateur de simulations pédagogiques

VITESSE• Une interface

graphique aux moteurs de recherche du WWW

• La récolte de nombreuses informations jugées pertinentes

• La représentation multiple et de nombreux outils de navigation

Application : VITICOL

Navigation collaborative asynchrone

Pertinence sociale en plus de la pertinence "système"

Demande d’opinion à chaque information visitée

Visualisation des statistiques d’opinion dans une lentille magique

Tab

leau

mag

iqu

e

Projet TIPS(Tools for Innovative Publishing in Science)

Projet européen IST-1999-10419Février 2000-Juillet 2002

URL : http://www-clips.imag.fr/mrim/TIPS/

TIPS – CLIPS-IMAG – N. Denos

Objectif

Concevoir et développer un portail Site Web comme cadre intégrateur pour les

activités de : production d’articles publication de revues / relecture d’articles recherche d’information filtrage d’information

Outils innovants pour ces activités

Evaluer les outils sur site (utilisateurs réels)

L'objectif actuel du projet UNL est de monter un ensemble de centres dispersés dans le monde. Chaque centre sera en charge du développement et de la maintenance des outils permettant le traitement d'une langue au sein du système UNL. Chaque centre fournira un service de déconversion et d'enconversion gratuit à l'ensemble des internautes. D'autres outils pourront être développés par d'autres personnes ou entreprises en utilisant le langage UNL, selon les conditions définies par les partenaires et disponibles sur le site de l'IAS/UNU.

EMACOP

Une chaîne de traitement Corpus

Acquisition contrôlée

Recherche dans la BD

Ecoute

SGBD

GeneSimu est un générateur de simulations pour la maintenance et la réparation d'équipement. Cette restriction à ce domaine particulier autorise une simplification des concepts manipulés. Les concepteursde matériel sont eux même capable d'utiliser GeneSimu pour développer des simulations des leurs produits.

OASIS / GENESIMU

Plate-forme d’expérimentationdes systèmes interactifs

Plate-forme d’expérimentationdes systèmes interactifs

Analyse des besoins

Conception

Conception logicielle

Codage

Tests Unitaires

Tests d’intégration

Tests UtilisateursEvaluation

ergonomique

Développement

systématique

Observations

Propriétés

Analyse des tâches

Spécifications externes

Architecture PAC-Amodeus

Développement en V

Objectifs

Etudier les usages et l’utilisabilité en situation de travail

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmes

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usage

Objectifs

Etudier les usages et l’utilisabilité en situation de travailConcevoir et Evaluer les systèmesen,Expérimentant des scénarios d’usageSimulant des maquettes

Le cycle de conception en spirale

Un bon départ : enrichir l’idée

La force de la démarche réside dans le fait que tous les critères (a) d'usage, (b) d'utilisabilité, (c) économique,(d) technologique sont pris en compte, au plus tôt.

Idée

Fonctions

CC

Scénario

ObservationDiagnostic

Validation

Maquette

Evaluation

Le cycle commence...

Analyse de l ’usage

• génération du questionnaire

• enquête sur le terrain

• enregistrement du verbatim auprès d’informants

• interprétation et présentation des résultats

• recommandations pour le cahier des charges

Le cycle continue...

Simulation de l’usage et

Test prédictif de l’utilisabilité

• choix des fonctionnalités

• écriture des scénarios

• capture de comportements

• interprétation des données

• recommandations ergonomiques

par analyse de l’activité ou analyse des tâches

Le cycle s’achève...

Spécification du cahier des charges

Développement

Evaluation du système final

• validation des fonctionnalités

• tests de comportements

• inspection ergonomique

• mesures de qualité

La plate-forme

Client Magicien - Agent

Echange de- images- plans- textes

DAT

Vidéo-disque

1 Magicien "Gestion du dialogue" 1 Magicien "Annotation"

Station sujet

Dispositif d’observation

Stations compères : 1compère/tâche

Video de contrôle

Enregistrementsonore des sessions

Dispositifs d’interaction

Conclusion… CLIPS-IMAG est…

• Un laboratoire en CHM• Un laboratoire de l’IMAG• Organisé autour de projets de recherche• Ouvert sur la valorisation

BP 53 - 38041 Grenoble Cedex 9 - FranceFédération IMAG

Communication Langagière etInteraction Personne-Système