Navigation Interactivedans les documents

Proposée par Brigitte Grau (LIR)

et Jean-Paul Sansonnet (AMI)

2

Plan

Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan

3

ASP Navigation Interactive

Participants• Groupe AMI

• J-P Fournier, J-C. Martin, Guillaume Pitel, Jean-Paul Sansonnet, Bill Turner, Haïfa Zargayouna, Stéphanie Buisine

• Stagiaire : Assia Amara• Groupe LIR

• Brigitte Grau, Nicolas Hernandez, Martine Hurault-Plantet, Anne Vilnat• Stagiaire : Hawar Talabani

Problématique• Exploration guidée par la structure du contenu

Outils de structuration Outils de médiation

• Navigation intra et inter - document

4

Objectifs

Objectifs scientifiques• Structuration sémantique et fonctionnelle

• Analyse et évaluation des pratiques de navigation

• Assistance à la navigation

Objectif technique : • Intégration et développement d'outils informatiques

Objectif structurant entre LIR & AMI• Savoir-faires existants complémentaires

• Collaboration entre les approches et les outils

5

Applications envisagées

Intra-document• Navigation interactive dans un tutoriel (cas d'un document

actif)

• Fondé sur AMICAL : Navigation multimodale dans un cours de Java

Inter-document• Réponses à des questions de nature encyclopédique en

utilisant plusieurs documents

• Généralisation de QALC : extrait des réponses à partir d'un seul document

6

Programme de travail initial

Première année• Outils de structuration, de représentation et de médiation de documents• Etude des modes de parcours• Démonstration : Exemple de représentation médiatisé d'un document

Deuxième année• Architecture du système • étude des liens entre multimodalité de la communication et stratégies

pédagogiques• Assistance à la navigation intra-document • Modélisation de l’interaction• Démonstration : Navigation interactive dans un tutoriel

Troisième année• Outils d'interaction multi-documents• Environnement intégré du démonstrateur pour un fatras• Expérimentations et Evaluations.

7

Mode de fonctionnement

Construction d’un site

http://www.limsi.fr/Individu/jps/actions/aspnid/index.html

Réunions régulières

• > 15 réunions avec CR sur le site de l’intranet de l’ASP NID

Documentation mise sur l’intranet de l’ASP

• > 50 documents sur le site de l’intranet de l’ASP NID

8

Plan

Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan

9

Structuration

Document textuel

Structuration thématique

Segmentation thématique

Typage des relations et des

segments

XXX X XXXXXXXXXX XXXXXX XX XXXXX XXXX XXXXX XXXXXXXXX XX XXXX XXXXXXXXX X XXXXX XXXXXXXXX XXXXXXX XX XXXXXXX XXXXXX XXXXXX XXXXX XXXX XXXXX XXXXXX XXXX XXXXX XX XXXXXXXXX XXX XXXX XXX XXXXXXXX XX XXXXXX XXX XXX XXXX XXXXX XX XXXXX XXXXXX XXXXXXXXX XXXX XXXXXXX XXXXXXXXX XXXXXXXX XXXXXX XXX XXXX XXXX XXXXXXX XXXXXX XXX XX XX XXXX XXX XXXXXX XXXXX XXXXX XXXXXX XXXX XXX X XXXXXXXXXX XXXXXX XX XXXXX XXXX XXXXX XXXXXXXXX XX XXXXX XXXXXXXX X XXXXX XXXXXXXXX XXXXXXX XX XXXXXXX XXXXXX XXXXX X XXX XXXX XXXXXXX XXXXXX XXXX XXXXX XXX XXX XXXXX XXX XXXXXXX XXXXXXXX XXXXXX XX XXX XXX XXXX XXXXX XXXX XXXXXXXXX XXXXXXXXX X XX XXX XXXX XXXXXXXXX XXXX XXXX XXXXXX XXXX XXXXXXX XXXXXXX XXXXXXXXX XX XXX XXXXXX XXXXXXXXXXX XXXXXXXXXXX XXX XXXX X XXXXXXXXXX XXXXXX XX XXXXX XXXX XXXXX XXXXXXXXX XX XXXXXXX XXXXXX X XXXXX XXXXXXXXX XXXXXXX XX XXXXXXX XXXXXX XXX XXXX XXXXXXXX XXXXX XXX XXXXXXX XXXXX XXXXXXX XXXXxxxxxxxxx x x xx xxxxxxxxxxxxxxx xxxxxxxxxxxx xxxxxxxxx xxxxxx x x xxxxxxxxxxxxx x xxxxxxxxxxxx xxxxxxxx xxxxxxxx x xxxx

Structure thématique

• Repérer les unités discursives

• Établir des relations entre elles

• Décrire ces unités et ces relations

10

Format XML générique, multi-annotations et multi-directionnels

Optique fédératrice Exploite les technologies XML, XLink et

Xpointer Dissociation du texte annoté (avec entités de

base), de la description des objets, et des éléments liens entre ces objets

Représentation générique des objets (token, phrase, paragraphe, les segments thématiques, la structure thématique, etc.)

11

Plan

Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan

12

Multimodalité

Stage DUT en cours au LINC: • protocole d'enregistrement de vidéo de cours et

numérisation des vidéos • annotation XML avec Anvil, recherche de mots-clés

dans les vidéos annotées Annotation de la vidéo d'une présentation

collective de 2 étudiants avec Anvil (schéma de codage TYCOON)

Spécification XML du comportement multimodal d'un agent conversationnel (stage de DEA, projet NICE)

13

Modes de parcours

Etude des modes de parcours de navigation (Stage de DEA)• Les nouveaux rapports « maître-élève » à

distance

• Etude bibliographique des systèmes et des projets (NaVir, Hezinet,…)

• Les langages associés : EML (Educational Modelling Language) - XML pour les concepts éducatifs

14

Adaptation des outils : Prototype

Adaptation de la chaîne Q&A sur un cours Java• Cours choisi : cours html de Sun

• Récupération de questions dans les FAQ de Sun

• Intégration d’un moteur de recherche dans Q&A : • Choix du moteur : MG, moteur booléen

• Tests d’interrogation avec MG

• Démonstration

Installation sur le serveur de l’ASP « fluctuat »

15

Plan

Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan

16

Outil pour l’expérimentation

Côté sujet• Le cours en HTML (utilise composant IE)• Une interface de dialogue avec le tuteur (boîte texte

+ historique du dialogue)

Côté expérimentateur• Un navigateur pour chercher les pages dans le cours

• Visualisation des “déplacements” du sujet dans le cours

• Une interface de dialogue (boîte texte + historique)

17

Outil pour l’expérimentation : côté sujet

Interface de dialogue Le cours

18

Outil pour l’expérimentation :côté expérimentateur

Suivi navigation sujet etInterface dialogue

Le navigateur de l’expérimentateur

19

Expérimentations

Distribution consignes + 2 questionnaires Java 2*10 minutes,

• soit avec dialogue possible avec le tuteur (Le tuteur doit répondre aux questions ou diriger le sujet sur la page du cours demandée)

• soit sans dialogue avec le tuteur A la fin de la session, un questionnaire dit

subjectif est à remplir. On récupère le fichier « log » de la session

20

Mise en place collective d’un protocole expérimental

17 étudiants de l’IIE Magicien d’Oz

• Limsi : GP / JCM

• IIE : BG, NH Cours Java 3 dates de sessions

• 9 mars (5 sujets), 16 mars (4 sujets), 23 mars (8 sujets) 2 tâches

• Navigation seule

• Navigation et question

21

Enregistrement de la session

22

Fichiers de log

Questions posées par le sujet

Réponsedu Wizard

Action denavigation

23

Résultats

Données recueillies• Questionnaires subjectifs

• Questions

• Actions de navigation

Analyse informelle• Peu de questions bien formées (mots-clés)

• Des sujets retapent telles quelles les questions

24

Plan

Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan

25

26

27

Documentation en ligne > 5O items Expériences de fin mars 04 : les fichiers .log (G. Pitel) Accès au dossier (24 fichiers) Expériences du 23 janvier 2004 (JC Martin) Accès au dossier (8 fichiers) Questionnaire post-expérimental (Stéphanie Buisine) Protocole-v8.doc Questionnaire.doc Protocole du Magicien d'oz (Jean-Claude Martin) ProtocoleV4 (.doc) tuteur-log.xml reponses.txt consignes-sujet-v0.doc protocole-v7.doc Cours Java (J-P. Sansonnet) Les 109 pages HTML sur le cours Java de Jean-Claude Martin Les relations entre les paragraphes du cours Java. Information générale sur l'ASP (Brigitte Grau et Jean-Paul Sansonnet) Présentation en double page de l'ASP Navigation 2003 Présentation en double page de l'ASP Navigation 2002 (.doc) Document de demande de l'ASPNavigation (.doc) Présentation de l"ASP Navigation à Saint Malo en nov 2001 (.ppt) Présentation du système de Questions-Réponses Q&A. (.ppt) Présentation du système d'analyse thématique (.ppt) Présentation de l'ASP à un an (le 27 mai 2002) devant le LIMSI (ppt) Présentation du modèle VDL du projet InterViews (.ppt) Présentation du modèle de traitement de requêtes à base d'observateurs (.ppt) Analyse Sémantique de Requêtes en Langue Naturelle pour un Agent Assistant d’Interface (.ppt) Présentation de la théorie des observateurs (.ppt) Exposé sur le rôle de la référence dans le dialogue navigatif (.ppt) Présentation de Animal2 (.ppt) Navigation et outils éducatifs (.ppt) Relations maître- Elève (.ppt) Sujet de Stage de DEA de Sciences Cognitives 2002 de Assia AMARA (.doc) Un nouveau format d'annotation (.ppt) Un ensemble d'informations sur le modèle d'annotation de Nicolas Hernandez (page html de dispatch) Présentation du projet MICAME (.ppt) Nicolas Hernandez, Jean-Claude Martin, Guillaume Pitel : un exemple commun de document traité selon trois modèles de représentation différents Modèle à Objets de J-C. Martin (.doc) Modèle à Observateurs de G. Pitel Modèle XML de N. Hernandez (page html de dispatch) Présentation du modèle Entité-recette Rapport du stage de DEA de Sciences Cognitives de paris XI, sept 2002, "Etude de fonctions génériques de navigation dans les documents indexés". (sous presse) Rapport du stage LIMSI "Etude et implémentation d'un médiateur dialogique pour les Environnements Interactifs d'Apprentissage avec Ordinateur en ligne sur l'Internet", 5 juin 2002. Démonstration en ligne de la Navigation dans le cours Java.

28

Bilan et perspectives pour LIR

Corpus d’interactions• Etudier les modes de parcours, la production

des balises nécessaires

• Etude des modalités : • Clic sur des liens

• Questions

• Modéliser l’interaction• Variations inter-utilisateurs ou liées à la difficulté de

la tâche

29

Bilan et perspectives pour AMI

Agents Conversationnels

• Agents Animés• Cadre HUMAINE

• Cadre A©A

• Cadre PCD

• Modéliser l’interaction• Passer au multimodal

• Etudier les schémas argumentatifs