1 Modèles et outils logiciels pour lannotation sémantique de documents pédagogiques Dominique...

1

Modèles et outils logiciels pour l’annotation sémantique dedocuments pédagogiques

Dominique MilleLaboratoire CLIPSEquipe ARCADEGRENOBLE

Jury Cyrille DESMOULINS Florence MICHAU Jean-Pierre PEYRIN Philippe TRIGANO Maïa WENTLAND

2

Dominique Mille 26 Octobre 2005

Utilité des annotations

• Usage fréquent sur papier [Marshall 97]

• Annotation permet de – S’approprier et personnaliser un document [Robert 01]

• Activité de la lecture active

– Soulager la mémoire humaine [Wolfe 00]• Objet de la mémoire externe

• Annotation utile pour [O’Hara 97]– Comprendre le document lors de la lecture– Retrouver des informations– Retrouver une démarche de compréhension

Annotation électronique ?

Contexte Formalisation Développement Expérimentation Spécification Conclusion

3


Annotation électronique

Faiblement utilisée

• Inconfort de lecture [Marshall 01]– Manque de mobilité– Manque de confort d’affichage

• Inconfort d’annotation [O’Hara 97]– Impossibilité de reporter les habitudes papier– Contrainte de la souris et du clavier– Manque de variété dans les formes

Mais volonté de conservation électronique [Marshall 01]


4


Solutions aux inconforts

• Qualité d’affichage [Gibbs 00]– Réduction des problèmes de lisibilité avancées technologiques– Taille d’écran confortable

• Mobilité : deux aspects [Schilit 99]– Transport de la machine : bus, salle d’attente, parc, etc.– Position libre pour la lecture : assis, allongé, debout, etc.

• Contrainte de la souris et du clavier [Schilit 99]– Machine avec stylet report des habitudes papier possible

Rejet – Ordinateur de bureau trop encombrant– Ordinateur portable interaction pas avec stylet– PDA écran trop petit


5


Solutions imparfaites

• Confort papier inatteignable

• Recommandation [Marchall 99]– Conserver les habitudes papiers– Compenser l’inconfort par des avantages informatiques

• Déterminer quels sont ces avantages– Étude de l’annotation : ambiguïté du terme– Objet

• De la mémoire externe• Quelles sont ses caractéristiques ?

– Activité• De la lecture active• Quels en sont les besoins ?


6


Sémantique

• Annotation = forme + ancre– Mais pas que cela : auteur, date, etc.– Mais aussi sémantique

• Perte de la sémantique– Ex : surlignages bleus et jaunes– L’auteur sait– Autrui ne sait pas– L’auteur ne saura plus

• Sémantique implicite– L’expliciter pour la conserver Avantage informatique


7


Objectif

• Objectif– Proposer des formalismes et des outils efficaces pour

l’annotation électronique de ressources pédagogiques par des apprenants

Efficacité = l’apprenant atteint entièrement son but (annoter son document avec toute l’expressivité désirée), dans de bonnes conditions (avec le moins de contraintes, avec le plus de confort)

• Permettre une annotation électronique– Conservant les habitudes papier– Offrant des avantages électroniques– Explicitant et conservant la sémantique


Outil de transition

8


Contributions

• Formalisation de l’annotation

• Développement d’un premier annoteur

• Expérimentation de l’annoteur

• Spécification d’un annoteur final


9


Définition

• Annotation Trace de l’activité du lecteurperceptible sur un document en tant que marqueplacée dans un but spécifiqueet en un lieu spécifique dont elle ne peut être dissociée

• Cette définition– Permet de déterminer si un objet est une annotation ou pas– Rejette

• Notes sur pages volantes, synthèses de documents : non placées « en un lieu spécifique dont elles ne peuvent être dissociées »

• Annotations objectives visant une indexation : non « perceptibles sur un document »

• Gribouillages en marge : non placés « dans un but spécifique »– Ne liste pas toutes les caractéristiques des annotations


10


Représentation formelle

• Complète– Couvrant toutes les annotations productibles– Contenant tout ce qui constitue une annotation– Non limitée aux apprenants

• Confrontation avec – Les représentations existantes– Les descriptions existantes– Les usages observés

• Computable et adaptable

Représentation structurée de l’annotation à base d’attributs hiérarchisés


11


Objet d’annotation

Attributs fixes– Attributs physiques

– Attributs

circonstanciels

– Attributs

sémantiques

Attributs évolutifs– De transmission

– Personnels

• Evènement

• Point de vue annotateur

• Valeurs non modifiables

• Evolution

• Point de vue possesseur

• Valeurs modifiées à chaque transmission

Caractéristiques visibles

Circonstances spatiales et temporelles

Sens de l’annotation

Caractéristiques de don et de réception

Apport du nouveau possesseur


12


Attributs fixes

Attributs fixes physiques

• Ancre physique emplacement de l’annotation– URL du document– Emplacement de l’annotation

dans le document

• Forme visuelle aspect de l’annotation

• Ancre syntaxique passage annoté– Spatiale– Structurelle– Sémantique

Attributs fixes circonstanciels

• Auteur

• Date

• Lieu

• Situation de réutilisation

• Situation d’enseignement discipline, niveau, formation, etc.

Décomposition structurelle et sémantique du document


13


Attributs fixes

Attributs fixes sémantiques

• Contenu libre contenu textuel de l’annotation

• Destinataire(s)

• Objectif(s) raisons pour lesquelles l’annotation est créée– Objectif(s) de lecture active– Objectif(s) de mémorisation

• Importance

• Confiance

• Effet Ex : provoquer une sonnerie modifié par le système

Permettent unehiérarchisation

• Justifie la présence de l’annotation fortement chargé de sémantique

• Annotation : activité de lecture active et objet de mémoire externe deux niveaux d’objectifs

• But de la mémorisation du marquage

• Objectif de mémorisation : objectif de l’objectif de lecture active Exemple : « donner un titre » pour « mémoriser des repères dans le document »

• But du marquage sur le document


14


Attributs évolutifs

Attributs évolutifs

• De transmission– Donneur– Possesseur– Droits

• Personnels– Importance – Confiance

• Modifiés automatiquement lors d’une transmission

• Détermine à qui le nouveau possesseur peut donner l’annotation

• Le nouveau possesseur peut donner des droits plus faibles ou égaux à ceux reçus

• Du nouveau possesseur

• Permettent au nouveau possesseur de s’exprimer par rapport à l’annotation

• Permettent au nouveau possesseur de s’approprier l’annotation


15


Valeurs des attributs

• Valuation par le lecteur

• Valuation par saisie libre– Lent lors de la création– Problème de synonymie– Pas de généralisation des valeurs

• Valuation par sélection dans une arborescence– Plus rapide– Homogénéisation du vocabulaire employé– Généralisation possible

Prédéfinir les domaines de valeurs des attributs


16


Formes d’annotation

▬ Ajout▬ De texte▬ D’un dessin explicatif▬ D’une marque

▬ Unaire▬ Binaire

▬ Mise en évidence▬ En surlignant ▬ En soulignant ▬ En entourant ▬ En barrant▬ En changeant la couleur

• Formes visuelles– Aucun objectif contenu– Uniquement l’aspect visuel– Parfois objectif implicitement contenu

• Ajout d’une marque binaire a pour objectif Créer une relation entre deux passages

• Mise en évidence– Modification de l’apparence d’une

information afin qu’elle soit plus facilement visible

– Aucun objectif contenu • Un trait en marge n’est pas une forme de

Mise en évidence

• Rejet des signets et des liens hypertextes


17


Objectifs de lecture active

Premier niveau d’objectifs

▬ Restructurer

▬ Ajouter une remarque personnelle

▬ Catégoriser

▬ Planifier une action

▬ Créer une relation entre deux passages

▬ Soutenir l’attention

• Dépendance forte au domaine d’étude pour les niveaux les plus fins

• Arborescence des objectifs de lecture active génériques : non spécifiques à une communauté

• Classification exhaustive : couvre tous les objectifs et classifications des auteurs

• Soutenir l’attention : n’appartient pas à la mémorisation


18



Détail « Catégoriser »

▬ Restructurer


▬ Catégoriser



▬ Objectivement ▬ Par type prédéfini

▬ Par similarité de forme▬ Subjectivement ▬ Par valeur d'importance

▬ Par similarité de sens


• Catégorisation des objectifs

– Organisation de la forme• Restructurer• Planifier

– Organisation du sens• Catégoriser• Planifier• Créer une relation

– Interprétation• Ajouter une remarque• Planifier

19



Détail « Planifier une action »

▬ Restructurer


▬ Catégoriser



▬ Approfondir▬ Réviser ▬ Supprimer ▬ Insérer ▬ Reformuler ▬ Déplacer


• Catégorisation des objectifs

– Organisation de la forme• Restructurer• Planifier (Réviser)

– Organisation du sens• Catégoriser• Planifier (Réviser)• Créer une relation

– Interprétation• Ajouter une remarque• Planifier

20


Objectifs de mémorisation

• But d’une annotation dans le cadre d’un apprentissage– Retrouver une information contenue dans le document – Faciliter et réutiliser le travail de compréhension

• Annotations de révision – Non produites par les apprenants– But : corriger le document

• Trois valeurs pour l’objectif de mémorisation– Comprendre

• Mémoriser la démarche de compréhension effectuée

– Retrouver• Mémoriser des repères dans le document

– Corriger• Mémoriser des modifications à réaliser


21


Valuation des attributs

• Valuation facultative– Valuation impossible

l’effet n’a de valeur que si l’objectif est de planifier une tâche– Ne pas contraindre le lecteur la valuation rebute [Denoue 00]

• Valuation multiple– Ex : surligner un terme à la fois parce qu’il est important et parce qu’il se

rapporte à la notion de cellule– Valuation multiple : objectif, destinataire et effet– Valuation unique (ex : auteur et lieu)

• Restreindre la valuation par le lecteur– Récupération des valeurs par le système– Dépendances entre attributs– Patrons individuels personnalisables


22


Valuation par le système

• Ancre physique, ancre syntaxique, date facile et courant

• Auteur, donneur et possesseur si reconnaissance du lecteur par le système

• Situation d’enseignement si informations sur le document

• Lieu si capture par le système (GPS)

• Effet lorsqu’il a eu lieu


23


Dépendances entre attributs

• Valuer un attribut– Value automatiquement d’autres attributs– Restreint les choix de valeurs d’autres attributs Définir ces dépendances

• Ontologies des valeurs– Domaine de valeurs des attributs– Relations entre ces valeurs

• Relations établies– Formes – ancres syntaxiques spatiales– Formes – ancres physiques– Objectifs de lecture active – ancres syntaxiques spatiales– Objectifs de lecture active – formes– Objectifs de lecture active – objectifs de mémorisation


24


Objectifs – ancres spatiales

• Objectifs de restructuration – Annoter tout ou partie du document– Cas particulier de la hiérarchisation

• Relative à d’autres passages• Ne peut donc pas concerner le document entier

• Objectifs de catégorisation et de mise en relation– Typer et mettre en relation des passages du document Pas le document entier


25


Objectifs – formes

• Intérêt Restreindre les objectifs disponibles après sélection d’une forme

• Les formes d’ajout de texte supportent tous les objectifs

• Aperçu des restrictions des objectifs– Ajout de dessin explicatif exclut la catégorisation, la mise en

relation et la planification– Ajout de marques binaires exclut la mise en relation– Mise en évidence exclut l’ajout de remarque personnelle, la

mise en relation, la planification et la reformulation– Mise en évidence en barrant permet uniquement la

catégorisation


26


Patrons personnalisables

• Légende des annotateurs– Couleurs et/ou forme ↔ sémantique (objectif)

• Patrons personnalisables– Pour lier automatiquement la forme d’une annotation aux valeurs de ses

attributs sémantiques

• Intérêts– Activité d’annotation électronique

• Très proche de l’activité d’annotation papier• Tout en conservant la sémantique

– Partage d’annotation• Adapter la forme aux patrons du receveur

• Etudes des pratiques annotatoires– Identification des patrons de base

• Patrons affinés par les annotateurs


27


Développement d’un annoteur

• Annoteur – Logiciel permettant l’annotation de documents numériques

• Version antérieure du formalisme• Implantée en vue

– De valider nos formalismes– D’observer les pratiques annotatoires

• Besoins– Machine adaptée– Logiciel de lecture


28


Choix matériel et logiciel

• Choix du matériel et du logiciel interdépendants

• Matériel : tablette PC– Equivalente à un véritable ordinateur de bureau – Norme Microsoft : fonctionnalités prévues au départ (orientation de

l’écran, stylet magnétique, …) – Windows XP

• Logiciel : Mobipocket Reader– Logiciel de lecture active (avec annotations) pour assistants

électroniques– Conversions oeb (norme xml), html, doc vers prc possibles– Développé en France facilite les échanges en vue de le compléter– Possibilité de surligner, souligner, barrer du texte, de différentes

couleurs– Confort de lecture et ergonomie


29


Spécifications de l'annoteur

• Faire un prototype– A partir du logiciel Mobipocket Reader (dll)– En supprimant leurs fonctionnalités d’annotation– En ajoutant nos propres fonctionnalités d’annotation

• Spécifications : mémorisation– Ouverture, fermeture de session– Création, modification, suppression d’annotations– Sémantique explicite des annotations– Utilisabilité similaire à un document papier

• Utilisation intuitive

• Pas d’enregistrement pour l’utilisateur


30


Réalisation de l'annoteur

• Microsoft Visual C++

• Représentation des données– Externe : Surlignage + fenêtre

d’attribut– Interne : fichier XML pour les

annotations et les ontologies

• Difficultés : pas le code source– Formes– Navigation– Aspect

• Première version non optimale


31


Contexte d’expérimentation

• Appel ENT “Ecrit, nouvelles technologies, communication et cognition”, ACI Cognitique & Programme CNRS Société de l’Information– Modélisation d’activités d’annotation sur des e-books pour la

formalisation de patrons d’annotation informatiques

– Cyrille Desmoulins et Michel Dubois

• Partenariats– Equipe pédagogique de Chimie en DEUG, Isabelle Girault

(LIDSET)

– Laboratoire de Psychologie Sociale, Michel Dubois


32


Protocole

• Population – Etudiants de première année de chimie et de psychologie

• Volontaires et annotant habituellement leurs documents– Ecologique : TP de Chimie (20 sujets)– Laboratoire : texte de psychologie (20 sujets)

• Déroulement– Utilisation du dispositif pour préparer le TP et pendant la séance pour le

réaliser– Utilisation du dispositif pour lire et annoter un texte de psychologie,

selon des consignes données par les expérimentateurs– 8 annotateurs en parallèle (8 ordinateurs tablettes)

• Expérimentation papier 2003– Idem 2004 mais sur papier


33


Objectifs

• Observations– Comment et pourquoi les étudiants annotent-ils?– Quelles sont les pratiques individuelles/communes?– Quels sont les liens entre formes et objectifs ?

• Afin de– Valider notre représentation formelle– Etablir des liens entre forme et objectif– Proposer des patrons personnalisables – Pour les psychologues : comparer l’annotation papier et

l’annotation électronique


34


Résultats : formes et couleurs

• Formes employées– Grande variabilité interindividuelle

• Couleurs employées– Couleurs les plus fréquentes : jaune et vert– Utilisation de une à six couleurs – Plus nombreuses avec annoteur

• Probablement parce que l’annoteur ne propose que le surlignage

• Couleur principale– Si plusieurs couleurs, alors toujours une couleur privilégiée– Varie d’un étudiant à l’autre, souvent jaune, jamais bleu

Grande variabilité interindividuelle– Nécessité d’une interface personnalisable– Accès rapide aux formes et couleurs– Sans être encombré par des formes et des couleurs superflues


35


Résultats : pratiques régulières

• Spécificité du contenu annoté– Très différent entre chimie et psychologie – Lié à la discipline et au type du document Dépend de la situation d’enseignement et de la situation de

réutilisation

• Pratiques individuelles et communautaires – Au sein de chaque discipline

• Pratiques communes et divergences entre étudiants– Régularités individuelles : forme/objectif et forme

contenu/annoté

Régularités utilisables– Pour simplifier la tâche de valuation du lecteur – Par des patrons personnalisables


36


Résultats : utilités des annotations

• Création d’un nouveau document– Prédominance du surlignage pour tous les sujets

transformer le document pour qu’il réponde aux besoins de l’étudiant– Importance de l’objectif Synthétiser

ne voir que ce qui est utile Remémoration : visualisation du nouveau document construit Lecture active

• Soulager la mémoire humaine– Objectifs les plus fréquents

• Restructuration : retrouver plus facilement des informations• Interprétation : comprendre et retrouver une démarche de compréhension

– Les étudiants annotent pour • comprendre le document • mémoriser une démarche de compréhension • retrouver des informations mémoire externe


37


Résultats : manipulation du dispositif

• Motivation des étudiants– Tâche demandée non fictive utile pour leur formation – Étudiants de Chimie motivés par la machine– Étudiants de Psychologie motivés par un bonus sur leur moyenne

• Fenêtre d’attributs– Valeurs des objectifs peu comprises par les étudiants– Surcharge, mais acceptation de valuer les attributs

• 70% des objectifs valués en chimie, 46% en psychologie – Écart lié à différence de tâche entre les étudiants

• Réutilisation en Chimie lors du TP

• Problèmes avec la machine– Peu de difficultés dans la manipulation– Un seul dysfonctionnement de l’ordinateur lors des prêts validation de nos choix matériel et logiciel


38


Pertinences des données

• Limitation de formes avec annoteur– Utilisation massive des formes de mises en évidence sur papier

• Augmente la pertinence des résultats avec annoteur

• Étudiants peu contraints par la limitation

– Contenu libre proche d’une note• Étudiants peu affectés par la restriction des formes

– Expérimentation avec annoteur valide• Annotation proche des possibilités papier

• Étudiants – Réellement impliqués car réalisant une tâche utile pour leur

formation


39


Annoteur final

• Outil de transition

• Fonctionnalités nécessaires– Activités de mémorisation

• Création, suppression, modification d’annotation• Visualisation dans le document

– Activités de remémoration• Recherche d’annotation• Visualisation séparément du document

– Activités de partage• Don et réception d’annotations

• Annoteur doit concilier– La conservation des habitudes papier métaphore du papier– L’explicitation de la sémantique des annotations


40


Sémantisation

• Valuation des attributs– Automatiquement par le système– Manuelle avec restriction des valeurs– Automatiquement par report de valeurs– Automatiquement avec les patrons

• Connexion– Nom d’utilisateur et mot de passe– Situation d’enseignement

• Accès à quatre espaces après connexion– Bibliothèque– Mémorisation– Remémoration– Partage


41


Mémorisation

• Visualisation d’annotation– Forme : type + couleur– Fenêtre d’attributs

• Création de patrons– Fenêtre d’attributs– Spécificité d’une situation

d’enseignement

• Création d’annotation– Procédure outil/objet– Trousse + plan de travail– Application puis ouverture de

la fenêtre d’attribut– Application d’un patron

• Modification d’annotation– Uniquement pendant la

session de création– Sélection puis modification

dans la fenêtre d’attributs– Vérification de la compatibilité

des valeurs

• Suppression annotation– Uniquement pendant la

session de création– Gomme

• Annulation des actions


42


Remémoration

• Trois sous-espaces– Recherche– Tri– Visualisation

• Recherche = filtre– Sélection des critères via une

arborescence– Valeurs multiples (ET)– Exclusion (non)– Modification et réinitialisation

des critères

• Tri– Définition de relation d’ordre– Utilisation de plusieurs attributs– Modification et réinitialisation

des critères

• Visualisation– Table : une ligne = une

annotation– Ouverture de l’annotation

• Fenêtre d’attributs

– Affichage en contexte• Ouverture du document source


43


Partage

• Don– Tout ou partie des annotations

– Choix d’un document

– Sélection des annotations• Liste avec outil de tri

– Définition des droits • Par défaut : droits les plus élevés

• Réception– Mise à jour des attributs évolutifs

• Possesseur : par le système• Valeur et confiance : par le nouveau possesseur

– Annotation du document par le nouveau possesseur


44


Synthèse

• Objectif – Proposer des formalismes et des outils efficaces pour l’annotation électronique

de ressources pédagogiques par des apprenants

• Réponse – Outil de transition conciliant la métaphore du papier avec l’explicitation de la

sémantique

• Formalisation– Computable

• Représentation formelle d’attributs hiérarchisés• Ontologies (domaines de valeurs, relations)

– Complète• Explicitant toute la sémantique des annotations• Permettant de représenter toute leur variété

– Adaptable à toute communauté d’apprenants• Partie générique et partie spécifique à chaque communauté


45


Synthèse

• Implantation d’un annoteur– Proposant une annotation par surlignage, avec fenêtre

d’attributs– Installé sur des ordinateurs tablettes confort de lecture et

d’annotation

• Expérimentation écologique du dispositif avec des apprenants de chimie et de psychologie– Système individuel liant la forme de l’annotation et la valeur de

certains attributs (principalement l’ancre syntaxique et l’objectif) – Grande variabilité interindividuelle quant aux pratiques

annotatoires – Acceptation de l’annoteur, malgré la surcharge liée à la valuation

des attributs


46


Synthèse

• Spécification d’annoteur efficace

– Conservation des habitudes papier • Lecture et création• Métaphores du papier et de la trousse

– Avantages d’un traitement informatisé • Valuation, recherche et partage

– Mise en œuvre de la totalité de notre formalisation• Couvre toutes les activités d’annotation• Interdépendances et patrons pour alléger la tâche du lecteur

– Personnalisation du dispositif• Interface personnalisable (variabilité interindividuelle)• Patrons personnalisables (régularité individuelle)


47


Perspectives

• Implantation de la nouvelle version de l’annoteur– Logiciel libre – Standards en vigueur : annotations en RDF et ontologies en OWL – Validation par expérimentation grandeur nature

• Adaptation de l’annoteur à d’autres communautés– Étude didactique des disciplines (parties spécifiques)– Étude des besoins d’apprenants non étudiants

• Formalisation = indexation– Attributs = champs d’indexation– Annotation = objet physique indexé par des concepts– Confronter notre représentation aux modèles d’indexation

• Annotation = trace– Rétroaction pour les enseignants– Aide au suivi des étudiants


1 Modèles et outils logiciels pour lannotation sémantique de documents pédagogiques Dominique...

Documents

Transcript of 1 Modèles et outils logiciels pour lannotation sémantique de documents pédagogiques Dominique...