Modélisation d’événements composites répétitifs, propriétés et relations temporelles

Modélisation d’événements composites répétitifs, propriétés et relations temporelles

SOUTENANCE DE THÈSE13 DÉCEMBRE 2012

Cyril FAUCHERDIRECTEUR : Jean-Yves LAFAYE

ENCADRANT : Frédéric BERTRAND

Septembre 2009 – Décembre 2012

Travaux financés par l’Agence Nationale de la RechercheANR-Contint, projet RelaxMultiMedias 2

Université de La RochelleEcole Doctorale S2IMSpécialité Informatique et ApplicationsPRES Limousin Poitou-Charentes

L3i (Informatique, Image, Interaction)Université de La Rochelle – Francecontact : [email protected] http://l3i.univ-larochelle.fr/Faucher-Cyril.html

Cyril Faucher - soutenance de thèse, 13 décembre 2012L3i, Université de La Rochelle

Proposer un cadre conceptuel et des outils pour modéliser, structurer et manipuler la connaissance concernant des événements culturels, touristiques et sportifs gérés par des agences de presse

Dépêches en texte naturel annonçant des événements : sorties cinéma, théâtres, expositions, etc

2

2Contexte


Dépêches

3

ProblématiqueGénérale

MétamodèleIDM - DSL

Sources

Persistance

TAL

InteropérabilitéStandards/normes

EvénementUtilisateur

SaisieInterrogationVisualisation


Expression enIntension

Tous les jours de 10h à 12h sauf le dimanche …

Le 19ème jour du 11ème mois de la 12ème année du 21ème siècle …

Répétitif19/11/2012 10:00-12:0020/11/2012 10:00-12:0021/11/2012 10:00-12:0022/11/2012 10:00-12:0023/11/2012 10:00-12:0024/11/2012 10:00-12:0025/11/2012 10:00-12:00

Ponctuel19/11/2012 10:00-12:00

Expressions en intension / extension [Carnap 47]

4

StructurelTemporel

Evénement

Expression enExtension

Conserver la sémantique de

la répétition

ProblématiqueGénérale

StructurelTemporel


5

Problématique Evénements composites répétitifs

2011 sous-événements

du 12 au 16 juillet 2011 du 11 au 15 juillet 2012

structurel

temporeltous les ans

en juillet


Raisonnement / Interrogation L’utilisateur veut connaître : « Quels sont les musées ouverts le lundi ? »

L’événement a pour propriété temporelle

Relations topologiques/qualitatives entre événements répétitifs « débute avec » (begins with), « se déroule pendant » (during), « recouvre »

(overlaps)

Ouverture de 9h30 à 18h le mardi, le mercredi, le vendredi, le samedi et le

dimanche

Le musée est ouvert tous les jours de 9h à 18h, sauf le

mardi

6

Problématique Relations temporelles entre événements

ouvert le lundi

Le musée est ouvert tous les jours de 9h à 18h, sauf le

mardi

Ouverture de 9h30 à 18h le mardi, le mercredi, le vendredi, le samedi et le

dimanche

R

R


Modéliser des événements Structure composite, répétition, relations mutuelles

Assurer l’interopérabilité standards, différentes communautés

Validation structurelle et sémantique des événements

Proposer des concepts pour le raisonnement, l’interrogation

Visualiser des données issues des modèles

7

ProblématiqueSynthèse


8Plan

1. Modèles d’événements et de temps existants

2. Métamodèle PTOM (Periodic Temporal Occurrence Metamodel)

3. Relations qualitatives entre événements répétitifs : ALLEN*

4. Exploitation des modèles d’événements, applications

5. Conclusion et perspectives


Evénements et temps dans les Medias IPTC : EventsML G2 (aspect temporel fondé sur iCalendar)

Typologie des événements répétitifs [Terenziani 00, 02]

Périodique

Apériodique

pseudo périodique : « une fois par semaine »

intermittent : « régulièrement Tom va courir »

Intervalles non convexes

9

Modèles d’événements et de temps existants Etat de l’Art

1.

« tous les jours de 10h à 12h »

19/11/2012 de 10h à 12h

20/11/2012 de 10h à 12h

21/11/2012 de 10h à 12h

X occurrences


Langue naturelle Projet OGRE (2006) : itérant et modèle itératif

TAL : période d’accessibilité [Teissèdre et al. 10, Battistelli et al. 10] Système d’annotation Expression de la répétition Référence au calendrier

10


1.


11

Modélisation orientée objet Patrons de conception [Fowler 03]

Snapshot, Effectivity, Temporal Object

Profil UML temporel [Cabot et al. 03]

Profil UML d’événement [Olivé et al. 06]

Raisonnement et contraintes temporelles Logiques Temporelles

Lustre

Profil OMG UML MARTE (Systèmes TR/E)

Modélisation des connaissances : ontologie Event + OWL-Time [Pan et al. 05]

Event Model F


1.


Modèle / Langage Usage Evénement

compositeLien

« temporel »Périodicité (expression

en intension)

Position relative

entre instants

Relation qualitative

entre intervalles

OGRE TAL - Multiple Qualitatif et quantitatif Convexe

GLOCAL Médias - - Qualitatif Convexe

EventsML G2 Médias Unique - -

Event Model F Médias - Qualitatif Convexe

UML-MARTE TR/E - Multiple Qualitatif et

quantitatif -

iCalendar SI Unique - -

PTOM SI Multiple Qualitatif et quantitatif

(non) convexe

12

Modèles d’événements et de temps existants Synthèse des modèles existants

1.


13

Evénements composites et relations sémantiques

Evénements répétitifs

Plan

2. Métamodèle PTOM

1. Modèles d’événements et temporels existants

3. Relations qualitatives entre événements répétitifs : ALLEN*4. Exploitation des modèles d’événements, applications5. Conclusion et perspectives


14

Métamodèle

Ensemble de concepts pour modéliser un domaine

Langage Spécifique à un Domaine (DSL) Métamodèle spécifique à un domaine + une syntaxe concrète

Transformation de modèles

Métamodèle PTOMIngénierie Dirigée par les Modèles (IDM)2.

conforme à

Méta-métamodèle

Métamodèle B(cible)

Modèle B

Métamodèle A(source)

Modèle A

Programme de la transformation

Spécification de la transformation

InteropérabilitéStandards/normes


Métamodèle PTOMEvénements composites 15

2.


instance ofEvénement

instance of

instance of

Métamodèle PTOM16

2011 2012

est une occurrence de

« tous les ans en juillet »

juillet 2012juillet 2011

temporel

2.

Evénement / Occurrence


Métamodèle PTOMTemporel

ISO 19108 (Information géographique)

17

2.


Règle de périodicité

18

Instants périodiques 5 fois par jour tous les jours tous les 1ers jours tous les 3èmes mois

de chaque siècle Intervalles périodiques

du 1er jour de chaque mois au 5ème jour de chaque mois

du 1er jour de chaque mois au 5ème jour de chaque moisde juillet à août

+ exceptions

Métamodèle PTOMTemporel

2.


19

Instants périodiques tous les 1ers jours tous les 3èmes mois

de chaque siècle

Intervalles périodiques du 1er jour de chaque mois

au 5ème jour de chaque moisde juillet à août

Métamodèle PTOMRègle de périodicité (rangs)

2.


20

Texte contrôlé image des modèles de PTOM Proche du langage naturel Bidirectionnel

Validation syntaxique et structurelle

Validation sémantique des modèles par ajout de contraintes

Métamodèle PTOMSyntaxe concrète

2.

Grammaire (Xtext)


21

Réutilisation du métamodèle d’événements répétitifs pour définir : minute, heure, jour, etc

Métamodèle PTOMModèle de calendrier

2.

Modèle ducalendrier Grégorien

Encapsulation de la sémantique du calendrier Périodicité entre unités

Chaque élément du modèle de calendrier est un événement qui possède des propriétés temporelles périodiques


22

Relations d’ALLEN

Relations entre intervalles non convexes

Types de relations étendues : ALLEN*

Plan

3. Relations qualitatives entre événements répétitifs : ALLEN*

1. Modèles d’événements et temporels existants2. Métamodèle PTOM

4. Exploitation des modèles d’événements, applications5. Conclusion et perspectives


Problématique S’abstraire de la géométrie au profit de la topologie

Privilégier les relations qualitatives

Relations d’ALLEN Définition d’un ensemble de 13 relations de base

Sémantique forte (avant, après, recouvre)

Exhaustives, disjointes deux à deux

Engendrent une algèbre A de 213 relations complexes (par union des relations de base)

Opérations internes dans A : inversion, composition, intersection

Ensemble des relations de base : clos pour l’inversion, non clos pour la composition

Sémantique : les relations de A n’ont pas toutes de sens commun

23

Relations qualitatives entre événements répétitifsRelations d’ALLEN

3.


X overlaps Y => (0,2)

[x1 x2]

[y1 y2]1 32

X

Y0 4

24


3.

Codage synthétique et opérationnel [G. Ligozat 91]

Structure de treillis (limitée aux relations d’ALLEN) Ordre partiel entre les relations de base

00

01

02

03

04

12 22

2313

14 24 34 44

∏(2,2)

∏(1,2)

0 1 2 3 4

∏(1,1)

0 1 2

∏(2,1)00

01

02 12 22


25

Composition – Table de transitivité d’ALLEN - déterministe

Ex : d ; M

P


3.


26

Composition – Table de transitivité d’ALLEN - indéterministe

Ex : d ; o

m

o

b

d

p


3.


Généralisation aux intervalles non convexes [Ligozat]

Généralisation à ∏(p,q)

Conservation des propriétés

Adaptée aux événements périodiques (répétition d’intervalles convexes)

Base pour les problèmes de SAT

Exemples en ∏(6,8)

27

Relations qualitatives entre événements répétitifsExtension des relations d’ALLEN

3.

Code de la relation : (0,1,4,5,8,9)

YX

YX

Code de la relation : (0,1,3,4,12,14) « Garbage »

ALLEN*


28

Relations qualitatives entre événements répétitifsALLEN*

3.

YX X meets* Y

YX X Overlapped_by* Y

ALLEN* - types de relations qualitatives Contexte : langage naturel

Nombre important de relations possibles

Besoin de nommage

ALLEN donne une terminologie établie

Réutiliser le vocabulaire d’ALLEN

Etendre la sémantique d’ALLEN aux intervalles non convexes

Identifier des abstractions (types de relations)

Union des relations de base entre intervalles non convexes


Définition de meets* Contrainte selon le codage de Ligozat

Relation canonique : injection totale Elément minimal

Elément maximal

29


3.

YX

YX

YX

Max

Min

∏(4,6)


Non clos pour l’inversion et la composition Clos pour l’inversion pour p=q

Non disjoint deux à deux - Concomitance

Composition dans ALLEN* Définition Algorithme de calcul Nécessité de prendre en considération la concomitance

30


3.

YX

X meets* Y X met_by* Ysont conjointement satisfaites


Intégration dans PTOM

31

Relations qualitatives entre événementsALLEN*

3.

Modèle ducalendrier Grégorien


32

Des textes en langage naturel aux modèles PTOM

Interrogation

Visualisation

Plan


1. Modèles d’événements et temporels existants2. Métamodèle PTOM3. Relations qualitatives entre événements répétitifs : Allen*



33

PTOMRSSFnacL’Equipe

CorpusRelaxnewsOpen Data

ModseaEMF vers JSON

SQL

APMTAL

STNL StandardiCalendarEventsML G2

PTOM-S

APM vers PTOM

Appli. WebTKAM Editor

Appli. Simile ExhibitRelaxnewsAFP

Instanciation

InteropérabilitéTransformation

Interrogation

Visualisation



ContextePlate-forme RelaxMultiMedias 2 34

Expressions en langage

naturelAnnotation

TALModèle de

période d’accessibilité

Modèle d’événement

IDM IDMiCalendar

IDM

Agendas, interface de visualisation d’événements

Texte contrôléIDM

Chaîne de production d’événements

4.


Expérimentation

Jeu de données et résultatshttp://relaxmultimedia2.univ-lr.fr/ap2tom/benchmark.html

35

Annotation

TALModèle de

période d’accessibilité

Texte contrôlé

PTOM

IDM IDMiCalendar

IDM

Transformation de modèles

Validation de la connaissance

Expressions en langage

naturel

4. Exploitation des modèles d’événements, applications Plate-forme RelaxMultiMedias 2

513

expressions

http://relaxmultimedia2.univ-lr.fr/ap2tom/benchmark.html


36

Exploitation des modèles d’événements, applications Interrogation

4.

Rechercher des événements Grâce à des expressions temporelles en intension

Requêtes sur des expressions en extension vs en intension (SQL)

Extension vs intension (3,36x + rapide)

Validation de l’hypothèse de départ qui consiste à s’appuyer sur la forme intensionnelle

Quels sont les événements

ayant lieu de 10h à 19h du lundi au vendredi


37

Exploitation des modèles d’événements, applications Interrogation

4.

Quels sont les événements

ayant lieu de 10h à 19h du lundi au vendredi

« De 10h à 19h. »« 10h à 19h du lundi au samedi. »« De 10h à 19h le lundi et le mercredi. »

« 10h - 19h - JARDIN D’ACCLIMATATION, Paris 16ème. »

18424 expressions

1010 expressions

paramètres

résultats


38

Exploitation des modèles d’événements, applications Visualisation d’événements

4.

Visualiser des événements possédant des propriétés spatio-temporelles MODSEA (MOdel Driven Simile Exhibit Application)

http://relaxmultimedia2.univ-lr.fr/modsea/

http://relaxmultimedia2.univ-lr.fr/modsea/


39


4.

Visualiser des événements possédant des propriétés spatio-temporelles Approche IDM pour générer des applications web Séparation des préoccupations

Composants graphiques Données Disposition


40


4.

Visualiser des événements possédant des propriétés spatio-temporelles Approche IDM pour générer des applications web Séparation des préoccupations

Composants graphiques Données Disposition

Construction du métamodèle de composants graphiques Extraction des propriétés configurables d’une bibliothèque Composition des modèles après extraction


41Plan


1. Modèles d’événements et temporels existants2. Métamodèle PTOM3. Relations qualitatives entre événements répétitifs : Allen*4. Exploitation des modèles d’événements et applications


42Conclusion5.

Métamodèle pivot d’événements composites répétitifs (PTOM)

Approche objet [Geova(t)’10, CIEL’12]

Syntaxe textuelle (grammaire) [AFADL’10]

Intégration des normes (ISO 19108, EventsML G2) [TSI’12]

Passerelle entre communautés TAL <-> Objet [EKAW’10]

Appariement de concepts

Transformations de modèles

Topologie des relations entre événements répétitifs ALLEN* : sous-ensemble de relations exprimables en langage naturel

Définitions

Calcul de la composition


43Conclusion5.

Contribution à la validation sémantique d’expressions temporelles [IDM’11]

Modélisation PTOM et ALLEN* du calendrier

Exploitation des modèles d’événements et applications Interopérabilité PTOM <-> Standards (iCalendar) [TSI’12]

Visualisation d’événements spatio-temporels (MODSEA) [IDM’10, TSI’12]

Interrogation (PTOM-S)

Validation sur des exemples réels et académiques RelaxMultiMedias 2 : plate-forme de gestion de dépêches événementielles [TSI’12]

Réglementation d’activités humaines [JLBS’10]


44Perspectives

Raisonnement Traduction de PTOM vers des logiques de description et des langages de

règles

Interface avec des environnements dédiés (logiques temporelles, langages d’horloges et outils SAT)

Interrogation Réflexion approfondie sur la granularité

Proposition d’algorithmes spécifiques à PTOM et à l’expression intensionnelle

Passage à l’échelle (algorithme de raisonnement)

Elargir à d’autres communautés Géographie (GDR MAGIS), Droit, Business Process

5.


45Publications

Revues internationales et nationales JLBS 2010 Journal of Location Based Services

Faucher C., Tissot C., Lafaye J.Y., Bertrand F., Brosset D., Rouan M., Location- and temporal-based services for nature-society interaction regulation, Special Issue : GeoVA(t) - Geospatial visual analytics : focus on time -, Taylor & Francis

TSI 2012 Technique et Science Informatiques - RSTIFaucher C., Bertrand F., Lafaye J.Y., Teyssou D., Bully M., Une approche fondée sur l’IDM pour le développement d’un environnement de production journalistique, numéro spécial sur l’IDM « vers l’usage industriel », Hermès/Lavoisier

Conférences et workshops internationaux EKAW 2010 17th International Conference on Knowledge Engineering and Knowledge Management

Faucher C., Teissèdre C., Lafaye J.Y., Bertrand F., Temporal Knowledge Acquisition and Modeling Geova(-t) @ AGILE 2010 Geospatial Visual Analytics : Focus on Time

Faucher C., Tissot C., Lafaye J.Y., Bertrand F., Benefits of a periodic temporal model for the simulation of human activities

Conférences nationales Inforsid 2012 (article collectif)

Interopérabilité des Systèmes d’Information : approches dirigées par les modèles, section sur l’interopérabilité des données IDM 2011

Faucher C., Chea S., Bertrand F., Lafaye J.-Y., Validation sémantique d’objets à l’aide d’un modèle de référence et de contraintes AFADL 2010 10es Journées sur les Approches Formelles dans l’Assistance au Développement de Logiciels

Faucher C., Lafaye J.Y., Bertrand F., Teissèdre C., Modélisation et reformulation d’expressions temporelles extraites de textes en langage naturel

Ateliers avec comité de programme CIEL 2012 1ère Conférence en IngénieriE du Logiciel

Faucher C., Lafaye J.-Y., Bertrand F., Modelling composite periodic Events IDM 2010 (atelier IHM)

Faucher C., Bertrand F., Lafaye J.-Y., Génération d’un métamodèle de composants graphiques à partir de la spécification d’une bibliothèque de composants Web

Articles en cours Chapitre de livre RIG 2012 (dans le cadre de MAGIS) Revue ISI (extension d’Inforsid 2012)

Modélisation d’événements composites répétitifs, propriétés et relations temporelles

SOUTENANCE DE THÈSE13 DÉCEMBRE 2012

Cyril FAUCHERDIRECTEUR : Jean-Yves LAFAYE

ENCADRANT : Frédéric BERTRAND

Septembre 2009 – Décembre 2012

Travaux financés par l’Agence Nationale de la RechercheANR-Contint, projet RelaxMultiMedias 2

Université de La RochelleEcole Doctorale S2IMSpécialité Informatique et ApplicationsPRES Limousin Poitou-Charentes

L3i (Informatique, Image, Interaction)Université de La Rochelle – Francecontact : [email protected] http://l3i.univ-larochelle.fr/Faucher-Cyril.html


47

EXTRAS


48

Modélisation d’événements


2011 sous-événements qui sont des

concerts

sous-événement périodique

(tous les jours à)


Les propriétés temporelles, i.e. : période d’accès et périodicité d’un événement

Archivée

2011

En cours

2012

ALERTES futures occurrences

2013 2014

Constitution d’agenda pour les journalistes Ces occurrences

ne sont pas dans le SGBD

Abstraction en ajoutant une propriété temporelle sur l’événement

ModélisationInterrogation

07/2011, 07/2012, 07/2013, 07/2014

Tous les ans en juillet

Expression en intension vs en extension


iCalendar

Modèle / Langage

Relation de

parenté

Relation entre

événementsRelation

d’occurrencePériodicité (expression

en intension)

Relation entre

instants

Relation qualitative

entre intervalles

iCalendar - Unique - -

PTOM Multiple Qualitatif et quantitatif

Convexe (non-)

Exception périodique (depuis la dernière version)

Multi-règles de périodicité

Position relative


“”

Source : extrait de l'article « La Rochelle : les Francofolies dévoilent leurs têtes d'affiche 2011 » du journal Sud Ouest du 31 janvier 2011http://www.sudouest.fr/2011/01/31/les-francofolies-devoilent-leurs-tetes-d-affiche-305209-722.php

du 12 au 16 juillet 2011 du 11 au 15 juillet 2012

structurelle

temporelletous les ans

en juillet

http://www.sudouest.fr/2011/01/31/les-francofolies-devoilent-leurs-tetes-d-affiche-305209-722.php




55


56


57


58

Contraintes


59


60

Modélisation du calendrier


Exemples des années bissextiles position relative entre des intervalles récurrents => relation entre des intervalles non-convexes


63

Treillis ALLEN*


Treillis des éléments extrêmes

p < q p = q

pq

interleaves*


65

EXEMPLE DE CALCUL DE Composition

Algorithme de calcul


Composition : principe de l’algorithme de calcul Ex. : b ; O avec p=2, q=3 et r=4

ZY Y Overlapped_by* ZYX X begins* Y

Recherche des concomitants

Composition des éléments (table de transitivité d’Allen)

Ajout des concomitants des relations obtenues

Suppression des relations interdites permanentes et contextuelles

Résultat final : RES = {m,o,O,d,D,f,F}


Composition – Algorithme de calcul b ; O avec p=2, q=3 et r=4

ZY Y Overlapped_by* Z

YX X begins* Y


Variables d’entrée : b ; O avec p=2, q=3 et r=4 Recherche des concomitants :

(p,q) : concomitants possibles avec T1 et T2 {b}

(q,r) : concomitants possibles avec T1 {m,o,O}


Variables d’entrée : b ; O avec p=2, q=3 et r=4 Recherche des concomitants :

(p,q) : concomitants possibles avec T1 et T2 {b}

(q,r) : concomitants possibles avec T1 {m,o,O}

Composition des éléments (table de transitivité d’Allen) b ; m -> p b ; o -> p, m, o b ; O -> d, f, O {p, m, o, O, d, f}


Ajout des concomitants des relations obtenues m -> m, B, D, M, O o -> o, B, D, M, O d -> d f -> f O -> m,D,o,O,F

Après complément RES = {m,B,o,O,d,D,f,F}

Suppression des relations interdites permanentes Suppression des relations interdites contextuelles (p+q<r)


Interdits permanents dans la composition R*1 ; R*

2 (quelque soit p, q et r)

Interdits contextuels dans la composition R*1 ; R*

2 (p + q < r)


Ajout des concomitants des relations obtenues m -> m, B, D, M, O o -> o, B, D, M, O d -> d f -> f O -> m,D,o,O,F

Après complément RES = {m,B,o,O,d,D,f,F}

Suppression des relations interdites permanentes RES = {m,B,o,O,d,D,f,F}

Suppression des relations interdites contextuelles (p+q<r) Résultat final : RES = {m,o,O,d,D,f,F}


73

Filtres


74

Filtres Retirer les éléments convexes n’étant pas impliqués pas dans la relation canonique Eléments non appariés Le filtre est paramétré par un type de relation

Un filtre favorise le passage d’une injection à une bijection Améliore la stabilité

Projecteurs Accès à des éléments

pq xpq x

Filtre sur meets*

Filtre sur meets*

Modélisation d’événements composites répétitifs, propriétés et relations temporelles

Documents

Transcript of Modélisation d’événements composites répétitifs, propriétés et relations temporelles