Intégration fine de médias Intégration fine de médias dans les présentations dans les présentations

multimédiasmultimédias

Cécile RoisinCécile Roisin

Inria Rhône-Alpes et Université Inria Rhône-Alpes et Université Pierre Mendès-FrancePierre Mendès-France

Composition de documents Composition de documents multimédiasmultimédias

Médias

Texte

Documents multimédias

Modèle de composition (SMIL, MHEG, MPEG4…)

Les médias utilisés sont des Les médias utilisés sont des boîtes noiresboîtes noires avec lesquelles l’auteur réalise la compositionavec lesquelles l’auteur réalise la composition

Exemples d'applicationsExemples d'applications

• Documentation technique multimédiaDocumentation technique multimédia• Accès aux dossiers médicaux Accès aux dossiers médicaux

multimédiasmultimédias• Enseignement en ligneEnseignement en ligne• Sites web multimédiasSites web multimédias

… … applications dans lesquelles la applications dans lesquelles la synchronisationsynchronisation des médias est des médias est nécessairenécessaire

Outils actuels pour les Outils actuels pour les documents multimédiasdocuments multimédias

• Langages de descriptionLangages de description– ImpératifsImpératifs– déclaratifsdéclaratifs

• Environnements d'exécutionEnvironnements d'exécution– LocalLocal– Accès à distanceAccès à distance

• Outils d'éditionOutils d'édition– ProgrammationProgrammation– wysiwygwysiwyg

Besoins de composition fineBesoins de composition fine

• Les médias ne sont pas des boites noires:Les médias ne sont pas des boites noires:– Médias structurésMédias structurés– Médias enrichis par des annotationsMédias enrichis par des annotations

un média = {ensemble de un média = {ensemble de fragmentsfragments typés et typés et structurés} structurés}

• Les fragments de médias peuvent être Les fragments de médias peuvent être utilisés dans : utilisés dans : – Les relations temporellesLes relations temporelles– Les relations spatio-temporellesLes relations spatio-temporelles– Les actions : Les actions : hyperlienhyperlien, , suivisuivi, , masquagemasquage– Les animationsLes animations

Exemples d'applicationExemples d'application

• Synchronisation des plans d'un film Synchronisation des plans d'un film avec son scriptavec son script

• Synchronisation de fragments Synchronisation de fragments textuels avec des fragments sonores textuels avec des fragments sonores (karaoke)(karaoke)

• Synchronisation d'images avec des Synchronisation d'images avec des séquences vidéoséquences vidéo

• « Collage » de fragments de médias« Collage » de fragments de médias

Structure des applications Structure des applications de traitement multimédiade traitement multimédia

AnalyseAnalyse• régionrégion, , planplan• objetobjet, , scènescène

DescriptionDescription• MPEG-7MPEG-7• QBICQBIC, , AEDIAEDI

ApplicationsApplications• IndexationIndexation : : DiVANDiVAN• Composition/exécutionComposition/exécution : :

RealOne, IE6, RealOne, IE6, GRiNSGRiNS, , MadeusMadeus

Médias

Texte

APPLICATION & TRAITEMENT

ANALYSE DESCRIPTION

Description du contenu de Description du contenu de médiamédia

Composition d’un hyperlien sur un objet de la vidéo

<video content="MariageTien"> <area id="Objet" fragment="MariageTien#Mariée" href="/MaFamille.html" /></video>

Description du contenu de média<videoDescription id="MariageTien" src="/TienWedding.mpg"> … <Shot> <MovingRegion ID="Mariée">

<SpatioTemporalLocator … /> </MovingRegion> </Shot> …</videoDescription>

Composition fine de Composition fine de documents multimédiasdocuments multimédias

Médias

Texte

COMPOSITIONANALYSE DESCRIPTION

Modèle de média

Modèle de composition

Modèle de contenu pour la Modèle de contenu pour la vidéo vidéo

VideoSegment

VideoSegment

segment

segment MovingRegion

……

Content

StructuredVideo

……

Temporal

Spatial

Actor

[tracking; hyperlink]

intervalle

VideoSegment ……

Sous-Actor

sous-intervalle

Sous-region

BilanBilan

• Modèle de description du contenu des médiasModèle de description du contenu des médias– accès aisé aux fragments de médiaaccès aisé aux fragments de média– édition de la description du contenu de médiaédition de la description du contenu de média– Support de la description MPEG-7Support de la description MPEG-7

• Permettre d’exporter et réutiliser facilement les descriptionsPermettre d’exporter et réutiliser facilement les descriptions

• Modèle de composition de documents Modèle de composition de documents multimédiasmultimédias– synchronisations fines avec des fragments de médiasynchronisations fines avec des fragments de média– actions (actions (hyperlienhyperlien) sur des objets de média) sur des objets de média– animations abstraitesanimations abstraites

ConclusionConclusion

• De nouvelles perspectives:De nouvelles perspectives:– Automatisation de la génération des Automatisation de la génération des

présentations multimédiaprésentations multimédia– Support pour l'adaptation des présentations Support pour l'adaptation des présentations

à différents contextes (terminaux, débits, à différents contextes (terminaux, débits, …)…)

• Des compromis à trouver:Des compromis à trouver:– Solutions ouvertes / disponibilité des outilsSolutions ouvertes / disponibilité des outils– Simplicité / créativitéSimplicité / créativité