Projet Sample OrchestratorRéunion plénière, 10 octobre 2007

SP2 - Indexation audio et navigation par le contenuEquipe Perception et Design SonoresA. Minard, N. Misdariis, O. Houix, P. Susini

Bilan des travaux effectués SP2-4 Description des sons environnementaux

D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux

D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux

D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes

D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons

environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan des travaux effectués SP2-4 Description des sons environnementaux

D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux

D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux

D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes

D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons

environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan des travaux effectués SP2-4 Description des sons environnementaux

D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux

D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux

D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes

D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons

environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan des travaux effectués SP2-4 Description des sons environnementaux

D-SP2-4-1 Validation de descripteurs audio pour les sons environnementaux

D-SP2-4-2 descripteurs audio de type morphologique SP2-5 Classification des sons environnementaux

D-SP2-5-1 Définition d’un corpus représentatif et sélection des classes pertinentes

D-SP2-5-2 Organisation des classes pertinentes SP2-6 Caractérisation sémantique des sons

environnementaux D-SP2-6-1 Description sémantique des sons D-SP2-6-2 Description sémantique des classes

Bilan SP2-4 Méta-analyse du timbre des sons environnementaux:

comparaison de 4 études du timbre. habitacles automobiles: 16 + 14 sons unités de climatisation: 19 sons klaxons: 22 sons claquements de portières automobiles: 12 sons

=> Proposition d'une organisation des sons à 2 niveaux:

Discret: classes d’événement Continu: espace multidimensionnel de timbre pour chaque

classe.

Bilan SP2-4 Niveau discret: classes d’évènements

Sons d'impact: courtes impulsions ou séries d'impulsions Sons de moteur: mélange harmonique/bruit Sons pseudo-instrumentaux: production similaire à celle des

instruments de musique, une ou plusieurs notes.

=> Prédiction des classes par un modèle de régression sur deux descripteurs

=> Validation sur un corpus élargi de 183 sons: 5% d’erreurs en moyenne

Bilan SP2-4 Niveau continu: espace de timbre

Etablir l'espace de timbre correspondant à chaque classe d’évènements. Trouver des descripteurs communs aux sons d’une même

classe. Attribut commun à toutes les classes: la brillance. Attributs propres à chaque classe: attributs liés à une

spécificité acoustique des sons.• Sons d'impacts: la netteté.

• Sons de moteurs: l’émergence harmonique.

• Sons pseudo-instrumentaux: la rugosité et la richesse spectrale.

Délivrable D-SP2-4-1 Validation de descripteurs audio pour les

sons environnementaux Implémentation: Matlab Résultats:

• Prédiction de classes d’évènements sonores à 5% d’erreurs

• un espace de timbre pour chaque classe d’évènements

Bilan SP2-6 Description et organisation perceptive des sons:

Important: un son suivant sa description appartient à plusieurs types d’organisation

Description Organisation

Acoustique Timbre, morphologie

Espace multidimensionnel de timbre

Evènementielle Cause et matériau Structure hiérarchique (squelette)

Sémantique Objet, lieu, fonction…

Réseau sémantique (hiérarchie + lien transversaux)

Bilan SP2-6 Organisation acoustique

cf. SP2-4

Bilan SP2-6 Organisation évènementielle

(issu du projet CLOSED)

Bilan SP2-6 Organisation sémantique

Vise à refléter la mémoire sémantique: la connaissance que nous avons sur le monde

Basée sur le réseau sémantique Wordnet Principe: 1 concept est vu comme:

• 1 ensemble de synonymes et d'antonymes (relations lexicales)

• 1 ensemble d'hyponymes/hyperonymes et de méronymes/holonymes (relations sémantiques)

Délivrable D-SP2-6-1 Description sémantique des sons Implémentation: - Résultats:

• Formalisme d’organisation: 3 types de descriptions pertinentes => acoustique, évènementielle et sémantique

• Pour chaque description: un type bien défini de structure

Bilan SP2-5 Exemple de navigation inter-organisation dans le corpus

sonore livré par Univers Sons

Acoustique

Evènements

Sémantique

Bilan SP2-5 Exemple de navigation inter-organisationdans le corpus

sonore livré par Univers Sons

Evènement: « impact »

Sémantique: « corridor »

Acoustique: « low/blunt », « repetition (constant) »

step

Délivrable D-SP2-5-1 Définition d’un corpus représentatif et

sélection des classes pertinentes Implémentation: - Résultats:

• Application du formalisme introduit dans le SP2-6 à un corpus et à ses classes pertinentes pour les utilisateurs

Planning prévisionnel Janvier 2008:

D-SP2-5-2: Organisation des classes pertinentes

Juillet 2008: D-SP2-4-2: Descripteurs audio de type morphologique pour les

sons environnementaux D-SP2-6-2: Description sémantique des classes