Concepts liés au son, usage du son dans les IHM, mon projet de recherche
description
Transcript of Concepts liés au son, usage du son dans les IHM, mon projet de recherche
1
Concepts liés au son,usage du son dans les IHM, mon projet de recherche
Sylvain DaudéEquipe IIHM7 mars 2002
2
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
3
De la vibration acoustiqueau signal sonore
• Son = sensation auditive engendrée par une vibration acoustique
• Enregistrement de la vibration par un capteur de pression
=> pression en fonction du temps = signal sonoreassimilé à la vibration acoustique
pression
temps
4
Mécanismes de la « sensation auditive » (1/3)
• Mécanismes mis en jeu dans la sensation auditive :
• localisation de la source du son
• azimut = direction dans un plan horizontal• élévation = direction dans un plan vertical• distance• diffusion, orientation, occlusion, dynamique des sources …
=> séparation de sources provenant d’endroits différents
• processus actif : mouvements de la tête, « effet cocktail »
5
Mécanismes de la « sensation auditive » (2/3)
• Mécanismes mis en jeu dans la sensation auditive :
• identification de la source
• comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources
=> séparation des sources provenant du même endroit(« effet cocktail »)
=> classification des sources en catégories => assignation d’une sémantique aux sources
• intervention des autres sens
6
Mécanismes de la « sensation auditive » (3/3)
• Mécanismes mis en jeu dans la sensation auditive :
• analyse qualitative du son
• hauteur (fréquence du signal sonore)
• timbre = texture sonore• couleur (composition en fréquences)• aspects dynamiques (attaque, extinction, évolution fréq.)
• intensité sonore (amplitude du signal sonore)
• composition des sons (enchaînement temporel, consonance)
7
Apport du sonpar rapport à la vision (1/2)
• Canal supplémentaire :
• plus d’informations à la fois• décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés• média d ’ambiance :
• disponible en permanence• ne nécessite pas d ’action physique• zone de perception plus étendue que devant un écran par ex.
• utile lorsque les autres canaux sont saturés ou indisponibles(ex : canal visuel : petits écrans, temps de brouillard, cockpits)
8
Apport du sonpar rapport à la vision (2/2)
• Outil d ’analyse
• Timbre + localisation = information multidimensionnelle
=> analyse de données multidimensionnelles
• Analyse de corrélations temporelles
9
Les limites du son
• Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs)
• Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première)
• Fatigue pour les sons fréquents ou répétitifs
=> à utiliser avec modération et à propos
10
Représentationsdu son (1/3)
• Représentation temporelle = signal sonore
+ représentation utilisable pour l’enregistrement et la synthèseaccès à l’intensité et au temps
- pas d ’accès à la hauteur ni au timbre
Solution : faire intervenir la fréquences
amplitude
temps
11
Représentationsdu son (2/3)
• Représentation fréquentielle
+ Représentation fidèle et réversibleOpérations mathématiques facilitéesAccès à la hauteur (= fréquence)
- Disparition du tempsInstabilité par rapport à la représentation temporelleInadaptation au temps réel
Solution : Faire intervenir à la fois le temps et la fréquence
amplitude (complexe)
fréquence
12
Représentationsdu son (3/3)
• Représentation temps-fréquence
+ « Visualisation » du son(hauteur, timbre, intensité, temps)
- Représentations spécialisées :
• en visualisation (non linéaires : WignerVille…)• en traitement du signal (linéaires : ondelettes…)
Nécessité d ’un compromis dans les échellestemps-fréquence (Heisenberg)
fréquence
temps
13
Ex 1 : représentation temps-fréquence de sons périodiques
Son de clarinette La fondamentale de ce son
Fondamentale
Deux processus perceptifs concurrents pour la hauteur :
• la fréquence de la fondamentale (ex : son de la fondamentale)• l’intervalle entre les harmoniques (ex : transistors)
Harmoniques= fréquencesmultiples de lafondamentale
14
Ex 2 : représentation temps-fréquence de sons voisés
i é è
Fondamentale = hauteur duson (partie voisée)
Formants déterminent lavoyelle (leur répartitiondépend du sexe et du registre)
Partie bruitée instable,étalée en fréquences=> hauteur ambiguë
p t k
Voyelles :
Consonnes :
15
Ex 3 : représentation temps-fréquence d’autres sons
Son de percussion : étalé en fréquence, pas de sensation nette de hauteur
Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur
16
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
17
Usage du sondans les IHM
Son en entrée : information ou bruit
• traitement de signaux sonores
Son en sortie : [Pressing, 1997]
• artistique (informatique musicale)• environnemental (jeux, réalité virtuelle)• informatif (monitoring, feedback, auralisation)
Hors IHM : stockage d ’enregistrements, psycho-acoustique...
18
Classification des sonsinformatifs (1/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Synthèse de parole
19
Classification des sonsinformatifs (2/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Auditory Icons (Gaver) : sons analogiques
+ intuitif
- difficile à réaliser techniquement, design
20
Classification des sonsinformatifs (3/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information = sonification
• Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire
+ simple à réaliser
- nécessité d’apprentissage, grammaire limitée
21
Classification des sonsinformatifs (4/4)
• L’information de référence est sonore : multimédia
• L’information n’est pas sonore : traduction sonore de l’information= sonification
• Fonction de correspondance de paramètres :transfert de la structure de l’information vers la structure du son
+ sonification la plus proche de l ’information
- paramètres structurels significatifs dans l ’infoet dans le son difficiles à trouver, au cas par cas
22
Le son 3Ddans les IHM
La spatialisation de sons en IHM peut avoir pour but :
• de présenter plusieurs sources grâce à l ’effet cocktail
• de définir des sons réalistes (ex : réalité virtuelle)
• de permettre une métaphore (ex : métaphore de l’horloge, Brewster)
• de prolonger virtuellement le monde réel(ex : RA, systèmes pour aveugles)
23
Plan de l ’exposé
Concepts sur le son
Usage de sons dans les IHM
Mon projet de recherche
24
Projet de recherche
• Earcons + Phicons = Phearcons
• Définitions :
• Earcons (Ear Icons, Blattner) :
messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur
• Phicons (Physical Icons) :
objets physiques permettant la manipulation d ’objets virtuels
25
Projet de recherche : objectifs
• Concevoir et développer une plate-forme qui permet :
• L’association entre un concept du domaine et un objet physique• Lien dynamique et explicite entre le monde numérique et le monde réel
• L’association entre un concept du domaine et une “sonification”• Conception de l’interface en sortie
• L’association entre un objet physique et une “sonification”= modification du rendu sonore par manipulation d’objets physiques
• Conception de l ’interface en entrée
26
Exemples d’application
Queue d’impression
Niveau sonore chez Maman
Trafic sur l’A7
Niveau sonore cafet
• Tâches de “monitoring”
• Média d’ambiance
27
Exemples d’application
• Tâches de “monitoring”
• Media d’ambiance + effet cocktail
28
Exemples d’application
• Tâches de “monitoring”
• Intérêts :
• Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café)
• Mémorisation accrue car l’association est faite par l’utilisateur
29
Exemples d’application
• Jeu augmenté
• Réalité augmentée
• Spatialisation du son traduisantle déplacement effectué par l ’enfant
30
Exemples d’application
• Musique
Objet physique= instrument de musique paramétrable
31
Plate-forme à concevoir
• Flexibilité
• Choix des objets physiques • Reconnaissance de la position des objets dans l ’espace
• Choix des sources d’informations• Liens avec des applications existantes
• Choix des sonifications
32
Plate-forme à concevoir
• Définition des liens entre objets physiques, sonificationet concept du domaine :
• Lien (objet physique, concept du domaine)
• Multimodalité : paradigme du mets çà là• Définition par parole = « cet objet est le niveau sonoredans la cafet » + geste de désignation de l ’objet
• Lien (concept du domaine, sonification) : ???
• Lien (objet physique, sonification) : ???
33
Projet de recherche :étapes de travail
• Etat de l’art : applications, sonification etc.
• Expérimentations fréquentes magicien d’Oz dans le playground
• Espace de conception : caractéristiques pertinentes
• Lien avec le processus de visualisation (thèse Fred)
• Conception et développement de la plate-forme
34
Projet de recherche : exemples de problèmes (1/2)
• Identifier des applications candidates
• (e-mail, activité distante, cubes de jeu etc.)
• Critères de correspondance entre source et sonification :
• trouver les métaphores possibles par application• quelles caractéristiques ?
35
Projet de recherche : exemples de problèmes (2/2)
• Conception de la plate-forme
• Comment spécifier une sonification ?• Comment présenter une sonification ?• Proposer un ensemble d ’objets prédéfinis
36
MERCI !
37
Annexe 1 :Vibration acoustique
Vibration acoustique = succession rapide d ’ondes de compression et de dépression
Source sonore Milieu ambiant(air, eau…)
Zone compriméeNouvelle zone comprimée
Décompression
Propagation de l’ondede compression
...
Dépression Nouvelle zone en dépressionRecompression
...
Propagation de l ’ondede dépression
38
Annexe 2 :Perception d ’une source en 3D
azimut
source
élévation
direction depropagation
orientation
distance
Azimut :• déphasage interaural• intensité interaurale
Élévation :• timbre (source connueou en mouvement)
Distance :• atténuation intensité, BF, HF• taux son direct / réverbéré
Autres propriétés : orientation (sources directives),diffusion (sources réparties), occlusion ;
Autres indices : dynamique de la source, mouvements de tête,couplage avec le visuel
39
Annexe 3 :Son 3D : dispositifs de sortie
• 1 canal : distance, élévation ; ex : hauts-parleurs directifs
• 2 canaux : azimut• sur hauts-parleurs :
• stéréo : son entre les hauts-parleurs• « décorrélation croisée » : son venant des côtés
• sur écouteurs :• stéréo : son à l’intérieur de la tête• HRTF : filtrage des oreilles• BRIR : propriétés acoustiques de la salle
• Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) :meilleure précision, meilleur réalisme,agrandissement de la zone de bonne écoute
• Rares systèmes de vraie 3D (CNMAT)