Modélisation bayésienne de la perception et de l’action

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation bayésienne de la perception et de l’action

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE Cognition bayésienne24/11/2009

http://diard.wordpress.fr [email protected]


Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

2






3


Modélisation de la perception multi-

• Multi-?– Intramodale : multi-indice– Multimodale : multi-sensorielle

• Modèle de pondération linéaire

4

(Lambrey, 2005)


Modèle de pondération sensorielle

5


Modélisation de la

perception• Perception

– Un problème inverse (Poggio, 1984)

• Modèle bayésien– Inversion + hypothèse

d’indépendance conditionnelle–

6

S1

S2

Sn

V

S1S2Sn

V?

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )


7

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )• Vision

– Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06)

– Perception des formes (revue de Kersten et al., 04) :

• préférence pour les objets convexes• préférence pour des lumières venant

du haut, stationnaires• préférence pour un point de vue

situé au dessus de la scène

• Proprioception (Laurens, 08)


8

• Fusion multi-indices– Haptique : géométrie et force (Drewing &

Ernst, 06)– Vision (Kersten et al., 04)

• Fusion multi-sensorielle– Visuo-haptique (Ernst & Banks, 02)– Visuo-acoustique

• Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07)

• effet McGurk• Reconnaissance de voyelles (Gilet, 06)

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )






9


Nature, 429–433, 2002


11

Humans integrate visual and haptic information in a

statistically optimal fashion

• Mécanisme d’integration visuo-haptique par fusion de gaussiennes

• Utilisé par les humains


12

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données


13

Matériel expérimental


14

Stimuli visuels


15

Stimuli et tâche

• 4 niveaux de bruit visuel : 0% 67% 133% 200%

• 1 niveau haptique

• 1 s de présentation

• Tâche de choix forcé– laquelle de ces deux

barres est la plus grande ?


16

Cas mono-modal


Integration visuo-haptique

• Comparison stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

17



0%

18


0%67%


19


0%67%

133%


20


0%67%

133%200%


21


Plan



données

22


Modèle bayésien de fusion « naïve »

23



24


• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien

• « Statistiquement optimal »– Moindre variance :


25


Plan



données

26


Quelles gaussiennes ?

• Choix d’une gaussienne parmi 2

• Point d’égalité subjective– PSE : moyenne

• Seuil de discrimination–

T = 0.085 x 55 mm

0.04 x 55 mm

27



• Comparison stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

28



29

0%67%

133%200%


0%67%

133%200%

Comparaison modèle - données

30


31

Moyennes prédites - observées


32

JND

Variances prédites - observées


Questions, critiques ?

33






34


Perception audio-visuelle

• Effet ventriloque

(Alais and Burr, 2004)

35


Causal inference (Körding et al., 07)

• Modèle à 1 source, modèle à 2 sources

• Intégration sur s, sA, sv, C

36


Données expérimentales

37


38


• Pour chaque sujet– Calcul des

paramètres sur la moitié des données : R2 = 0.98

– Validation croisée sur l’autre moitié : R2 = 0.96

39


40

Modèle sans sommation sur C (tirage du C le plus probable)

Modèle sans alternative à 2 sources : P(C=1) = 1

Modèle sans alternative à 1 source : P(C=2) = 1






41


Question ouverte

• De nombreux exemples d’application du modèle de fusion

• Limite de validité du modèle ?

• Valeur d’un modèle qui s’applique partout ?

42






43


Modélisation du contrôle

• Mouvements de pointage, volontaire, chez l’humain

• Etude des régularités– Lois du mouvement

• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs

44


3 lois

• Isochronie• Loi de Fitts• Loi de la puissance 2/3

45


46

Tâche : Saisie d’un cylindre à différentes distances (40,32,25)

Résultats : Temps similaire/augmentation de la vitesse

L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement

Ex : Saisie (Jeannerod 1984)

La durée du mouvement semble fixée à l’avance

Palluel-Germain, 08

Vitesse (cm/s)

Durée (ms)


• Cible de taille W à une distance D

47


48

Loi de puissance de 2/3V(t) = K * R(t) 1-βK = gain de vitesseV(t) = vitesse du mouvementR(t) = rayon de courbure1-β = 1/3


Modèles de planification de mouvements

49

Planification de mouvement =Sélection d’une trajectoire selon un coût


Observations• Les trajectoires de la main

sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche.

• Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée

50


Espaces de contrôle

• Planification intrinsèque– Espace articulaire

• Planification extrinsèque– Espace cartésien

51


52

Trajectoire observéeChangement angulaire des articulations

D’après Hollerbach & Atkeson (1986)

Modèle d’interpolation linéaire dans l’espace

articulaire


Modèle d’interpolation linéaire dans l’espace

articulaire

53

βα


54


Espace de travail

• Minimisation des dérivées de l’endpoint

– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap

55


Minimum jerk

• Prédit des segments droits• Pas observés pour des

mouvements de grande amplitude

56

Lacquaniti et al. (1986)


Espace des couples moteurs

• Minimisation des couples zi générés à chaque articulation

57


Minimum variance

• Bruit dépendant du signal (signal dependent noise SDN)

58






59


• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture

60






61


Questions ouvertes

• Modélisation bayésienne de boucles sensorimotrices

Vraiment ?

62


• Boucle ouverte

63

musclesMotor commands force

Body partState change


64

musclesMotor commands force


Sensory system

ProprioceptionVision

Audition

Measured sensory

consequencesIntegration

Tps

Vitesse

• Boucle fermée


65 65

muscles

Motor commandsforce


Sensory system


Audition

Measured sensory

consequencesIntegration

40 ms

100 ms

???


66

musclesMotor commandsforce


Sensory system


Audition

Measured sensory

consequences

Forward model

Predicted sensory consequences

Integration

Belief

What we sense depends on what we predicted


67

Expérience de saisie

Expérience d’auto chatouillage


Modélisation d’une boucle sensorimotrice

• Apprentissage = passage d’une boucle fermée à une

boucle ouverte ?

68


Une boucle vs. des boucles

• Hiérarchie de boucles• Constantes de temps• Apprentissage hiérarchique

69


Merci de votre attention !

Questions ?

Modélisation bayésienne de la perception et de l’action

Documents

Transcript of Modélisation bayésienne de la perception et de l’action