Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation bayésienne de la perception et de l’action

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE Cognition bayésienne24/11/2009

http://diard.wordpress.fr Julien.Diard@upmf-grenoble.fr

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

2

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

3

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation de la perception multi-

• Multi-?– Intramodale : multi-indice– Multimodale : multi-sensorielle

• Modèle de pondération linéaire

4

(Lambrey, 2005)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle de pondération sensorielle

5

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation de la

perception• Perception

– Un problème inverse (Poggio, 1984)

• Modèle bayésien– Inversion + hypothèse

d’indépendance conditionnelle–

6

S1

S2

Sn

V

S1S2Sn

V?

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

7

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )• Vision

– Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06)

– Perception des formes (revue de Kersten et al., 04) :

• préférence pour les objets convexes• préférence pour des lumières venant

du haut, stationnaires• préférence pour un point de vue

situé au dessus de la scène

• Proprioception (Laurens, 08)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

8

• Fusion multi-indices– Haptique : géométrie et force (Drewing &

Ernst, 06)– Vision (Kersten et al., 04)

• Fusion multi-sensorielle– Visuo-haptique (Ernst & Banks, 02)– Visuo-acoustique

• Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07)

• effet McGurk• Reconnaissance de voyelles (Gilet, 06)

€

P S1S2K SnV |C( )

= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

9

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Nature, 429–433, 2002

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

11

Humans integrate visual and haptic information in a

statistically optimal fashion

• Mécanisme d’integration visuo-haptique par fusion de gaussiennes

• Utilisé par les humains

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

12

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

13

Matériel expérimental

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

14

Stimuli visuels

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

15

Stimuli et tâche

• 4 niveaux de bruit visuel : 0% 67% 133% 200%

• 1 niveau haptique

• 1 s de présentation

• Tâche de choix forcé– laquelle de ces deux

barres est la plus grande ?

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

16

Cas mono-modal

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Integration visuo-haptique

• Comparison stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

17

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Integration visuo-haptique

0%

18

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

Integration visuo-haptique

19

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

133%

Integration visuo-haptique

20

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

133%200%

Integration visuo-haptique

21

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

22

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle bayésien de fusion « naïve »

23

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle bayésien de fusion « naïve »

24

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien

• « Statistiquement optimal »– Moindre variance :

Modèle bayésien de fusion « naïve »

25

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan

• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

26

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Quelles gaussiennes ?

• Choix d’une gaussienne parmi 2

• Point d’égalité subjective– PSE : moyenne

• Seuil de discrimination–

T = 0.085 x 55 mm

0.04 x 55 mm

27

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Integration visuo-haptique

• Comparison stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

28

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Integration visuo-haptique

29

0%67%

133%200%

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

0%67%

133%200%

Comparaison modèle - données

30

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

31

Moyennes prédites - observées

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

32

JND

Variances prédites - observées

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Questions, critiques ?

33

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

34

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Perception audio-visuelle

• Effet ventriloque

(Alais and Burr, 2004)

35

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Causal inference (Körding et al., 07)

• Modèle à 1 source, modèle à 2 sources

• Intégration sur s, sA, sv, C

36

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Données expérimentales

37

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

38

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Pour chaque sujet– Calcul des

paramètres sur la moitié des données : R2 = 0.98

– Validation croisée sur l’autre moitié : R2 = 0.96

39

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

40

Modèle sans sommation sur C (tirage du C le plus probable)

Modèle sans alternative à 2 sources : P(C=1) = 1

Modèle sans alternative à 1 source : P(C=2) = 1

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

41

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Question ouverte

• De nombreux exemples d’application du modèle de fusion

• Limite de validité du modèle ?

• Valeur d’un modèle qui s’applique partout ?

42

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

43

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation du contrôle

• Mouvements de pointage, volontaire, chez l’humain

• Etude des régularités– Lois du mouvement

• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs

44

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

3 lois

• Isochronie• Loi de Fitts• Loi de la puissance 2/3

45

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

46

Tâche : Saisie d’un cylindre à différentes distances (40,32,25)

Résultats : Temps similaire/augmentation de la vitesse

L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement

Ex : Saisie (Jeannerod 1984)

La durée du mouvement semble fixée à l’avance

Palluel-Germain, 08

Vitesse (cm/s)

Durée (ms)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Cible de taille W à une distance D

47

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

48

Loi de puissance de 2/3V(t) = K * R(t) 1-βK = gain de vitesseV(t) = vitesse du mouvementR(t) = rayon de courbure1-β = 1/3

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèles de planification de mouvements

49

Planification de mouvement =Sélection d’une trajectoire selon un coût

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Observations• Les trajectoires de la main

sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche.

• Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée

50

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espaces de contrôle

• Planification intrinsèque– Espace articulaire

• Planification extrinsèque– Espace cartésien

51

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

52

Trajectoire observéeChangement angulaire des articulations

D’après Hollerbach & Atkeson (1986)

Modèle d’interpolation linéaire dans l’espace

articulaire

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modèle d’interpolation linéaire dans l’espace

articulaire

53

βα

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

54

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espace de travail

• Minimisation des dérivées de l’endpoint

– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap

55

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Minimum jerk

• Prédit des segments droits• Pas observés pour des

mouvements de grande amplitude

56

Lacquaniti et al. (1986)

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Espace des couples moteurs

• Minimisation des couples zi générés à chaque articulation

57

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Minimum variance

• Bruit dépendant du signal (signal dependent noise SDN)

58

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

59

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture

60

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Plan• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Causal Inference (Körding et al., 07)– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance

• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes

61

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Questions ouvertes

• Modélisation bayésienne de boucles sensorimotrices

Vraiment ?

62

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

• Boucle ouverte

63

musclesMotor commands force

Body partState change

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

64

musclesMotor commands force

Body partState change

Sensory system

ProprioceptionVision

Audition

Measured sensory

consequencesIntegration

Tps

Vitesse

• Boucle fermée

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

65 65

muscles

Motor commandsforce

Body partState change

Sensory system

ProprioceptionVision

Audition

Measured sensory

consequencesIntegration

40 ms

100 ms

???

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

66

musclesMotor commandsforce

Body partState change

Sensory system

ProprioceptionVision

Audition

Measured sensory

consequences

Forward model

Predicted sensory consequences

Integration

Belief

What we sense depends on what we predicted

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

67

Expérience de saisie

Expérience d’auto chatouillage

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Modélisation d’une boucle sensorimotrice

• Apprentissage = passage d’une boucle fermée à une

boucle ouverte ?

68

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Une boucle vs. des boucles

• Hiérarchie de boucles• Constantes de temps• Apprentissage hiérarchique

69

Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009

Merci de votre attention !

Questions ?