Post on 22-Jan-2016
description
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 1
Cours 5
Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS
UE Cognition bayésienne10/01/2011
http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 2
Plan des cours
1. Introduction à la Programmation Bayésienne : incomplétude, incertitude
2. Programmation bayésienne : exemple détaillé3. Classes de modèles probabilistes, distributions
usuelles, Programmation bayésienne des robots4. PBR (suite), Modélisation bayésienne de la
perception et de l’action5. Comparaison bayésienne de modèles6. Compléments : inférence, apprentissage,
principe d’entropie
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 3
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 4
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 5
P Vrot Vtrans px0..px7 lm0..lm7 veille feu obj? eng tach_t -1 td_t -1 tempo tour dir prox dirG proxG vtrans_c dnv mnv mld per
πWatchman
⎛
⎝ ⎜ ⎜
⎞
⎠ ⎟ ⎟
=1Z
P Td Tach
td_t - 1 tempo tour πMoove
⎛
⎝ ⎜
⎞
⎠ ⎟
P Tach
Base
veille feu obj?
eng tach_t - 1
πTask
⎛
⎝
⎜ ⎜ ⎜
⎞
⎠
⎟ ⎟ ⎟
P Base px0...px7
lm0...lm7 πBase
⎛
⎝ ⎜
⎞
⎠ ⎟
⎛
⎝
⎜ ⎜ ⎜ ⎜ ⎜ ⎜
⎞
⎠
⎟ ⎟ ⎟ ⎟ ⎟ ⎟
Base∑
⎛
⎝
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜
⎞
⎠
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟
Tach∑
P ThetaL DistL lm0..lm7 πFusion( )DistL∑
P H prox πHoming( )
P Vrot Vtrans H Td ThetaL
dir prox dirG proxG vtrans_c πWatchman
⎛
⎝ ⎜
⎞
⎠ ⎟
⎛
⎝
⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜
⎞
⎠
⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟
TdThetaL H
∑ .
• Inférence exacte – sommation, propagation
des incertitudes
• Inférence approximée– décisions intermédiaires
(tirage de points), propagation d’une partie des incertitudes
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 6
Modélisation de la
perception• Perception
– Un problème inverse (Poggio, 1984)
• Modèle bayésien– Inversion + hypothèse
d’indépendance conditionnelle–
S1
S2
Sn
V
S1S2Sn
V?
€
P S1S2K SnV | C( )
= P V | C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
stimulus
sensations
perception
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 7
Humans integrate visual and haptic information in a
statistically optimal fashion
• Mécanisme d’integration visuo-haptique par fusion de gaussiennes
• Utilisé par les humains
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 8
Causal inference (Körding et al., 07; Sato et al., 07)
• Y a-t-il une source unique, ou deux sources distinctes ?
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 9
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 10
Sources
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 11
Devinette n° 1
• Quel est le suivant ?– {1, 3, 5, 7, 9, 11, ?}– {1, 1, 2, 3, 5, 8, 13, ?}– {0, 4, 7, 6, 8, 2, 5, 8, 9, ?}
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 12
Réponses
– {1, 3, 5, 7, 9, 11, ?} 42– {1, 1, 2, 3, 5, 8, 13, ?} 42– {0, 4, 7, 6, 8, 2, 5, 8, 9, ?} 42
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 13
Devinette n° 2
• Combien de méthodes pour définir une relation mathématique ?
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 14
• Combien de méthodes pour définir une relation mathématique ?
– Par fonction analytique f• E F• x | f(x)
– Par extension• Ensemble de points• (pas pratique pour un
ensemble infini)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 15
Quelle méthode pour la devinette ?
• Passage de points à une fonction
• Utilisation de la fonction pour prédire le point suivant
≅ Modélisation
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 16
Précaution
• Toute l’activité scientifique n’est pas que la modélisation
– Modèle vs. Théorie– Modèle vs. Expérience
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 17
Modélisation• Définition d’une classe de modèles• Sélection du modèle
– Qui maximise une mesure donnée
• Méthode très générale !– Machine learning
• Réseau de neurone• Algorithmes génétiques• Apprentissage bayésien
– Curve fitting– Optimisation– Regression
mod
élis
ati
on data set
set of models set of parameters
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 18
Mesures de qualité de modèles• Falsifiability (réfutabilité, pas falsifiabilité !)
– Existe-t-il des observations incompatibles ?
• Explanatory adequacy– Make sense of the data but also of established findings
• Interpretability– Réifiabilité : les paramètres sont liés à d’autres processus
• Faithfulness– La qualité du modèle vient de sa structure, pas de propriétés
du calcul, ni de la simulation
• Goodness of fit• Complexity (or simplicity)• Generalizability
(Karl Popper, La connaissance objective, 1985)(Léna Soler, Introduction à l’épistémologie, 2000)
(Myung, 2003)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 19
Mesures de qualité de fit
• Residual• Pourcentage de la variance
– Percent variance accounted for PVAF
• Root mean square deviation RMSD= root mean square error RMSE
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 20
Mesures de qualité de fit
• Correlation coefficient R2
– aka• Pearson’s sample correlation coefficient• Simple correlation coefficient• Cross-correlation coefficient• Product-moment coefficient
• Formes multidimensionnelles– Matricielles– Multiple Correlation Coefficient R
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 21
Correlation coefficient
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 22
Correlation coefficient
• r = 0.816
• Explorer les données !
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 23
Fit vs complexity
• Fit to regularity– Intéressant à
modéliser
• Fit to experimental noise– Pas intéressant
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 24
Théorème
• Par n points passe un unique polynôme de degré n-1– n points (ou contraintes)– Polynôme degré n-1 a n paramètres
• f(x) = ax2 + bx + c
• Par deux points passe une unique droite• Par trois points passe une unique
parabole
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 25
Théorème• Par n points passe un unique polynôme
de degré n-1
• Idem– développement limité de Taylor– Transformée de Fourier– Somme de noyaux Gaussiens
avec assez de paramètres, on approxime tout
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 26
Fit vs complexity
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 27
Complexité d’un modèle = Nombre de paramètres + Forme
fonctionnelle
– M1 : y = sin(cos(ax))aexp(-bx)/xb
– M2 : y = axb
– M3 : y = ax + b
a=12b=1
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 28
Fonctionnelle de Tikhonov
• Mesure à minimiser– R(M, Δ) = GM(Δ) + λ H(M)
– GM(Δ) mesure de fit
– H(M) mesure de complexité (indépendante de Δ)
– λ : poids relatif• Compromis à résoudre : complexity
regularization (central en machine learning)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 29
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 30
Generalizability
Fit sur les points observés
Fit sur les points pas encore observés
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 31
Mesure de generalisation
– Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT
– Mesure de divergence entre distribution de probabilité D
– D(f,g) > D(f,f)=0 si f ≠ g€
E D(M, MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 32
Mesure de generalisation
• Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT
• MT est évidemment inconnu
€
E D(M,MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 33
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 34
Cross-validation (CV)
• Estimer la généralisation du modèle sans connaître le vrai modèle– Partitionner les données Δ– Identification de
paramètres sur la partie calibration
– Estimation de la capacité de généralisation sur la partie validation
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 35
Méthodes de CV• Split-sample, hold-out method• Split-half cross-validation
– Coupe en deux Δ = Δ1, Δ2
– Estime les paramètres sur Δ1
– Calcule l’erreur de prédiction sur Δ2 e1
– Intervertir Δ1, Δ2, recommencer e2
• Validation croisée
– Erreur de prédiction finale : moyenne des erreurs de prédiction (e1 + e2) / 2
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 36
Méthodes de CV
• Leave-one-out cross-validation– Découper en n-1 données pour
l’identification, et 1 donnée pour l’erreur de prédiction
– Répéter n fois– Erreur de prédiction moyenne sur les
n étapes
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 37
Méthodes de CV
• K-fold cross-validation– K blocs de taille n/K– Données pour l’identification : K-1
blocs (taille n-n/K)– Données pour la prédiction : 1 bloc
(taille n/K)– Idem leave-n/K-out– Choix de K change le résultat
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 38
Méthode de CV
• Bootstrapping– Tirage avec replacement
subsamples au lieu de subsets des données
– .632+ bootstrap method• 63,2 % de Δ pour l’identification
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 39
Critique de la CV
• Large training set overfitting• Small training set underfitting• Trouver le bon découpage
– même problème que trouver la bonne pondération dans la fonctionnelle de Tikhonov
• Rien résolu (mais facile à coder)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 40
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 41
Mesures de distances entre distributions de
probabilités• Déf : Une métrique est une
fonction g non-négative telle que– Inégalité triangulaire g(x,y)+g(y,z) ≥
g(x,z)– Symétrique g(x,y) = g(y,x)– g(x,x) = 0– g(x,y) = 0 => x = y
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 42
Mesures de distances entre distributions de
probabilités• Kullback-Leibler
– Distance / divergence de Kullback-Leibler
– KL divergence– Information gain– Relative entropy
• Cross entropy• Mutual information
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 43
KL divergence
•
• Pas une mesure de distance– D(p,q) ≠ D(q,p)– D(p,q) > 0 pour tout p,q
– D(p,q) = 0 ssi pk = qk pour tout k
€
D( p,q) = DKL ( p q) = pk log2
pk
qkk
∑
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 44
Cross entropy
• Entropie H(p), cross-entropie H(p,q)
•
• Relation avec la KL divergence€
D( p,q) = H( p,q) = − pk logqk
k
∑
€
DKL ( p q) = pk log2
pk
qkk
∑
DKL ( p q) = H(p,q) − H(p)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 45
Mutual information
•
• mesurée en bits• I(X,Y) = I(Y,X)• I(X,Y) ≥ 0• €
I(X,Y ) = P(xy)log2
P(xy)
P(x)P(y)y∈Y
∑x∈X
∑
€
I(X,Y ) = DKL (P(XY ) P(X)P(Y ))
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 46
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 47
En modélisation probabiliste
• Un modèle– Point expérimental δ = {x,y}
• x condition (VI contrôlée)• y observation dans cette condition (VD)
– P(δ) = P(y | x) P(x)
– P(δ | θ1) = P(y | x θ1) P(x | θ1)
– P(δ | θ1 m1) = P(y | x θ1 m1) P(x | θ1 m1)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 48
En modélisation probabiliste
• Plusieurs modèles– Espace de paramètres Θ = {θ1, θ2,
…}
– Classe des modèles M = {m1, m2, …}
– Un modèle : P(y | x [Θ = θ1] [M = m1])
• Méta-modèle, modèle hiérarchique– P(Δ Θ M)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 49
Méta-modèle
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 50
Méta-modèle• Version simplifiée : une seule classe de
modèle
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 51
Mesure de comparaison des modèles
• Probabilité d’un modèle m1, au vu de données expérimentales Δ – P(Δ Θ M)
= P(δi Θ M) = P(x y Θ M)
= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)= P(δi | Θ M) P(Θ | M) P(M)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 52
Mesure de comparaison de modèles en
probabilités• Soient
– Un seule classe de modèle M
– D = {d1, …, dn}, un ensemble de données expérimentales
un ensemble de paramètres de M
• Quel est le modèle le plus probable, au vu des données ?
€
P Θ | D( )∝ P Θ( )P D | Θ( )
∝ P Θ( ) P di | Θ( )i=1
n
∏
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 53
• Si P() = uniforme–
• Modèle de maximum de vraisemblance• Maximum Likelihood (MLE)
• Si P() uniforme– Modèle = prior vraisemblance
• Modèle de maximum a posteriori (MAP)• Modèle bayésien
€
P Θ | D( )∝ P Θ( ) P di | Θ( )i=1
n
∏
Posterior Prior Vraisemblance
€
P Θ | D( )∝ P di | Θ( )i=1
n
∏
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 54
Goodness of fit en probabilités
• Maximiser la vraisemblance P(Δ | Θ M)
• P(Δ | Θ M) = Πi P(δi | Θ M)
• max P(Δ | Θ M)= max log P(Δ | Θ M)= max log Πi P(δi | Θ M)
= max Σi log P(δi | Θ M)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 55
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 56
Tel monsieur Jourdain…
• Un phénomène génère des couples x,y• Un modèle
– prédit y = F(x), F linéaire, F = ax + b– autorise du « bruit » dans les mesures
• On observe D = {dx1, …, dxn}• Question
– Quels sont les paramètres a, b les plus probables ?
€
p(di Θ) =1
2πσexp −
(di − F(Θ))2
2σ 2
⎛
⎝ ⎜
⎞
⎠ ⎟
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 57
Tel monsieur Jourdain…
€
P Θ | D( )∝ P Θ( ) P di | Θ( )i=1
n
∏
€
p(di Θ) =1
2πσexp −
(di − F(Θ))2
2σ 2
⎛
⎝ ⎜
⎞
⎠ ⎟
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 58
Tel monsieur Jourdain…
€
* = argmaxP Θ | D( )
= argmaxP Θ( )P D | Θ( )
= argmax P di | Θ( )i=1
n
∏
= argmax log P di | Θ( )( )i=1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= argmin(di − F(Θ))2
2σ i2
i=1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= argmin (di − F(Θ))2
i=1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
€
P Θ | D( )∝ P Θ( ) P di | Θ( )i=1
n
∏
€
p(di Θ) =1
2π σexp −
(di − F(Θ))2
2σ 2
⎛
⎝ ⎜
⎞
⎠ ⎟
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 59
Moindre carrés de l’erreur
• Comme – un Réseau de Neurones &
Backpropagation• (Mitchell 95, p167)
– Une régression linéaire– residual– …
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 60
Least square fitting sur Mathworldhttp://mathworld.wolfram.com
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 61
Pour aller plus loin…
• Inférence dans les cas non-linéaires
• Moindres carrés Bayésien
• Espace de modèles = {3x+2, 4x3-
2x2+4}
• Priors hiérarchiques– P( | )
• Rasoir d’Occam automatique…
€
P Θ( ) =1
2π σ Θ
exp −(Θ − μ Θ )2
2σ Θ2
⎛
⎝ ⎜
⎞
⎠ ⎟
€
* = arg max P Θ | D( )
= arg max P Θ( )P D | Θ( )
= arg max P Θ( ) P di | Θ( )i =1
n
∏
= arg max log P Θ( )( ) + log P di | Θ( )( )i =1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= arg min(Θ − μ Θ )2
2σ Θ2 +
(di − F(Θ))2
2σ i2
i =1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= arg min(Θ − μ Θ )2
σ Θ2 +
(di − F(Θ))2
σ i2
i =1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 62
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 63
Odds, posterior odds, evidence
• Un modèle à 2 cas : – Une hypothèse H, et
€
P(H Δ) =P(H)P(Δ H)
P(Δ)
P(H Δ) =P(H )P(Δ H )
P(Δ)
P(H Δ)
P(H Δ)=
P(H)
P(H )
P(Δ H)
P(Δ H )
€
H
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 64
Odds, posterior odds, evidence
• Odds , log odds (stats)
• Posterior odds
• Odds en bijection avec p
€
O(H Δ) =P(H Δ)
P(H Δ)
€
O(H Δ) = O(H)P(Δ H)
P(Δ H )
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 65
• Evidence
• Evidence en bijection avec p
Odds, posterior odds, evidence
€
e(H Δ) =10log10 O(H Δ)
e(H Δ) = e(H) +10log10
P(Δ H)
P(Δ H )
e(H Δ) = e(H) +10 log10
P(δ i H)
P(δi H )i
∑
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 66
Odds, posterior odds, evidence
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 67
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 68
Identification de paramètres vs Sélection de modèles
• Identification de paramètres learning– P(θ | Δ)– P(θ | Δ M)
• Sélection de modèle– P(M θ | Δ)– P(M | Δ)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 69
Comparaison de modèles
• Basés sur la vraisemblance P( | M)– AIC Akaike Information Criterion– BIC Bayesian Information Criterion– MDL Minimum Description Length
– BMS Bayesian Model Selection
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 70
AIC
• avec k le nombre de paramètres
• Modèle M qui minimise la mesure AIC• Fonctionnelle de Tikhonov
– AIC = lack of fit + complexity
• Dérive de l’approximation pour de larges ensembles de données de la KL divergence
€
AIC = −2ln P(Δ ˆ θ M) + 2k
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 71
BIC
• avec – k le nombre de paramètres– n le nombre de données
• Dérive de l’approximation pour de larges ensembles de données de la Bayesian Model Selection
€
BIC = −2ln P(Δ ˆ θ M) + k ln(n)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 72
MDL
• avec– k le nombre de paramètres– n le nombre de données– I(θ) la matrice d’information de Fisher
• Matrice des espérances des log des dérivées partielles de la vraisemblance selon les dimensions
– |.| le déterminant de la matrice
€
MDL = −lnP(Δ ˆ θ M) +k
2ln(
n
2π) + ln I(θ)∫ dθ
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 73
MDL
•
• Mesure de complexité qui prend en compte la forme fonctionnelle
• Provient de la théorie de l’information– Compression des données Δ par
modèle + déviation
€
MDL = −lnP(Δ ˆ θ M) +k
2ln(
n
2π) + ln I(θ)∫ dθ
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 74
BMS
• • Vraisemblance
– P(Δ | θ M)
• Vraisemblance marginale– P(Δ | M) = Σθ P(Δ | θ M) P(θ | M)€
BMS = −ln P(ΔθM)P(θ M)∫ dθ
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 75
Bayesian model selection
•
• Attention– BMS Bayesian model selection– BMS Bootstrap model selection€
BMS = −ln P(ΔθM)P(θ M)∫ dθ
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 76
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 77
« vraie » Bayesian model selection
•
• Prior sur M uniforme ou pas• Prior sur les paramètres θ
uniformes ou pas€
P(M Δ) =P(MΔ)
P(Δ)
P(M Δ)∝ P(MθΔ)θ
∑
P(M Δ)∝ P(Δθ M)P(θ M)P(M)θ
∑
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 78
Bayesian model selection • • Intégrale sur l’espace des paramètres
– MAP si on la fait– méthodes de Monte-Carlo (voire, méthode de
Gibbs (Mitchell 95)) si on tire aléatoirement dans θ pour approximer
• Gibbs sampling• Metropolis-Hastings• Random walk methods
– Approximation du log vraisemblance autour de• BMSL Bayesian Model Selection Laplace
approximation
€
P(M Δ)∝ P(Δθ M)P(θ M)P(M)∫ dθ
€
ˆ θ
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 79
Bayes Factor
• Extension du odds
• Ratio de vraisemblances marginales si prior uniforme sur M– P(M1) = P(M2)€
P(M1 Δ)
P(M2 Δ)=
P(M1)
P(M2)
P(Δ M1)
P(Δ M2)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 80
Bayesian Model Selection
•
– n’a pas la forme d’une fonctionnelle de Tikhonov
– et pourtant, mesure la complexité des M
€
BMS = −ln P(ΔθM)P(θ M)∫ dθ
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 81
BMS et mesure de complexité
• « Occam automatique » : intuition
• Si • et P(Δ | θ) concentré autour de
– Alors P(θ2 | Δ) pénalisé par la normalisation sur Θ2 (espace plus grand)
€
P(M1 Δ)
P(M2 Δ)=
P(M1)
P(M2)
P(Δθ1M1)θ 1∫ P(θ1 M1)
P(Δθ2M2)θ 2
∫ P(θ2 M2)
€
1 ⊂Θ2
€
ˆ θ ∈ Θ1
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 82
Rasoir d’Occam automatique
MacKay, 03
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 83
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 84
• Sélectionner un modèle, ok• Boucle expérimentale
– où prendre la prochaine donnée expérimentale ?
– Notion d’expérience cruciale (discriminante)
• Distinguer les modèles
Distinguabilité des modèles– Design optimization– Active learning (active
perception)– Optimal experimental
design
mod
élis
ati
on data set
set of models set of parameters
?
Question ouverte 1
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 85
Question ouverte 2
• Deux problèmes inverses– Perception
• Phénomène = f -1 (stimuli)
– Modélisation• Modèle = f -1 (observations)
• Doit-on conclure que le cerveau construit des modèles comme un scientifique le fait ?
• Le cerveau est-il bayésien ?
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 86
Question ouverte 3
• Pourquoi 42 ?
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 87
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 88
Modélisation du contrôle
• Mouvements de pointage, volontaire, chez l’humain
• Etude des régularités– Lois du mouvement
• Isochronie, loi de Fitts, loi de la puissance 2/3
• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 89
Modèles de planification de mouvements
Planification de mouvement =Sélection d’une trajectoire selon un coût
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 90
Quelle grandeur manipulée par le système
de contrôle ?
+ free energy principle(Friston 10)+ inactivation principle(Berret 08)+ …
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 91
Minimum variance
• Bruit dépendant du signal (signal dependent noise SDN)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 92
Bayesian Decision Theory
• Modèle probabiliste + modèle de coût (reward, cost, loss function)
Prior
Posterior
Likelihood
Cost function
X
X
Bayes theorem Bayesian
decision theory
outputobservation i
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 93
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 94
• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 95
Plan• Résumé + questions !• Comparaison et sélection de modèles
– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
• Modélisation de la perception et de l’action– Exemple : boucle perception et action de la lecture et l’écriture
• Modélisation : choix des variables
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 96
Importance des variables cachées
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 97
Modélisation d’une série temporelle
t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 98
-1 7,00 0,290 6,00 0,251 11,00 0,46
t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
P(y)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 99
Variable cachée V1 = {Bleu, Rouge}
V1=R V1=B
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 100
t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
-1 2,00 0,140 4,00 0,291 8,00 0,57
P(y | [V1=R])
-1 5,00 0,500 2,00 0,201 3,00 0,30
P(y | [V1=B])
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 101
V2 = {Bleu, Rouge}t y delta_y dy seuillé
81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
[V1
=R
][V
1=
B]
P(y | [V1=R] [V2=R])
P(y | [V1=R] [V2=B])
P(y | [V1=B] [V2=R])
P(y | [V1=B] [V2=B])
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 102
Digression : entropie
• Déf :
• Exemple :
[Shannon, 1948]
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 103
• Exemple 2 : P(X), X = {-1, 0, 1}
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 104
Variables cachées, connaissance et entropie
• Théorème :Les variables cachées apportent de l’information
P(y | [V1=B] [V2=B])P(y)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 105
Prédiction de la prochaine valeur ?
P(y)
P(y | [V1=B] [V2=B])t y delta_y dy seuillé
81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 106
Pour 2007, [V1=B] et [V2=B]
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 107
Merci de votre attention !
Questions ?
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 108
Distinguabilité des modèles
• Modèle de distinguabilité– Extension du méta-modèle de fit– P(Δ Θ M)
= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)
Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2011 109
Distinguabilité des modèles