Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK...
Transcript of Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK...
![Page 1: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/1.jpg)
Modeles graphiques probabilistes
Francis Bach & Guillaume Obozinski
INRIA - Ecole Normale Superieure
M2 MVA 2011-2012
Modeles graphiques probabilistes 1/27
![Page 2: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/2.jpg)
Informations generales
Tous les mercredi 9h-12h salle C103 jusqu’au 23 Novembre.
Validation du cours: DM1 (20 %) + DM2 (20 %) +examen final en temps libre (30%)+ projet (30%).
Calendrier:Mi-novembre choisir un projet a faire seul ou en binome.Avant 1/12 envoyer un email annoncant le choix du projet.Avant 17/12 deposer votre examen (au secretariat / par email).Avant 17/12 envoyer un draft de projet (1 page)+1er resultats.Le 5/1 Session poster aux Pavillon des Jardins.Le 5/1 Rendu rapport de projets (≈ 6 pages).
Polycopie a aller chercher au secretariat
Email [email protected] + [email protected]
ecrire aux 2 + mettre ”MVA” dans le titre de l’email.
Notes de cours: certaines existantes, bonus pour les scribesvolontaires (a faire en binome) pour les notes inexistantes.
Modeles graphiques probabilistes 2/27
![Page 3: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/3.jpg)
Apprentissage automatique
Objet
Extraire des “relations statistiques” entre
un grand nombre de variables d’entrees / predicteurs / descripteursune ou plusieurs variables de sorties / decision(s)
Construire une connaissance empirique:
Transformation d’information empirique en connaissance statistique
Specificites par rapport aux autres approches en IA
1 Connaissance construite essentiellement a partir des donnees
2 Capacite de generalisation
Modeles graphiques probabilistes 3/27
![Page 4: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/4.jpg)
Apprentissage automatique
Objet
Extraire des “relations statistiques” entre
un grand nombre de variables d’entrees / predicteurs / descripteursune ou plusieurs variables de sorties / decision(s)
Construire une connaissance empirique:
Transformation d’information empirique en connaissance statistique
Specificites par rapport aux autres approches en IA
1 Connaissance construite essentiellement a partir des donnees
2 Capacite de generalisation
Modeles graphiques probabilistes 3/27
![Page 5: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/5.jpg)
Specificite par rapport aux statistiques classiques
But
Modele predictif/d’action vs modele explicatif de la realite.
Difficulte
Necessite d’integrer un un tres grand nombre de variables
Vision artificielle: 107 dimensions par image
Imagerie Cerebrale: 105 dimensions par volume
Traitement automatique des langues: 104 − 1015 parametres
Genetique: 104 genes, 105 SNPs/ microsatellites, 109 bases d’ADN
Quel role pour la modelisation probabiliste?Comment la faire?
Modeles graphiques probabilistes 4/27
![Page 6: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/6.jpg)
Specificite par rapport aux statistiques classiques
But
Modele predictif/d’action vs modele explicatif de la realite.
Difficulte
Necessite d’integrer un un tres grand nombre de variables
Vision artificielle: 107 dimensions par image
Imagerie Cerebrale: 105 dimensions par volume
Traitement automatique des langues: 104 − 1015 parametres
Genetique: 104 genes, 105 SNPs/ microsatellites, 109 bases d’ADN
Quel role pour la modelisation probabiliste?Comment la faire?
Modeles graphiques probabilistes 4/27
![Page 7: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/7.jpg)
Specificite par rapport aux statistiques classiques
But
Modele predictif/d’action vs modele explicatif de la realite.
Difficulte
Necessite d’integrer un un tres grand nombre de variables
Vision artificielle: 107 dimensions par image
Imagerie Cerebrale: 105 dimensions par volume
Traitement automatique des langues: 104 − 1015 parametres
Genetique: 104 genes, 105 SNPs/ microsatellites, 109 bases d’ADN
Quel role pour la modelisation probabiliste?Comment la faire?
Modeles graphiques probabilistes 4/27
![Page 8: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/8.jpg)
Specificite par rapport aux statistiques classiques
But
Modele predictif/d’action vs modele explicatif de la realite.
Difficulte
Necessite d’integrer un un tres grand nombre de variables
Vision artificielle: 107 dimensions par image
Imagerie Cerebrale: 105 dimensions par volume
Traitement automatique des langues: 104 − 1015 parametres
Genetique: 104 genes, 105 SNPs/ microsatellites, 109 bases d’ADN
Quel role pour la modelisation probabiliste?Comment la faire?
Modeles graphiques probabilistes 4/27
![Page 9: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/9.jpg)
Des problemes structures de grande dimension
Modeles graphiques probabilistes 5/27
![Page 10: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/10.jpg)
Des problemes structures de grande dimension
Modeles graphiques probabilistes 5/27
![Page 11: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/11.jpg)
Des problemes structures de grande dimension
Modeles graphiques probabilistes 5/27
![Page 12: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/12.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 13: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/13.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 14: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/14.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 15: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/15.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 16: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/16.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 17: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/17.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 18: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/18.jpg)
Modelisation de sequences
Comment modeliser la distribution de sequences d’ADN delongueur k?
Modele naıf → 4k − 1 parametres
Modele independant → 3k parametres
x1 x2 x3 x4
Chaıne de Markov d’ordre 1:
x1 x2 x3 x4
Chaıne de Markov d’ordre 2:
x1 x2 x3 x4
Nombres de parametres O(k) pour des chaınes de longeur k.
Modeles graphiques probabilistes 6/27
![Page 19: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/19.jpg)
Modelisation pour le traitement de la parole
Parole modelisee par une sequence de phonemes non-observes
Pour chaque phoneme un son aleatoire est produit selon unedistribution qui caracterise le phoneme
Modele de Markov cache: HMM (Hidden Markov Model)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
→modele dit a variables latentes
Modeles graphiques probabilistes 7/27
![Page 20: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/20.jpg)
Modelisation pour le traitement de la parole
Parole modelisee par une sequence de phonemes non-observes
Pour chaque phoneme un son aleatoire est produit selon unedistribution qui caracterise le phoneme
Modele de Markov cache: HMM (Hidden Markov Model)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
→modele dit a variables latentes
Modeles graphiques probabilistes 7/27
![Page 21: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/21.jpg)
Modelisation pour le traitement de la parole
Parole modelisee par une sequence de phonemes non-observes
Pour chaque phoneme un son aleatoire est produit selon unedistribution qui caracterise le phoneme
Modele de Markov cache: HMM (Hidden Markov Model)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
→modele dit a variables latentes
Modeles graphiques probabilistes 7/27
![Page 22: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/22.jpg)
Modelisation pour le traitement de la parole
Parole modelisee par une sequence de phonemes non-observes
Pour chaque phoneme un son aleatoire est produit selon unedistribution qui caracterise le phoneme
Modele de Markov cache: HMM (Hidden Markov Model)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
→modele dit a variables latentes
Modeles graphiques probabilistes 7/27
![Page 23: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/23.jpg)
Modelisation des structure dans les images
Champ de Markov cache
Segmentation
→modele graphique oriente vs non oriente
Modeles graphiques probabilistes 8/27
![Page 24: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/24.jpg)
Modelisation des structure dans les images
Champ de Markov cache
Segmentation→modele graphique oriente vs non oriente
Modeles graphiques probabilistes 8/27
![Page 25: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/25.jpg)
Alarme d’anesthesie (Beinlich et al., 1989)
“The ALARM Monitoring system”
http://www.bnlearn.com/documentation/networks/
CVP central venous pressurePCWP pulmonary capillary wedge pressureHIST historyTPR total peripheral resistanceBP blood pressureCO cardiac outputHRBP heart rate / blood pressure.HREK heart rate measured by an EKG monitorHRSA heart rate / oxygen saturation.PAP pulmonary artery pressure.SAO2 arterial oxygen saturation.FIO2 fraction of inspired oxygen.PRSS breathing pressure.ECO2 expelled CO2.MINV minimum volume.MVS minimum volume setHYP hypovolemiaLVF left ventricular failureAPL anaphylaxisANES insufficient anesthesia/analgesia.PMB pulmonary embolusINT intubationKINK kinked tube.DISC disconnectionLVV left ventricular end-diastolic volumeSTKV stroke volumeCCHL catecholamineERLO error low outputHR heart rate.ERCA electrocauterSHNT shuntPVS pulmonary venous oxygen saturationACO2 arterial CO2VALV pulmonary alveoli ventilationVLNG lung ventilationVTUB ventilation tubeVMCH ventilation machine
Modeles graphiques probabilistes 9/27
![Page 26: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/26.jpg)
Un modele probabiliste
1
2
3
7
8
6
4
5
9
p(x1, x2, . . . , x9) = f12(x1, x2) f23(x2, x3) f34(x3, x4) f45(x4, x5) . . .
f56(x5, x6) f37(x3, x7) f678(x6, x7, x8) f9(x9)
Modeles graphiques probabilistes 10/27
![Page 27: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/27.jpg)
Un modele probabiliste
1
2
3
7
8
6
4
5
9
f12 f34 f45
f678
f9
f56f37f23
p(x1, x2, . . . , x9) = f12(x1, x2) f23(x2, x3) f34(x3, x4) f45(x4, x5) . . .
f56(x5, x6) f37(x3, x7) f678(x6, x7, x8) f9(x9)
Modeles graphiques probabilistes 10/27
![Page 28: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/28.jpg)
Un modele probabiliste
1
2
3
7
8
6
4
5
9
f12 f34 f45
f678
f9
f56f37f23
p(x1, x2, . . . , x9) = f12(x1, x2) f23(x2, x3) f34(x3, x4) f45(x4, x5) . . .
f56(x5, x6) f37(x3, x7) f678(x6, x7, x8) f9(x9)
Modeles graphiques probabilistes 10/27
![Page 29: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/29.jpg)
Modeles abstraits vs concrets
Modele abstraits
Regression lineaire
Regression logistique
Modele de melange
Analyse en composantes principales
Analyse canonique des correlations
Analyse en composantesindependantes
LDA (ACP multinomiale)
Classifieur Naive Bayes
Melange d’experts
Modeles concrets
Chaınes de Markov
HMM
Modeles arborescents
HMM double
Modeles orientes acycliques
Champs de Markov
Modeles en etoile
Modeles de constellation
Modeles graphiques probabilistes 11/27
![Page 30: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/30.jpg)
Modeles abstraits vs concrets
Modele abstraits
Regression lineaire
Regression logistique
Modele de melange
Analyse en composantes principales
Analyse canonique des correlations
Analyse en composantesindependantes
LDA (ACP multinomiale)
Classifieur Naive Bayes
Melange d’experts
Modeles concrets
Chaınes de Markov
HMM
Modeles arborescents
HMM double
Modeles orientes acycliques
Champs de Markov
Modeles en etoile
Modeles de constellation
Modeles graphiques probabilistes 11/27
![Page 31: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/31.jpg)
Operations sur les modeles graphiques
L’Inference
Calculer une marginale p(xi ) ou p(xi |x1 = 3, x7 = 0)
Le Decodage
Quelle est l’instance la plus probable?
argmaxzp(z |x)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
L’Apprentissage (ou Estimation)
Soit p(x ;θ) = 1Z(θ)
∏C ψ(xC , θC ), on veut trouver
argmaxθ
n∏i=1
p(x (i);θ) = argmaxθ1
Z (θ)
n∏i=1
∏C
ψ(x(i)C , θC )
Modeles graphiques probabilistes 12/27
![Page 32: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/32.jpg)
Operations sur les modeles graphiques
L’Inference
Calculer une marginale p(xi ) ou p(xi |x1 = 3, x7 = 0)
Le Decodage
Quelle est l’instance la plus probable?
argmaxzp(z |x)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
L’Apprentissage (ou Estimation)
Soit p(x ;θ) = 1Z(θ)
∏C ψ(xC , θC ), on veut trouver
argmaxθ
n∏i=1
p(x (i);θ) = argmaxθ1
Z (θ)
n∏i=1
∏C
ψ(x(i)C , θC )
Modeles graphiques probabilistes 12/27
![Page 33: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/33.jpg)
Operations sur les modeles graphiques
L’Inference
Calculer une marginale p(xi ) ou p(xi |x1 = 3, x7 = 0)
Le Decodage
Quelle est l’instance la plus probable?
argmaxzp(z |x)
zn−1 zn zn+1
xn−1 xn xn+1
z1 z2
x1 x2
L’Apprentissage (ou Estimation)
Soit p(x ;θ) = 1Z(θ)
∏C ψ(xC , θC ), on veut trouver
argmaxθ
n∏i=1
p(x (i);θ) = argmaxθ1
Z (θ)
n∏i=1
∏C
ψ(x(i)C , θC )
Modeles graphiques probabilistes 12/27
![Page 34: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/34.jpg)
Plan du cours
Cours 1IntroductionMaximum de vraisemblanceModeles a un noeud
Cours 2Regression lineaireRegression logistiqueClassification generative
Cours 3K-meansEMMelanges de GaussiennesTheorie des graphes
Cours 4Modeles graphiques orientesModeles graphiques non orientes
Cours 5Familles exponentiellesTheorie de l’informationMelanges d’experts
Cours 6Variables GaussiennesAnalyse factorielle
Cours 7Algorithme somme-produit
Cours 8Inference approchee
Cours 9Methodes BayesiennesSelection de Modele
Modeles graphiques probabilistes 13/27
![Page 35: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/35.jpg)
Pour commencer: modeles a 1 et 2 noeuds...Modeles de regression et classification
t
xx0
2σy(x0,w)
y(x,w)
p(t|x0,w, β)
−6 −4 −2 0 2 4 6−6
−4
−2
0
2
4
6
Modeles de mixture
xn
zn
N
µ
σ2
W
(a)
0 0.5 1
0
0.5
1 (b)
0 0.5 1
0
0.5
1
Modeles graphiques probabilistes 14/27
![Page 36: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/36.jpg)
Pour commencer: modeles a 1 et 2 noeuds...Modeles de regression et classification
t
xx0
2σy(x0,w)
y(x,w)
p(t|x0,w, β)
−6 −4 −2 0 2 4 6−6
−4
−2
0
2
4
6
Modeles de mixture
xn
zn
N
µ
σ2
W
(a)
0 0.5 1
0
0.5
1 (b)
0 0.5 1
0
0.5
1
Modeles graphiques probabilistes 14/27
![Page 37: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/37.jpg)
Notions transverses
Modele generatif vs discriminatif
Apprentissage supervise vs non-supervise
Apprentissage a partir de donnees completement observees vsincompletes
Causation vs correlations:Les MG ne sont pas des modeles de causation → des modeles de
correlation encodant des ensembles d’hypotheses d’independance
conditionelles.
Modeles graphiques probabilistes 15/27
![Page 38: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/38.jpg)
Notions transverses
Modele generatif vs discriminatif
Apprentissage supervise vs non-supervise
Apprentissage a partir de donnees completement observees vsincompletes
Causation vs correlations:Les MG ne sont pas des modeles de causation → des modeles de
correlation encodant des ensembles d’hypotheses d’independance
conditionelles.
Modeles graphiques probabilistes 15/27
![Page 39: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/39.jpg)
Notions transverses
Modele generatif vs discriminatif
Apprentissage supervise vs non-supervise
Apprentissage a partir de donnees completement observees vsincompletes
Causation vs correlations:Les MG ne sont pas des modeles de causation → des modeles de
correlation encodant des ensembles d’hypotheses d’independance
conditionelles.
Modeles graphiques probabilistes 15/27
![Page 40: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/40.jpg)
Notions transverses
Modele generatif vs discriminatif
Apprentissage supervise vs non-supervise
Apprentissage a partir de donnees completement observees vsincompletes
Causation vs correlations:Les MG ne sont pas des modeles de causation → des modeles de
correlation encodant des ensembles d’hypotheses d’independance
conditionelles.
Modeles graphiques probabilistes 15/27
![Page 41: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/41.jpg)
Outline
1 Fondamentaux
Modeles graphiques probabilistes 16/27
![Page 42: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/42.jpg)
Notations, formules,definitions
Loi jointe de XA et XB : p(xA, xB)
Loi marginale : p (xA) =∑
xAcp (xA, xAc )
Loi conditionnelle : p (xA|xB) = p(xA,xB)p(xB) si p (xB) 6= 0
Formule de Bayes
p (xA|xB) =p (xB |xA) p (xA)
p (xB)
→ La formule de Bayes n’est pas “bayesienne”.
Modeles graphiques probabilistes 17/27
![Page 43: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/43.jpg)
Notations, formules,definitions
Loi jointe de XA et XB : p(xA, xB)
Loi marginale : p (xA) =∑
xAcp (xA, xAc )
Loi conditionnelle : p (xA|xB) = p(xA,xB)p(xB) si p (xB) 6= 0
Formule de Bayes
p (xA|xB) =p (xB |xA) p (xA)
p (xB)
→ La formule de Bayes n’est pas “bayesienne”.
Modeles graphiques probabilistes 17/27
![Page 44: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/44.jpg)
Notations, formules,definitions
Loi jointe de XA et XB : p(xA, xB)
Loi marginale : p (xA) =∑
xAcp (xA, xAc )
Loi conditionnelle : p (xA|xB) = p(xA,xB)p(xB) si p (xB) 6= 0
Formule de Bayes
p (xA|xB) =p (xB |xA) p (xA)
p (xB)
→ La formule de Bayes n’est pas “bayesienne”.
Modeles graphiques probabilistes 17/27
![Page 45: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/45.jpg)
Esperances et Variances
Esperance de X : E [X ] =∑
x x · p (x)
Esperance de f (X ), pour f mesurable :
E [f (X )] =∑x
f (x) · p (x)
Variance :
Var (X ) = E[(X − E [X ])2
]= E
[X 2]− E [X ]2
Esperance conditionnelle de X sachant Y :
E [X |Y ] =∑x
x · p (x |y)
Variance conditionnelle :
Var (X | Y ) = E[(X − E [X |Y ])2 |Y
]= E
[X 2|Y
]− E [X |Y ]2
Modeles graphiques probabilistes 18/27
![Page 46: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/46.jpg)
Esperances et Variances
Esperance de X : E [X ] =∑
x x · p (x)
Esperance de f (X ), pour f mesurable :
E [f (X )] =∑x
f (x) · p (x)
Variance :
Var (X ) = E[(X − E [X ])2
]= E
[X 2]− E [X ]2
Esperance conditionnelle de X sachant Y :
E [X |Y ] =∑x
x · p (x |y)
Variance conditionnelle :
Var (X | Y ) = E[(X − E [X |Y ])2 |Y
]= E
[X 2|Y
]− E [X |Y ]2
Modeles graphiques probabilistes 18/27
![Page 47: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/47.jpg)
Esperances et Variances
Esperance de X : E [X ] =∑
x x · p (x)
Esperance de f (X ), pour f mesurable :
E [f (X )] =∑x
f (x) · p (x)
Variance :
Var (X ) = E[(X − E [X ])2
]= E
[X 2]− E [X ]2
Esperance conditionnelle de X sachant Y :
E [X |Y ] =∑x
x · p (x |y)
Variance conditionnelle :
Var (X | Y ) = E[(X − E [X |Y ])2 |Y
]= E
[X 2|Y
]− E [X |Y ]2
Modeles graphiques probabilistes 18/27
![Page 48: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/48.jpg)
Esperances et Variances
Esperance de X : E [X ] =∑
x x · p (x)
Esperance de f (X ), pour f mesurable :
E [f (X )] =∑x
f (x) · p (x)
Variance :
Var (X ) = E[(X − E [X ])2
]= E
[X 2]− E [X ]2
Esperance conditionnelle de X sachant Y :
E [X |Y ] =∑x
x · p (x |y)
Variance conditionnelle :
Var (X | Y ) = E[(X − E [X |Y ])2 |Y
]= E
[X 2|Y
]− E [X |Y ]2
Modeles graphiques probabilistes 18/27
![Page 49: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/49.jpg)
Esperances et Variances
Esperance de X : E [X ] =∑
x x · p (x)
Esperance de f (X ), pour f mesurable :
E [f (X )] =∑x
f (x) · p (x)
Variance :
Var (X ) = E[(X − E [X ])2
]= E
[X 2]− E [X ]2
Esperance conditionnelle de X sachant Y :
E [X |Y ] =∑x
x · p (x |y)
Variance conditionnelle :
Var (X | Y ) = E[(X − E [X |Y ])2 |Y
]= E
[X 2|Y
]− E [X |Y ]2
Modeles graphiques probabilistes 18/27
![Page 50: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/50.jpg)
Notions d’independance
Independance: X ⊥⊥Y
On dit que X et Y sont independantes et on note X ⊥⊥Y ssi:
∀x , y , P(X = x ,Y = y) = P(X = x) P(Y = y)
Independance conditionnelle: X ⊥⊥Y | ZOn dit que X et Y sont independantes conditionnellement a Z et
on note X ⊥⊥Y | Z ssi:
∀x , y , z ,
P(X = x ,Y = y | Z = z) = P(X = x |Z = z) P(Y = y |Z = z)
Modeles graphiques probabilistes 19/27
![Page 51: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/51.jpg)
Notions d’independance
Independance: X ⊥⊥Y
On dit que X et Y sont independantes et on note X ⊥⊥Y ssi:
∀x , y , P(X = x ,Y = y) = P(X = x) P(Y = y)
Independance conditionnelle: X ⊥⊥Y | ZOn dit que X et Y sont independantes conditionnellement a Z et
on note X ⊥⊥Y | Z ssi:
∀x , y , z ,
P(X = x ,Y = y | Z = z) = P(X = x |Z = z) P(Y = y |Z = z)
Modeles graphiques probabilistes 19/27
![Page 52: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/52.jpg)
Independence Conditionnelle: exemple
Exemple d’une “maladie recessive liee a l’X”:Transmission du gene de l’hemophilie
Risques de maladie pourdes fils d’un pere sain:
dependant pourdeux freres.
conditionnellementindependant sachantsi la mere estporteuse ou non.
Modeles graphiques probabilistes 20/27
![Page 53: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/53.jpg)
Independence Conditionnelle: exemple
Exemple d’une “maladie recessive liee a l’X”:Transmission du gene de l’hemophilie
Risques de maladie pourdes fils d’un pere sain:
dependant pourdeux freres.
conditionnellementindependant sachantsi la mere estporteuse ou non.
Modeles graphiques probabilistes 20/27
![Page 54: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/54.jpg)
Modele statistique
Modele parametrique – Definition:
Ensemble de distributions parametre par un vecteur θ ∈ Θ ⊂ Rp
PΘ ={
p(x |θ) | θ ∈ Θ}
Modele de Bernoulli: X ∼ Ber(θ) Θ = [0, 1]
p(x |θ) = θx(1− θ)(1−x)
Modele Binomial : X ∼ Bin(n, θ) Θ = [0, 1]
p(x |θ) =
(n
x
)θx(1− θ)(1−x)
Modele Multinomial: X ∼M(n, π1, π2, . . . , πK ) Θ = [0, 1]K
p(x |θ) =
(n
x1, . . . , xk
)π1
x1 . . . πkxk
Modeles graphiques probabilistes 21/27
![Page 55: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/55.jpg)
Modele statistique
Modele parametrique – Definition:
Ensemble de distributions parametre par un vecteur θ ∈ Θ ⊂ Rp
PΘ ={
p(x |θ) | θ ∈ Θ}
Modele de Bernoulli: X ∼ Ber(θ) Θ = [0, 1]
p(x |θ) = θx(1− θ)(1−x)
Modele Binomial : X ∼ Bin(n, θ) Θ = [0, 1]
p(x |θ) =
(n
x
)θx(1− θ)(1−x)
Modele Multinomial: X ∼M(n, π1, π2, . . . , πK ) Θ = [0, 1]K
p(x |θ) =
(n
x1, . . . , xk
)π1
x1 . . . πkxk
Modeles graphiques probabilistes 21/27
![Page 56: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/56.jpg)
Modele statistique
Modele parametrique – Definition:
Ensemble de distributions parametre par un vecteur θ ∈ Θ ⊂ Rp
PΘ ={
p(x |θ) | θ ∈ Θ}
Modele de Bernoulli: X ∼ Ber(θ) Θ = [0, 1]
p(x |θ) = θx(1− θ)(1−x)
Modele Binomial : X ∼ Bin(n, θ) Θ = [0, 1]
p(x |θ) =
(n
x
)θx(1− θ)(1−x)
Modele Multinomial: X ∼M(n, π1, π2, . . . , πK ) Θ = [0, 1]K
p(x |θ) =
(n
x1, . . . , xk
)π1
x1 . . . πkxk
Modeles graphiques probabilistes 21/27
![Page 57: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/57.jpg)
Modele statistique
Modele parametrique – Definition:
Ensemble de distributions parametre par un vecteur θ ∈ Θ ⊂ Rp
PΘ ={
p(x |θ) | θ ∈ Θ}
Modele de Bernoulli: X ∼ Ber(θ) Θ = [0, 1]
p(x |θ) = θx(1− θ)(1−x)
Modele Binomial : X ∼ Bin(n, θ) Θ = [0, 1]
p(x |θ) =
(n
x
)θx(1− θ)(1−x)
Modele Multinomial: X ∼M(n, π1, π2, . . . , πK ) Θ = [0, 1]K
p(x |θ) =
(n
x1, . . . , xk
)π1
x1 . . . πkxk
Modeles graphiques probabilistes 21/27
![Page 58: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/58.jpg)
Modele gaussien
Loi gaussienne reelle : X ∼ N (µ, σ2)
X une v.a. reelle, et θ =(µ, σ2
)∈ Θ = R× R∗+.
pµ,σ2 (x) =1√
2πσ2exp
(−1
2
(x − µ)2
σ2
)
Loi gaussienne multidimensionelle: X ∼ N (µ,Σ)
X v.a. a valeur dans Rd . Si Kn est ensemble des matrices n × n definiespositives, et θ = (µ,Σ) ∈ Θ = Rd ×Kn.
pµ,Σ (x) =1√
(2π)d det Σexp
(−1
2(x − µ)T Σ−1 (x − µ)
)
Modeles graphiques probabilistes 22/27
![Page 59: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/59.jpg)
Modele gaussien
Loi gaussienne reelle : X ∼ N (µ, σ2)
X une v.a. reelle, et θ =(µ, σ2
)∈ Θ = R× R∗+.
pµ,σ2 (x) =1√
2πσ2exp
(−1
2
(x − µ)2
σ2
)
Loi gaussienne multidimensionelle: X ∼ N (µ,Σ)
X v.a. a valeur dans Rd . Si Kn est ensemble des matrices n × n definiespositives, et θ = (µ,Σ) ∈ Θ = Rd ×Kn.
pµ,Σ (x) =1√
(2π)d det Σexp
(−1
2(x − µ)T Σ−1 (x − µ)
)
Modeles graphiques probabilistes 22/27
![Page 60: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/60.jpg)
Densites gaussiennes
Modeles graphiques probabilistes 23/27
![Page 61: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/61.jpg)
Densites gaussiennes
Modeles graphiques probabilistes 23/27
![Page 62: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/62.jpg)
Principe du Maximum de vraisemblance
Soit un modele PΘ ={
p(x |θ) | θ ∈ Θ}
Soit une observation x
Vraisemblance:
L : Θ → R+
θ 7→ p(x |θ)
Estimateur du maximum de vraisemblance:
θML = argmaxθ∈Θ
p(x |θ)Sir Ronald Fisher
(1890-1962)
Cas de donnees i.i.d
Pour (xi )1≤i≤n un echantillon de donnees i.i.d de taille n:
θML = argmaxθ∈Θ
n∏i=1
p(xi |θ) = argmaxθ∈Θ
n∑i=1
log p(xi |θ)
Modeles graphiques probabilistes 24/27
![Page 63: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/63.jpg)
Principe du Maximum de vraisemblance
Soit un modele PΘ ={
p(x |θ) | θ ∈ Θ}
Soit une observation x
Vraisemblance:
L : Θ → R+
θ 7→ p(x |θ)
Estimateur du maximum de vraisemblance:
θML = argmaxθ∈Θ
p(x |θ)Sir Ronald Fisher
(1890-1962)
Cas de donnees i.i.d
Pour (xi )1≤i≤n un echantillon de donnees i.i.d de taille n:
θML = argmaxθ∈Θ
n∏i=1
p(xi |θ) = argmaxθ∈Θ
n∑i=1
log p(xi |θ)
Modeles graphiques probabilistes 24/27
![Page 64: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/64.jpg)
Principe du Maximum de vraisemblance
Soit un modele PΘ ={
p(x |θ) | θ ∈ Θ}
Soit une observation x
Vraisemblance:
L : Θ → R+
θ 7→ p(x |θ)
Estimateur du maximum de vraisemblance:
θML = argmaxθ∈Θ
p(x |θ)Sir Ronald Fisher
(1890-1962)
Cas de donnees i.i.d
Pour (xi )1≤i≤n un echantillon de donnees i.i.d de taille n:
θML = argmaxθ∈Θ
n∏i=1
p(xi |θ) = argmaxθ∈Θ
n∑i=1
log p(xi |θ)
Modeles graphiques probabilistes 24/27
![Page 65: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/65.jpg)
Principe du Maximum de vraisemblance
Soit un modele PΘ ={
p(x |θ) | θ ∈ Θ}
Soit une observation x
Vraisemblance:
L : Θ → R+
θ 7→ p(x |θ)
Estimateur du maximum de vraisemblance:
θML = argmaxθ∈Θ
p(x |θ)Sir Ronald Fisher
(1890-1962)
Cas de donnees i.i.d
Pour (xi )1≤i≤n un echantillon de donnees i.i.d de taille n:
θML = argmaxθ∈Θ
n∏i=1
p(xi |θ) = argmaxθ∈Θ
n∑i=1
log p(xi |θ)
Modeles graphiques probabilistes 24/27
![Page 66: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/66.jpg)
Exemples de calculs de l’EMV
Modele de Bernoulli
Modele Multinomial
Modele Gaussien
Modeles graphiques probabilistes 25/27
![Page 67: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/67.jpg)
Estimation bayesienne
On traıte le parametre θ comme une variable aleatoire.
A priori
On dispose d’un a priori p (θ) sur les parametres du modele.
A posteriori
Les observations contribuent via la vraisemblance: p (x |θ).La probabilite a posteriori du modele est alors
p (θ|x) =p (x |θ) p (θ)
p (x)∝ p (x |θ) p (θ) .
→ L’estimateur bayesien est donc une distribution de probabilite surles parametres.
On parle d’inference bayesienne.
Modeles graphiques probabilistes 26/27
![Page 68: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/68.jpg)
Estimation bayesienne
On traıte le parametre θ comme une variable aleatoire.
A priori
On dispose d’un a priori p (θ) sur les parametres du modele.
A posteriori
Les observations contribuent via la vraisemblance: p (x |θ).La probabilite a posteriori du modele est alors
p (θ|x) =p (x |θ) p (θ)
p (x)∝ p (x |θ) p (θ) .
→ L’estimateur bayesien est donc une distribution de probabilite surles parametres.
On parle d’inference bayesienne.
Modeles graphiques probabilistes 26/27
![Page 69: Modèles graphiques probabilistesfbach/courses/fall2011/intro_cours_MVA... · 2011-10-11 · HREK heart rate measured by an EKG monitor HRSA heart rate / oxygen saturation. PAP pulmonary](https://reader033.fdocuments.fr/reader033/viewer/2022042122/5e9cd3056c25cc6b126624d6/html5/thumbnails/69.jpg)
References
Une bonne partie des illustrations et des notations de cet exposeproviennent du livre de Christopher Bishop:
Pattern Recognition and Machine Learning, 2006, Springer.http://research.microsoft.com/~cmbishop/PRML/
Modeles graphiques probabilistes 27/27