Habilitation a Diriger les...
Transcript of Habilitation a Diriger les...
Habilitation a Diriger les Recherches
Inference bayesienne dans des problemes inverses, myopes et aveuglesen traitement du signal et des images
Nicolas Dobigeon
Universite de Toulouse, IRIT/INP-ENSEEIHT
http://www.enseeiht.fr/[email protected]
Toulouse, 19 Octobre 2012
Nicolas DOBIGEON Habilitation a Diriger les Recherches 1 / 58
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 2 / 58
Synthese des activites
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 3 / 58
Synthese des activites
Curriculum-vitae
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 4 / 58
Synthese des activites
Curriculum-vitae
Curriculum-vitae
Situation actuelle· Maıtre de Conferences a l’INP-ENSEEIHT (Universite de Toulouse)
Departement “Electronique et Traitement du Signal”
· Equipe de recherche “Signal et Communications” de l’IRIT (UMR CNRS 5505)
Formation· 2007 : Doctorat de l’INP Toulouse, Specialite “Signal, Image, Acoustique”
Titre : Modeles bayesiens hierarchiques pour le traitement multi-capteurDirecteur : J.-Y. Tourneret (Professeur INPT)Rapporteurs : J. Idier (DR IRCCyN), E. Moulines (Professeur ENST),Examinateurs : P. Flandrin (DR ENSL), M. Davy (CR LAGIS), E. Christophe (IR CNES)
· 2004 : D.E.A. de l’INP Toulouse, Specialite “Signal, Image, Acoustique”
· 2004 : Ingenieur ENSEEIHT, Electronique et Traitement du Signal
Postes occupes· 2008-... : Maıtre de Conferences a l’INP-ENSEEIHT, Section 61
· 2007-2008 : Chercheur post-doctoral a l’Universite du Michigan (financement DGA)
· 2004-2007 : Allocataire-moniteur a l’IRIT/INP-ENSEEIHT
· 2004 (6 mois) : Stagiaire a l’ONERA, Dept. Optique Theorique et Appliquee (DOTA)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 5 / 58
Synthese des activites
Activites pedagogiques
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 6 / 58
Synthese des activites
Activites pedagogiques
Enseignements
Volume horaire depuis 2010 : environ 270 heures (ETD) par an.
Outils theoriques· Probabilites (Cours, TD)
· Statistique (Cours, TD, TP)
· Variable complexe (Cours, TD)
Bases du traitement du signal· Traitement du signal (Cours, TD)
· Traitement numerique du signal (Cours, TD)
Methodes avancees en traitement du signal· Traitement numerique du signal (Cours, TD)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 7 / 58
Synthese des activites
Activites pedagogiques
Responsabilites pedagogiques
Encadrement de projets· Module d’Approfondissement (2ieme annee)
20 heures, Segmentation d’images SAR
· Projets longs (3ieme annee)
3 ou 4 etudiants, 6 semaines
- 2012 : apprentissage de dictionnaire pour la teledetection- 2011 : fusion d’images multi-bandes- 2010 : traitements non-lineaires d’images hyperspectrales
Charges collectivesAu sein du Departement “Electronique et Traitement du Signal” :
· Membre elu du Conseil de Departement, depuis 2011
· Responsable de l’annee de specialisation “Traitement du Signal et des Images”, depuis 2011emploi du temps, gestion des intervenants, suivi pedagogique, gestion de l’evaluation
· Responsable de l’Unite d’Enseignement “Traitement du Signal” (1iere annee), depuis 2011gestion des intervenants, suivi pedagogique
· Responsable du Module d’Approfondissement “Signal & Image” (2ieme annee), 2010-2011gestion des intervenants, suivi pedagogique
Nicolas DOBIGEON Habilitation a Diriger les Recherches 8 / 58
Synthese des activites
Activites de recherche
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 9 / 58
Synthese des activites
Activites de recherche
Encadrements
Co-endadrements de these· Qi Wei, depuis Sept. 2012, Bourse CSC
Fusion d’images multi-bandes
· Yoann Altmann, depuis Sept. 2010, Bourse DGADemelange non-lineaire d’images hyperspectrales
· Cecile Bazot, depuis Sept. 2009, Bourse MESRMethodes bayesiennes pour l’analyse genetique
· Olivier Eches, these soutenue en Sept. 2010, Bourse MESRDemelange bayesien d’images hyperspectrales
Autres collaborateurs (post-)doctorants· Zacharie Irace (IRIT/TCI), depuis Fev. 2011
Segmentation d’images TEP
· Celine Quinsac (IRIT/TCI), Sept. 2010 – Sept. 2011Echantillonnage compresse en imagerie ultrasonore
· Marcelo Pereyra (IRIT/TCI), depuis Mai 2010Analyse d’images ultrasonores
· Se Un Park (Univ. of Michigan), depuis Mars 2009Reconstruction d’images MRFM
Nicolas DOBIGEON Habilitation a Diriger les Recherches 10 / 58
Synthese des activites
Activites de recherche
Financements
Projets de recherche· Projet ANR (participant), demarrage fin 2012
Algorithmes de demelange non lineaire de donnees hyperspectralesPartenaires : Lab. Lagrange (Nice), GIPSA-lab (Grenoble), STMR (Troyes)
· Projet PEPS-Rupture (porteur), 2011-2012Estimation de l’ordre dans les modeles a factorisation matriciellePartenaire : Cedric Fevotte (CNRS/LTCI, Telecom ParisTech)
· Projet BQR (co-porteur), 2011-2012Mission d’acquisition de donnees hyperspectrales par capteurs aeroportesPartenaires : DYNAFOR (Toulouse), Purpan EI (Toulouse)
· Projet “Jeunes Chercheurs” GdR-ISIS (participant), 2007-2008Methodes MCMC pour l’analyse d’images hyperspectralesPartenaire : IRCCyN (Nantes)
Activites contractuelles· Contrat CLS/CNES, 2012
Algorithme de reconstruction de donnees de l’instrument MADRAS
· Contrat R&T CNES, 2011-2012Apprentissage de dictionnaire pour l’analyse d’images de teledetection
· Contrat R&T CNES, 2009-2010Desentrelacement des mesures TDOA et FDOA
Nicolas DOBIGEON Habilitation a Diriger les Recherches 11 / 58
Synthese des activites
Activites de recherche
Implication dans la communaute scientifique
Activites d’animation· Co-organisateur, session speciale a EUSIPCO 2013 (soumis)
· Membre du comite technique, EUSIPCO 2012
· Co-organisateur & co-chairman, reunion GdR ISIS, Fevrier 2012
· Co-organisateur & co-chairman, session speciale a MaxEnt 2012
· Co-chairman, session speciale a IEEE WHISPERS 2009
· Benevole volontaire, IEEE ICASSP 2006
Evaluations et expertises· Membre nomme du CNU 61, Septembre 2012
· Evaluation de projets academiques : UEFISCDI (Roumanie), FWO (Belgique),IT (Portugal), BELSPO (Belgique), UTT (France)
· Comites de selection : UJF Grenoble (vivier externe 61, poste MCF1222),UNSA (vivier externe 61), INPT (vivier interne 61/63)
· Activites de relecture : plusieurs journaux et conferencesBest Reviewer Award, IEEE Geosc. Remote Sens. Letters, 2011
Diffusion aupres du grand public· Mediation scientifique, Les mathematiques au service de la sante, Mai 2012
· Interviews, La Depeche du Midi, Le Figaro, Sante Magazine, Science & Vie..., 2011-2012
· Co-organisateur & co-chairman, “Rencontres CNRS Jeunes”, Mai 2006
Nicolas DOBIGEON Habilitation a Diriger les Recherches 12 / 58
Synthese des activites
Activites de recherche
Collaborations
Collaborations internationales· University of Michigan : A. O. Hero
· University of Edinburgh : S. McLaughlin
· Vienna University of Technology : F. Hlawatsch
· University of Maryland Baltimore County : C.-I Chang
· NASA Ames Research Center : J. D. Scargle
Collaborations nationales· INP Toulouse : J.-Y. Tourneret, H. Batatia
· Universite de Toulouse : D. Kouame, A. Basarab
· ISAE-ENSICA : O. Besson
· Ecole Centrale Nantes : S. Moussaoui
· Universite Paris-Sud (IDES) : F. Schmidt
· Universite Paris-Sud (LPS) : N. Brun
Nicolas DOBIGEON Habilitation a Diriger les Recherches 13 / 58
Travaux de recherche
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 14 / 58
Travaux de recherche
Cadre general des travaux
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 15 / 58
Travaux de recherche
Cadre general des travaux
Problemes inverses, myopes et aveugles
Nicolas DOBIGEON Habilitation a Diriger les Recherches 16 / 58
Travaux de recherche
Cadre general des travaux
Problemes inverses, myopes et aveugles
Nicolas DOBIGEON Habilitation a Diriger les Recherches 16 / 58
Travaux de recherche
Cadre general des travaux
Problemes inverses, myopes et aveugles
Nicolas DOBIGEON Habilitation a Diriger les Recherches 16 / 58
Travaux de recherche
Cadre general des travaux
Problemes inverses, myopes et aveugles
T : RM → RN
x 7→ y = T (x)
Hypotheses relatives au modele T
· parfaitement connu : probleme inverseT non-inversible : probleme mal-pose⇒ besoin d’une regularisation
· partiellement connu : probleme myope (semi-aveugle)
T connu via une forme parametrique Tθ(x), θ = [θ1, . . . , θK ]T
⇒ estimation conjointe de x et θ
· totalement inconnu : probleme aveugle⇒ besoin d’hypotheses supplementairesexemple : T lineaire
- deconvolution y(n) = h(n) ∗ x(n)- separation aveugle de source y(n) = Ax(n)- factorisation matricielle Y = MX
Nicolas DOBIGEON Habilitation a Diriger les Recherches 17 / 58
Travaux de recherche
Cadre general des travaux
Problemes inverses, myopes et aveugles
T : RM → RN
x 7→ y = T (x)
Hypotheses relatives au modele T
· parfaitement connu : probleme inverseT non-inversible : probleme mal-pose⇒ besoin d’une regularisation
· partiellement connu : probleme myope (semi-aveugle)
T connu via une forme parametrique Tθ(x), θ = [θ1, . . . , θK ]T
⇒ estimation conjointe de x et θ
· totalement inconnu : probleme aveugle⇒ besoin d’hypotheses supplementairesexemple : T lineaire
- deconvolution y(n) = h(n) ∗ x(n)- separation aveugle de source y(n) = Ax(n)- factorisation matricielle Y = MX
Nicolas DOBIGEON Habilitation a Diriger les Recherches 17 / 58
Travaux de recherche
Cadre general des travaux
Problemes inverses, myopes et aveugles
T : RM → RN
x 7→ y = T (x)
Hypotheses relatives au modele T
· parfaitement connu : probleme inverseT non-inversible : probleme mal-pose⇒ besoin d’une regularisation
· partiellement connu : probleme myope (semi-aveugle)
T connu via une forme parametrique Tθ(x), θ = [θ1, . . . , θK ]T
⇒ estimation conjointe de x et θ
· totalement inconnu : probleme aveugle⇒ besoin d’hypotheses supplementairesexemple : T lineaire
- deconvolution y(n) = h(n) ∗ x(n)- separation aveugle de source y(n) = Ax(n)- factorisation matricielle Y = MX
Nicolas DOBIGEON Habilitation a Diriger les Recherches 17 / 58
Travaux de recherche
Cadre general des travaux
Inversion et regularisation1
Formulation probabiliste bayesienne
Comment choisir une solution dans l’espace des solutions admissibles ?
⇓introduction de penalites et/ou de contraintes
(guide par l’application visee)
Construction du critere
· y|x ∼ f (y|x) : terme d’attache aux donnees
· x ∼ f (x) : penalites et contraintes
Calcul d’un estimateur bayesien a partir de la loi a posteriori
f (x|y) =1
f (y)f (y|x) f (x)
· xMMSE = E [x|y] =∫
xf (x|y) dx
· xMAP = argmaxx f (x|y)
1Emprunt a l’Habilitation a Diriger les Recherches de J.-F. Giovannelli.Nicolas DOBIGEON Habilitation a Diriger les Recherches 18 / 58
Travaux de recherche
Cadre general des travaux
Inversion et regularisation1
Formulation probabiliste bayesienne
Comment choisir une solution dans l’espace des solutions admissibles ?⇓
introduction de penalites et/ou de contraintes(guide par l’application visee)
Construction du critere
· y|x ∼ f (y|x) : terme d’attache aux donnees
· x ∼ f (x) : penalites et contraintes
Calcul d’un estimateur bayesien a partir de la loi a posteriori
f (x|y) =1
f (y)f (y|x) f (x)
· xMMSE = E [x|y] =∫
xf (x|y) dx
· xMAP = argmaxx f (x|y)
1Emprunt a l’Habilitation a Diriger les Recherches de J.-F. Giovannelli.Nicolas DOBIGEON Habilitation a Diriger les Recherches 18 / 58
Travaux de recherche
Cadre general des travaux
Inversion et regularisation
1
Formulation probabiliste bayesienne
Difficultes· Choix des hyperparametres φ caracterisant le modele a priori
· Optimisation/integration du critere
Solutions· Introduction d’un deuxieme niveau dans le modele bayesien,
φ ∼ f (φ)
puis marginalisation :
f (x|y) =1
f (y)
∫f (y|x) f (x|φ) f (φ) dφ
· Recours a des methodes de Monte Carlo par chaıne de Markov
xMMSE = E [x|y] ≈ 1
NMC
NMC∑t=1
x(t) avec x(t) ∼ f (x|y)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 19 / 58
Travaux de recherche
Cadre general des travaux
Inversion et regularisation
1
Formulation probabiliste bayesienne
Difficultes· Choix des hyperparametres φ caracterisant le modele a priori
· Optimisation/integration du critere
Solutions· Introduction d’un deuxieme niveau dans le modele bayesien,
φ ∼ f (φ)
puis marginalisation :
f (x|y) =1
f (y)
∫f (y|x) f (x|φ) f (φ) dφ
· Recours a des methodes de Monte Carlo par chaıne de Markov
xMMSE = E [x|y] ≈ 1
NMC
NMC∑t=1
x(t) avec x(t) ∼ f (x|y)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 19 / 58
Travaux de recherche
Cadre general des travaux
En traitement du signal et des images...
· Depuis 2005 : analyse d’images hyperspectrales
- demelange spectral- classification/segmentation- detection de melanges non-lineaires
· Depuis 2005 : demelange lineaire en spectroscopie
- spectroscopie infrarouge- microscopie EELS
· Depuis 2008 : reconstruction d’images parcimonieuses
· Depuis 2008 : analyse de donnees genetiques
· Depuis 2010 : analyse d’images ultrasonores
- classification/segmentation- echantillonnage compresse
· Depuis 2011 : estimation de sous-espaces
Nicolas DOBIGEON Habilitation a Diriger les Recherches 20 / 58
Travaux de recherche
Cadre general des travaux
En traitement du signal et des images...
· Depuis 2005 : analyse d’images hyperspectrales
- demelange spectral- classification/segmentation- detection de melanges non-lineaires
· Depuis 2005 : demelange lineaire en spectroscopie
- spectroscopie infrarouge- microscopie EELS
· Depuis 2008 : reconstruction d’images parcimonieuses
· Depuis 2008 : analyse de donnees genetiques
· Depuis 2010 : analyse d’images ultrasonores
- classification/segmentation- echantillonnage compresse
· Depuis 2011 : estimation de sous-espaces
Nicolas DOBIGEON Habilitation a Diriger les Recherches 20 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 21 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Imagerie hyperspectrale
Images hyperspectrales
· meme scene observee a plusieurs longueurs d’onde,
· pixel represente par un vecteur de centaines de mesures.
Cube hyperspectral
Nicolas DOBIGEON Habilitation a Diriger les Recherches 22 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Imagerie hyperspectrale
Images hyperspectrales
· meme scene observee a plusieurs longueurs d’onde,
· pixel represente par un vecteur de centaines de mesures.
Cube hyperspectral
Nicolas DOBIGEON Habilitation a Diriger les Recherches 22 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Imagerie hyperspectrale
Images hyperspectrales
· meme scene observee a plusieurs longueurs d’onde,
· pixel represente par un vecteur de centaines de mesures.
Cube hyperspectral
Nicolas DOBIGEON Habilitation a Diriger les Recherches 23 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Imagerie hyperspectrale
Images hyperspectrales
· meme scene observee a plusieurs longueurs d’onde,
· pixel represente par un vecteur de centaines de mesures.
Cube hyperspectral
Nicolas DOBIGEON Habilitation a Diriger les Recherches 23 / 58
Travaux de recherche
Demelange d’images hyperspectrales
de
Melange spectral lineaire
...
Modele de melange lineaire (MML) : yp =∑R
r=1 mrar ,p + np
Reference : IEEE Signal Proc. Magazine, Jan. 2002.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 24 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange spectral lineaire
...
Modele de melange lineaire (MML) : yp =∑R
r=1 mrar ,p + np
· L = 825(0.4µm→ 2.5µm),
· R = 3 :
- brique rouge,- beton,- herbe verte,
· ap = [0.3, 0.6, 0.1]T ,
· SNR ≈ 20dB.
Probleme
Estimation de ap sous des contraintes de positivite et additiviteet m1, . . . ,mR sous des contraintes de positivite.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 25 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange spectral lineaire
...
Modele de melange lineaire (MML) : yp =∑R
r=1 mrar ,p + np
· L = 825(0.4µm→ 2.5µm),
· R = 3 :
- brique rouge,- beton,- herbe verte,
· ap = [0.3, 0.6, 0.1]T ,
· SNR ≈ 20dB.
Probleme
Estimation de ap sous des contraintes de positivite et additiviteet m1, . . . ,mR sous des contraintes de positivite.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 25 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange spectral lineaire...... et applications y1,p
...yL,p
=
m1 . . . mR
a1,p
...aR,p
p = 1, . . . ,P
Imagerie multi-bande
· teledetection2, astronomique3, EELS4,...
· parametre d’evolution : indice du pixel dans l’image.
Analyse spectrochimique
· Raman5, NIR6,...
· parametre d’evolution : temps, temperature,...
Analyse genetique
· analyse factorielle des donnees d’expression genetique7
· parametre d’evolution : temps, sujet, traitement,...
2Bioucas-Dias et al., IEEE JSTSP, 2012. 3Schmidt et al., IEEE TGRS, 2010. 4Dobigeon andBrun, Ultramicroscopy, 2012. 5Dobigeon et al., SP, 2009. 6Moussaoui et al., IEEE TSP, 2006.7Huang et al., PLoS Genetics, 2011.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 26 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange spectral lineaire
...
Modele de melange lineaire (MML) : yp =∑R
r=1 mrar ,p + np
· Cas supervise : m1, . . . ,mR connus,
· Cas semi-supervise : m1, . . . ,mR partiellement connus (e.g., les mr
appartiennent a une bibliotheque),
· Cas non-supervise : m1, . . . ,mR sont inconnus.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 27 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange spectral lineaire
...
Modele de melange lineaire (MML) : yp =∑R
r=1 mrar ,p + np
· Cas supervise : m1, . . . ,mR connus,
· Cas semi-supervise : m1, . . . ,mR partiellement connus (e.g., les mr
appartiennent a une bibliotheque),
· Cas non-supervise : m1, . . . ,mR sont inconnus.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 27 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange lineaire non-supervise
Lois a priori des poles de melange (spectres purs)
Dans l’espace des observations :
· Pour les spectres d’absorbance : exploiter le caractere parcimonieuxex : spectrochimie [Dobigeon, Moussaoui et al, Signal Processing, 2009]
· Pour les spectres de reflectance : quelles caracteristiques ?
Solution retenue : lois a priori definies dans un sous-espace approprie !
Nicolas DOBIGEON Habilitation a Diriger les Recherches 28 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange lineaire non-supervise
Lois a priori des poles de melange (spectres purs)Dans l’espace des observations :
· Pour les spectres d’absorbance : exploiter le caractere parcimonieuxex : spectrochimie [Dobigeon, Moussaoui et al, Signal Processing, 2009]
· Pour les spectres de reflectance : quelles caracteristiques ?
Solution retenue : lois a priori definies dans un sous-espace approprie !
Nicolas DOBIGEON Habilitation a Diriger les Recherches 28 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange lineaire non-supervise
Lois a priori des poles de melange (spectres purs)Dans l’espace des observations :
· Pour les spectres d’absorbance : exploiter le caractere parcimonieuxex : spectrochimie [Dobigeon, Moussaoui et al, Signal Processing, 2009]
· Pour les spectres de reflectance : quelles caracteristiques ?
Solution retenue : lois a priori definies dans un sous-espace approprie !
Nicolas DOBIGEON Habilitation a Diriger les Recherches 28 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange lineaire non-supervise[Dobigeon et al, IEEE Trans. SP, 2009]
Donnees AVIRIS
· Image : 50× 50 pixels (Moffett field), L = 224 bandes.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 29 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Demelange lineaire non-supervise[Dobigeon et al, IEEE Trans. SP, 2009]
Donnees AVIRIS
· Image : 50× 50 pixels (Moffett field), L = 224 bandes.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 30 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Application a des donnees genetiques[Huang et al, PLoS Genetics, 2011]
Donnees analysees· 267 echantillons de sang collectes au cours du temps chez 17 sujets
volontaires apres inoculation de la grippe A (H3N2).· expressions de plus de 12000 genes dans chaque echantillon preleve.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 31 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Application a des donnees genetiques[Huang et al, PLoS Genetics, 2011]
Donnees analysees· 267 echantillons de sang collectes au cours du temps chez 17 sujets
volontaires apres inoculation de la grippe A (H3N2).· expressions de plus de 12000 genes dans chaque echantillon preleve.
Resultats· identification d’un groupe de genes implique dans l’apparition des
symptomes (facteur inflammatoire)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 31 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Application a des donnees genetiques[Huang et al, PLoS Genetics, 2011]
Donnees analysees· 267 echantillons de sang collectes au cours du temps chez 17 sujets
volontaires apres inoculation de la grippe A (H3N2).· expressions de plus de 12000 genes dans chaque echantillon preleve.
Resultats· identification d’un groupe de genes implique dans l’apparition des
symptomes (facteur inflammatoire)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 31 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Application a des donnees genetiques[Huang et al, PLoS Genetics, 2011]
Donnees analysees· 267 echantillons de sang collectes au cours du temps chez 17 sujets
volontaires apres inoculation de la grippe A (H3N2).· expressions de plus de 12000 genes dans chaque echantillon preleve.
Resultats· identification d’un groupe de genes implique dans l’apparition des
symptomes (facteur inflammatoire)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 31 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Exploitation de la correlation spatialeTravaux de these d’Olivier Eches (2007-2010)
Introduction des dependances spatiales
· entre les pixels ? f (Y|M,A) 6=∏P
i=1 f (yi |M, ai )
· entre les vecteurs d’abondances3 ? f (A) 6=∏P
i=1 f (ai )
· a un niveau plus haut dans la hierarchie bayesienne ?→ demarche adoptee...
3Kent and Mardia, IEEE PAMI, 1988.Nicolas DOBIGEON Habilitation a Diriger les Recherches 32 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Exploitation de la correlation spatialeTravaux de these d’Olivier Eches (2007-2010)
Introduction des dependances spatiales
· entre les pixels ? f (Y|M,A) 6=∏P
i=1 f (yi |M, ai )
· entre les vecteurs d’abondances3 ? f (A) 6=∏P
i=1 f (ai )
· a un niveau plus haut dans la hierarchie bayesienne ?→ demarche adoptee...
3Kent and Mardia, IEEE PAMI, 1988.Nicolas DOBIGEON Habilitation a Diriger les Recherches 32 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Exploitation de la correlation spatialeTravaux de these d’Olivier Eches (2007-2010)
Introduction des dependances spatiales
· entre les pixels ? f (Y|M,A) 6=∏P
i=1 f (yi |M, ai )
· entre les vecteurs d’abondances3 ? f (A) 6=∏P
i=1 f (ai )
· a un niveau plus haut dans la hierarchie bayesienne ?→ demarche adoptee...
3Kent and Mardia, IEEE PAMI, 1988.Nicolas DOBIGEON Habilitation a Diriger les Recherches 32 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Exploitation de la correlation spatialeTravaux de these d’Olivier Eches (2007-2010)
· Image de P pixels divisee en K regions homogenes I1, . . . , IK
· Introduction de variables indicatrices (cachees) : zp = k ⇔ p ∈ Ik
· Abondances de moyenne et covarianceidentiques au sein de chaque classe
· Modele de Potts-Markov pour zp
f (z) =1
G (β)exp
β P∑p=1
∑p′∈V
δ (zp − zp′)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 33 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Exploitation de la correlation spatiale[Eches et al., IEEE TGRS, 2010]
Donnees AVIRIS
· Image : 50× 50 pixels (Moffett field), L = 224 bandes.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 34 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Exploitation de la correlation spatiale[Eches et al., IEEE TGRS, 2010]
Donnees AVIRIS
· Image : 50× 50 pixels (Moffett field), L = 224 bandes.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 34 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Application a l’imagerie ultrasonore[Pereyra et al., IEEE TMI, 2012]
Image 3D de la peau· Detection de melanome (ROI = 100× 100× 3)
(a) Derme avec lesion cutanee.
(b) ROI (slice 2) (c) Modele Potts-Markov (d) Labels independants
Nicolas DOBIGEON Habilitation a Diriger les Recherches 35 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Modeles de melange non-lineairesTravaux de these de Yoann Altmann (2010-...)
· presence d’interactions entre les composants physiques de la scene
· termes non-lineaires dans le modele de melange
Nicolas DOBIGEON Habilitation a Diriger les Recherches 36 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Modele bilineaire generalise[Halimi et al., IEEE TGRS, 2011]
Definition
y =R∑
r=1
ar mr︸ ︷︷ ︸terme lineaire
+R−1∑i=1
R∑j=i+1
γi,jaiaj mi �mj︸ ︷︷ ︸terme d’interaction
+ n
Proprietes
· Absence de mi ⇒ ai = 0 ⇒ pas de non-linearites mi mj ,
· Generalisation des modeles de melanges existants
- γi,j = 0, ∀i , j , → modele lineaire- γi,j = 1, ∀i , j , → modele de Fan4
· Interactions entre mi et mj quantifiees avec γi,j .
4Fan et al., Int. J. Remote Sensing, 2009.Nicolas DOBIGEON Habilitation a Diriger les Recherches 37 / 58
Travaux de recherche
Demelange d’images hyperspectrales
Modele bilineaire generalise[Halimi et al., IEEE TGRS, 2011]
Donnees AVIRIS
· Image : 50× 50 pixels (Moffett field), L = 224 bandes.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 38 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 39 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reconstruction d’images parcimonieuses
Magnetic Resonance Force Microscopy (MRFM)· methode d’imagerie non-destructive,
· resolution potentiellement atomique,
· images 2D ou 3D.
Schema experimental
Nicolas DOBIGEON Habilitation a Diriger les Recherches 40 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Formulation du probleme
Probleme inverse standard
L’equation d’observation est :
y = T (κ, x) + n,
avec
· y = [y1, . . . , yN ]T : un ensemble de N projections observees,
· x = [x1, . . . , xM ]T : image inconnue vectorisee lexicographiquement,
· n : un vecteur bruit de dimension N × 1.
· T (·, ·) : fonction bilineaire (e.g., operation de convolution...),
· κ : reponse de l’imageur,
Probleme
Estimation de x sous des contraintes de positivite et parcimonie.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 41 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Formulation du probleme
Probleme inverse standard
L’equation d’observation est :
y = T (κ, x) + n,
avec
· y = [y1, . . . , yN ]T : un ensemble de N projections observees,
· x = [x1, . . . , xM ]T : image inconnue vectorisee lexicographiquement,
· n : un vecteur bruit de dimension N × 1.
· T (·, ·) : fonction bilineaire (e.g., operation de convolution...),
· κ : reponse de l’imageur,
Probleme
Estimation de x sous des contraintes de positivite et parcimonie.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 41 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Modele bayesien hierarchique
Modele a priori des pixels de l’imageChoix naturel : une loi exponentielle definie par
ga (xi ) =1
aexp
(−xi
a
)1R∗+ (xi ) ,
Estimateur MAP de x≈
estimateur du maximum de vraisemblance penalise `1 (LASSO)
Choix propose : melange de lois
f (xi |w , a) = (1− w)δ (xi ) + wga (xi ) ,
ou δ (·) est une masse en 0.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 42 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Modele bayesien hierarchique
Modele a priori des pixels de l’imageChoix naturel : une loi exponentielle definie par
ga (xi ) =1
aexp
(−xi
a
)1R∗+ (xi ) ,
Estimateur MAP de x≈
estimateur du maximum de vraisemblance penalise `1 (LASSO)
Choix propose : melange de lois
f (xi |w , a) = (1− w)δ (xi ) + wga (xi ) ,
ou δ (·) est une masse en 0.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 42 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Modele bayesien hierarchique
Modele a priori des pixels de l’imageChoix naturel : une loi exponentielle definie par
ga (xi ) =1
aexp
(−xi
a
)1R∗+ (xi ) ,
Estimateur MAP de x≈
estimateur du maximum de vraisemblance penalise `1 (LASSO)
Choix propose : melange de lois
f (xi |w , a) = (1− w)δ (xi ) + wga (xi ) ,
ou δ (·) est une masse en 0.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 42 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Application a des donnees MRFM[Dobigeon et al., IEEE TIP, 2009.]
Donnees MRFM
· Un echantillon du virus du tabac, image 3D, sous echantillonnee(dx = 3, dy = 2, dz = 3).
Nicolas DOBIGEON Habilitation a Diriger les Recherches 43 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Application a des donnees MRFM[Dobigeon et al., IEEE TIP, 2009.]
Donnees MRFM
· Un echantillon du virus du tabac, image 3D, sous echantillonnee(dx = 3, dy = 2, dz = 3).
Nicolas DOBIGEON Habilitation a Diriger les Recherches 43 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Application a des donnees MRFM[Dobigeon et al., IEEE TIP, 2009.]
Nicolas DOBIGEON Habilitation a Diriger les Recherches 44 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Application a des donnees MRFM[Dobigeon et al., IEEE TIP, 2009.]
Nicolas DOBIGEON Habilitation a Diriger les Recherches 44 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Application a des images ultrasonores[Dobigeon et al., EUSIPCO, 2012.]
Echantillonnage compresse d’images US· Masquage spatial realiste et reconstruction dans l’espace K .
Fig.: (a) Image reelle, (b) Image mesuree, (c) Image reconstruite paroptimisation, (d) Image reconstruite par la methode proposee.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 45 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reponse de l’imageur partiellement connue
Fonction d’etalement 3D decrite analytiquement par
κ = κ (η1, . . . , ηK )
ou η1, . . . , ηK sont des parametres fixes par le protocole experimental :
· rayon de la sonde (η1 = R),
· champ externe (η2 = Bext),
· moment de la sonde (η3 = m),
· etc.
devant satisfaire des conditions de resonance.
Probleme
η1, . . . , ηK regles experimentalement = incertitude sur la reponse κ⇒ estimation conjointe de l’image x et de la reponse κ
Nicolas DOBIGEON Habilitation a Diriger les Recherches 46 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reponse de l’imageur partiellement connue
Reference : C. L. Degen et al., Proc. Nat. Academy of Science, 2009.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 46 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reponse de l’imageur partiellement connue
Fonction d’etalement 3D decrite analytiquement par
κ = κ (η1, . . . , ηK )
ou η1, . . . , ηK sont des parametres fixes par le protocole experimental :
· rayon de la sonde (η1 = R),
· champ externe (η2 = Bext),
· moment de la sonde (η3 = m),
· etc.
devant satisfaire des conditions de resonance.
Probleme
η1, . . . , ηK regles experimentalement = incertitude sur la reponse κ⇒ estimation conjointe de l’image x et de la reponse κ
Nicolas DOBIGEON Habilitation a Diriger les Recherches 46 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reconstruction myope
Methode de reference : approche parametrique5
· Choix de lois a priori f (η) pour les η1, . . . , ηK ,
· Calcul de la loi jointe f (x,η|y) ∝ f (y|x,η) f (x) f (η),
· Generation d’echantillons{
x(t), η(t)}
par algorithme de Gibbs.
Mais deux problemes :
· Besoin de recalculer κ (·) a chaque mise a jour des parametres→ cout calculatoire prohibitif
· Aucune contrainte sur les parametres→ solution non realiste (conditions de resonance non assurees)
5Orieux et al., JOSA, 2010.Nicolas DOBIGEON Habilitation a Diriger les Recherches 47 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reconstruction myope
Methode de reference : approche parametrique5
· Choix de lois a priori f (η) pour les η1, . . . , ηK ,
· Calcul de la loi jointe f (x,η|y) ∝ f (y|x,η) f (x) f (η),
· Generation d’echantillons{
x(t), η(t)}
par algorithme de Gibbs.
Mais deux problemes :
· Besoin de recalculer κ (·) a chaque mise a jour des parametres→ cout calculatoire prohibitif
· Aucune contrainte sur les parametres→ solution non realiste (conditions de resonance non assurees)
5Orieux et al., JOSA, 2010.Nicolas DOBIGEON Habilitation a Diriger les Recherches 47 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reconstruction myope
Solution proposee : decomposition sur une base de fonctions
· Reponse connue a une perturbation pres κ = κ0 + ∆κ,
· Erreur de modele decomposee sur une base d’elements propres deparametres λ = [λ1, . . . , λL]T : ∆κ =
∑Ll=1 λl vl ,
· Choix de lois a priori f (λ) pour les λ1, . . . , λL,
· Calcul de la loi jointe f (x,λ|y) ∝ f (y|x,λ) f (x) f (λ),
· Generation d’echantillons{
x(t), λ(t)}
par algorithme de Gibbs.
Les avantages :
· Critere lineaire en λ1, . . . , λL
→ strategie de mise a jour recursive→ pas de calcul de la fonction d’etalement κ a chaque mise a jour
· La solution vit dans l’espace engendre par v1, . . . , vL
→ solution realiste
Nicolas DOBIGEON Habilitation a Diriger les Recherches 48 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reconstruction myope
Solution proposee : decomposition sur une base de fonctions
· Reponse connue a une perturbation pres κ = κ0 + ∆κ,
· Erreur de modele decomposee sur une base d’elements propres deparametres λ = [λ1, . . . , λL]T : ∆κ =
∑Ll=1 λl vl ,
· Choix de lois a priori f (λ) pour les λ1, . . . , λL,
· Calcul de la loi jointe f (x,λ|y) ∝ f (y|x,λ) f (x) f (λ),
· Generation d’echantillons{
x(t), λ(t)}
par algorithme de Gibbs.
Les avantages :
· Critere lineaire en λ1, . . . , λL
→ strategie de mise a jour recursive→ pas de calcul de la fonction d’etalement κ a chaque mise a jour
· La solution vit dans l’espace engendre par v1, . . . , vL
→ solution realiste
Nicolas DOBIGEON Habilitation a Diriger les Recherches 48 / 58
Travaux de recherche
Reconstruction d’images parcimonieuses
Reconstruction myope[Park et al., IEEE TIP, 2012]
Donnees MRFM
· Un echantillon du virus du tabac, image 3D, sous echantillonnee(dx = 3, dy = 2, dz = 3).
Nicolas DOBIGEON Habilitation a Diriger les Recherches 49 / 58
Bilan et perspectives
Sommaire de la presentation
Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche
Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales
Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire
Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope
Bilan et perspectives
Nicolas DOBIGEON Habilitation a Diriger les Recherches 50 / 58
Bilan et perspectives
Bilan des activites
Nicolas DOBIGEON Habilitation a Diriger les Recherches 51 / 58
Bilan et perspectives
Enjeux et verrousAlgorithmes MCMC et geometrie
Dans nos travaux
Solution basee sur l’echantillonnage du critere d’interet (loi a posteriori)
Limitations
· grande dimension de l’espace des parametres (image)→ temps de convergence
· correlations intrinseques entre les parametres→ exploration inefficace
Comment, en grande dimension, explorerefficacement les regions d’interets ?
Nicolas DOBIGEON Habilitation a Diriger les Recherches 52 / 58
Bilan et perspectives
Enjeux et verrousAlgorithmes MCMC et geometrie
Dans nos travaux
Solution basee sur l’echantillonnage du critere d’interet (loi a posteriori)
Limitations
· grande dimension de l’espace des parametres (image)→ temps de convergence
· correlations intrinseques entre les parametres→ exploration inefficace
Comment, en grande dimension, explorerefficacement les regions d’interets ?
Nicolas DOBIGEON Habilitation a Diriger les Recherches 52 / 58
Bilan et perspectives
Enjeux et verrousAlgorithmes MCMC et geometrie
Algorithmes de Monte Carlo hybrides
Mouvements de Metropolis-Hastings definis par des candidats
x(?) = x(t) + ∆x(t)
ou ∆x exploite la forme du critere (e.g., le gradient).
Avantages
· mouvements dans des espaces de grande dimension
· mouvements dans des directions pertinentes
+ gradient depend du choix de la metrique.
Nicolas DOBIGEON Habilitation a Diriger les Recherches 53 / 58
Bilan et perspectives
Enjeux et verrousOrdre et selection de modele
Dans nos travaux (problemes aveugles)
Ordre du modele (e.g., nombre de sources) connu.
Limitations
· Qualite de l’estimation depend de l’ordre
· Expertise a priori de l’operateur necessaire
Comment estimer conjointement la dimension de l’espace d’interet ?
Nicolas DOBIGEON Habilitation a Diriger les Recherches 54 / 58
Bilan et perspectives
Enjeux et verrousOrdre et selection de modele
Dans nos travaux (problemes aveugles)
Ordre du modele (e.g., nombre de sources) connu.
Limitations
· Qualite de l’estimation depend de l’ordre
· Expertise a priori de l’operateur necessaire
Comment estimer conjointement la dimension de l’espace d’interet ?
Nicolas DOBIGEON Habilitation a Diriger les Recherches 54 / 58
Bilan et perspectives
Enjeux et verrousOrdre et selection de modele
Solutions classiques
· Enumeration puis comparaison
- validation croisee (donnees d’apprentissage)- vraisemblances marginales,- critere d’information (BIC, AIC,...)
· Autodetermination
- algorithmes MCMC a sauts reversibles- sur-dimensionnement et parcimonie (ARD)
Estimation bayesienne non-parametrique· Espace des parametres est suppose de dimension infinie
- processus de Dirichlet- processus gaussiens
· S’inscrit naturellement dans le cadre adopte (depot ANR en cours)
Nicolas DOBIGEON Habilitation a Diriger les Recherches 55 / 58
Bilan et perspectives
Cadre applicatifFusion et integration multi-capteurs
Nicolas DOBIGEON Habilitation a Diriger les Recherches 56 / 58
Bilan et perspectives
Cadre applicatifFusion et integration multi-capteurs
Nicolas DOBIGEON Habilitation a Diriger les Recherches 56 / 58
Bilan et perspectives
Cadre applicatifFusion et integration multi-capteurs
Enjeux· Definition du modele direct
- collaboration avec les operateurs- modelisation des incertitudes
· Multiplicite des donnees
- heterogeneite des mesures (modalites differentes)- exploitation de la temporalite (e.g., cyclostationnarite)- comment s’affranchir des donnees manquantes ?
Retombees· Imagerie satellitaire
- projets de recherche ambitieux : VEGEMIX (BELSPO)- programmes des agences spatiales : Pleiades et Venµs (CNES)
· Imagerie medicale
- aide au diagnostic
Nicolas DOBIGEON Habilitation a Diriger les Recherches 57 / 58
Bilan et perspectives
Habilitation a Diriger les Recherches
Inference bayesienne dans des problemes inverses, myopes et aveuglesen traitement du signal et des images
Nicolas Dobigeon
Universite de Toulouse, IRIT/INP-ENSEEIHT
http://www.enseeiht.fr/[email protected]
Toulouse, 19 Octobre 2012
Nicolas DOBIGEON Habilitation a Diriger les Recherches 58 / 58