Intérpretation automatique de nuages de points LiDAR...

Post on 06-Mar-2021

0 views 0 download

Transcript of Intérpretation automatique de nuages de points LiDAR...

Interpretation automatique denuages de points LiDAR

Journee Recherche 2017

Loic Landrieu

MATIS - IGN

Mars 2017

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

1 Semantisation de nuagede point LiDAR

2 Regularisation paroptimisation structuree

3 Presegmentation pour laclassification

Classification structuree � Mars 2017 � 2 / 23 MATIS - IGN

ISemantisationde nuage depoint LiDAR

Presentation duprobleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Presentation Layout

1 Semantisation de nuage de point LiDAR

2 Regularisation par optimisation structuree

3 Presegmentation pour la classification

Classification structuree � Mars 2017 � 3 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Classification structuree � Mars 2017 � 4 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Caracterestiques des donnees

Une volumetrie importante

Une densite tres variable

Artefacts d’acquisition

Structure: plus de pointsque d’objets, structureurbaine

Structure plus complexequ’une image

Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Caracterestiques des donnees

Une volumetrie importante

Une densite tres variable

Artefacts d’acquisition

Structure: plus de pointsque d’objets, structureurbaine

Structure plus complexequ’une image

Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Caracterestiques des donnees

Une volumetrie importante

Une densite tres variable

Artefacts d’acquisition

Structure: plus de pointsque d’objets, structureurbaine

Structure plus complexequ’une image

Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Caracterestiques des donnees

Une volumetrie importante

Une densite tres variable

Artefacts d’acquisition

Structure: plus de pointsque d’objets, structureurbaine

Structure plus complexequ’une image

Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Caracterestiques des donnees

Une volumetrie importante

Une densite tres variable

Artefacts d’acquisition

Structure: plus de pointsque d’objets, structureurbaine

Structure plus complexequ’une image

Classification structuree � Mars 2017 � 5 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Methodes de classification

Descripteurs de lageometrie locale

Descripteurs globaux

Apprentissage supervise(Random Forest, etc...)

⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]

dimensionalite

verticaliteClassification structuree � Mars 2017 � 6 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Methodes de classification

Descripteurs de lageometrie locale

Descripteurs globaux

Apprentissage supervise(Random Forest, etc...)

⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]

elevation

distance a la routeClassification structuree � Mars 2017 � 6 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Methodes de classification

Descripteurs de lageometrie locale

Descripteurs globaux

Apprentissage supervise(Random Forest, etc...)

⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]

Classification structuree � Mars 2017 � 6 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Methodes de classification

Descripteurs de lageometrie locale

Descripteurs globaux

Apprentissage supervise(Random Forest, etc...)

⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]

Classification structuree � Mars 2017 � 6 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Affectation probabiliste

Permet d’associer unemesure de la certitude

Classement des labels parordre de certitude

Courbes de precisionpartielle

⇒ quand la precision estplus importante que lerappel (guidageautomatique)

⇒ quand le rappel estimportant que la precision(anonymisation)

Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Affectation probabiliste

Permet d’associer unemesure de la certitude

Classement des labels parordre de certitude

Courbes de precisionpartielle

⇒ quand la precision estplus importante que lerappel (guidageautomatique)

⇒ quand le rappel estimportant que la precision(anonymisation)

70 75 80 85 90 95 10095

96

97

98

99

100

proportion du nuage annotee en %

prec

isio

npa

rtie

lleen

%

confiance

Labelinglabeling probabiliste

Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Affectation probabiliste

Permet d’associer unemesure de la certitude

Classement des labels parordre de certitude

Courbes de precisionpartielle

⇒ quand la precision estplus importante que lerappel (guidageautomatique)

⇒ quand le rappel estimportant que la precision(anonymisation)

70 75 80 85 90 95 10095

96

97

98

99

100

proportion du nuage annotee en %

prec

isio

npa

rtie

lleen

%

confiance

Labelinglabeling probabiliste

Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Affectation probabiliste

Permet d’associer unemesure de la certitude

Classement des labels parordre de certitude

Courbes de precisionpartielle

⇒ quand la precision estplus importante que lerappel (guidageautomatique)

⇒ quand le rappel estimportant que la precision(anonymisation)

Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IPresentationdu probleme

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Affectation probabiliste

Permet d’associer unemesure de la certitude

Classement des labels parordre de certitude

Courbes de precisionpartielle

⇒ quand la precision estplus importante que lerappel (guidageautomatique)

⇒ quand le rappel estimportant que la precision(anonymisation)

Classification structuree � Mars 2017 � 7 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

IRegularisationparoptimisationstructuree

Regularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Presentation Layout

1 Semantisation de nuage de point LiDAR

2 Regularisation par optimisation structuree

3 Presegmentation pour la classification

Classification structuree � Mars 2017 � 8 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Pourquoi regulariser?

Beaucoup plus de pointsque d’objets

⇒ un point est (enmoyenne) entoure de pointsavec la meme classe

Classification point parpoint aucune regularite

Classifcation reguliere =meilleure precision

Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Pourquoi regulariser?

Beaucoup plus de pointsque d’objets

⇒ un point est (enmoyenne) entoure de pointsavec la meme classe

Classification point parpoint aucune regularite

Classifcation reguliere =meilleure precision

Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Pourquoi regulariser?

Beaucoup plus de pointsque d’objets

⇒ un point est (enmoyenne) entoure de pointsavec la meme classe

Classification point parpoint aucune regularite

Classifcation reguliere =meilleure precision

Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Pourquoi regulariser?

Beaucoup plus de pointsque d’objets

⇒ un point est (enmoyenne) entoure de pointsavec la meme classe

Classification point parpoint aucune regularite

Classifcation reguliere =meilleure precision

Classification structuree � Mars 2017 � 9 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Presentation du probleme

V = nuage de point.

K = ensemble de classes

p ∈ [0, 1]K×V probabilitepoints par points

G = (V ,E ) graphed’adjacence (plus prochevoisins)

l ∈ KV labeling recherchevegetation, routes. facades,voitures, amenagements, arte-facts,

Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Presentation du probleme

V = nuage de point.

K = ensemble de classes

p ∈ [0, 1]K×V probabilitepoints par points

G = (V ,E ) graphed’adjacence (plus prochevoisins)

l ∈ KV labeling recherche

vegetation, routes. facades,voitures, amenagements, arte-facts,

Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Presentation du probleme

V = nuage de point.

K = ensemble de classes

p ∈ [0, 1]K×V probabilitepoints par points

G = (V ,E ) graphed’adjacence (plus prochevoisins)

l ∈ KV labeling recherche

vegetation, routes. facades,voitures, amenagements, arte-facts,

Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Presentation du probleme

V = nuage de point.

K = ensemble de classes

p ∈ [0, 1]K×V probabilitepoints par points

G = (V ,E ) graphed’adjacence (plus prochevoisins)

l ∈ KV labeling recherche

vegetation, routes. facades,voitures, amenagements, arte-facts,

Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Presentation du probleme

V = nuage de point.

K = ensemble de classes

p ∈ [0, 1]K×V probabilitepoints par points

G = (V ,E ) graphed’adjacence (plus prochevoisins)

l ∈ KV labeling recherchevegetation, routes. facades,voitures, amenagements, arte-facts,

Classification structuree � Mars 2017 � 10 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Modele graphique pour la regularisation

Modele probabiliste: Conditionalrandom field (CRF):

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resolution par message-passingalgorithms (LBP): lent et peuprecis

Resolution par Graph-cut: rapidemais perd l’aspect probabiliste

COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL

CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017

Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Modele graphique pour la regularisation

Modele probabiliste: Conditionalrandom field (CRF):

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resolution par message-passingalgorithms (LBP): lent et peuprecis

Resolution par Graph-cut: rapidemais perd l’aspect probabiliste

COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL

CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017

Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Modele graphique pour la regularisation

Modele probabiliste: Conditionalrandom field (CRF):

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resolution par message-passingalgorithms (LBP): lent et peuprecis

Resolution par Graph-cut: rapidemais perd l’aspect probabiliste

COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL

CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017

Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Modele graphique pour la regularisation

Modele probabiliste: Conditionalrandom field (CRF):

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resolution par message-passingalgorithms (LBP): lent et peuprecis

Resolution par Graph-cut: rapidemais perd l’aspect probabiliste

COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL

CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017

Classification structuree � Mars 2017 � 11 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Modele graphique pour la regularisation

70 75 80 85 90 95 10095

96

97

98

99

100

proportion annotee en %

prec

isio

nen

%

α-expansionLBP

Classification structuree � Mars 2017 � 12 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Regularisation par optimisation structuree

CRF:

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Optimization structuree:

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

q un label ou une distributrion

φ : fonction de fidelite

ψ : fonction de regularization

Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Regularisation par optimisation structuree

CRF:

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Optimization structuree:

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

q un label ou une distributrion

φ : fonction de fidelite

ψ : fonction de regularization

Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Regularisation par optimisation structuree

CRF:

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Optimization structuree:

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

q un label ou une distributrion

φ : fonction de fidelite

ψ : fonction de regularization

Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Regularisation par optimisation structuree

CRF:

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Optimization structuree:

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

q un label ou une distributrion

φ : fonction de fidelite

ψ : fonction de regularization

Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Regularisation par optimisation structuree

CRF:

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Optimization structuree:

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

q un label ou une distributrion

φ : fonction de fidelite

ψ : fonction de regularization

Classification structuree � Mars 2017 � 13 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de fidelite

lineaire

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

quadratique

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

Kullback-Leibler

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

? probabilite observee fidelite haute fidelite basse

Classification structuree � Mars 2017 � 14 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de fidelite

lineaire

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

quadratique

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

Kullback-Leibler

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

? probabilite observee fidelite haute fidelite basse

Classification structuree � Mars 2017 � 14 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de fidelite

lineaire

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

quadratique

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

Kullback-Leibler

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

0

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

p1p 2

p3

? probabilite observee fidelite haute fidelite basse

Classification structuree � Mars 2017 � 14 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)

0 0.5 1

0

0.5

1

0

01

1

qa,1

q b,1

Ψ(qa − qb) pour K = {1, 2}

Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)

0 0.5 1

0

0.5

1

0

01

1

qa,1

q b,1

Ψ(qa − qb) pour K = {1, 2}

Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)

0 0.5 1

0

0.5

1

qa,1

q b,1

Ψ(qa − qb) pour K = {1, 2}

Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)

0 0.5 1

0

0.5

1

qa,1

q b,1

Ψ(qa − qb) pour K = {1, 2}

Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖

optimization convexe (PFDR)

0 0.5 1

0

0.5

1

qa,1

q b,1

Ψ(qa − qb) pour K = {1, 2}

Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IRegularisationpar modelegraphiques

Resultats

Presegmentationpour laclassification

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)

0 0.5 1

0

0.5

1

qa,1

q b,1

Ψ(qa − qb) pour K = {1, 2}

Classification structuree � Mars 2017 � 15 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

Resultats

70 75 80 85 90 95 100

95

96

97

98

99

100

coverage in %

F-s

core

in%

LBPlog potts (CRF)

KL Pottslin TV

log TVKL TVKL bound

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu

Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin

Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

Resultats

70 75 80 85 90 95 100

95

96

97

98

99

100

coverage in %

F-s

core

in%

LBPlog potts (CRF)KL Pottslin TV

log TV

KL TVKL bound

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu

Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin

Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

Resultats

70 75 80 85 90 95 100

95

96

97

98

99

100

coverage in %

F-s

core

in%

LBPlog potts (CRF)KL Pottslin TV

log TVKL TVKL bound

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu

Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin

Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

Resultats

70 75 80 85 90 95 100

95

96

97

98

99

100

coverage in %

F-s

core

in%

LBPlog potts (CRF)KL Pottslin TV

log TVKL TVKL bound

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu

Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin

Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

Resultats

70 75 80 85 90 95 100

95

96

97

98

99

100

coverage in %

F-s

core

in%

LBPlog potts (CRF)KL Pottslin TV

log TVKL TVKL bound

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu

Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin

Classification structuree � Mars 2017 � 16 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

—————————————————————————–

Classification structuree � Mars 2017 � 17 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Regularisationpar modelegraphiques

IResultats

Presegmentationpour laclassification

Resultats

70 75 80 85 90 95 10096

97

98

99

100

coverage in %

F-s

core

in%

(a) Oakland 3C

70 75 80 85 90 95 10095

96

97

98

99

100

coverage in %

F-s

core

in%

(b) Oakland 5C

70 75 80 85 90 95 10092

93

94

95

96

97

coverage in %

F-s

core

in%

(c) Rue Cassette

LBPlog potts (CRF)KL Pottslin TVlog TVKL TVKL bound

Classification structuree � Mars 2017 � 17 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

IPresegmentationpour laclassification

Super pixelgeometrique

Resultats

Presentation Layout

1 Semantisation de nuage de point LiDAR

2 Regularisation par optimisation structuree

3 Presegmentation pour la classification

Classification structuree � Mars 2017 � 18 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Motivation

Scene urbaine: structureepar objets anthropiques

geometriquement homogene⇒ semantiquementhomogene

+ Diminution de la complexite

+ Interactions longue portee

+ Aggregation d’observations

Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Motivation

Scene urbaine: structureepar objets anthropiques

geometriquement homogene⇒ semantiquementhomogene

+ Diminution de la complexite

+ Interactions longue portee

+ Aggregation d’observations

Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Motivation

Scene urbaine: structureepar objets anthropiques

geometriquement homogene⇒ semantiquementhomogene

+ Diminution de la complexite

+ Interactions longue portee

+ Aggregation d’observations

Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Motivation

Scene urbaine: structureepar objets anthropiques

geometriquement homogene⇒ semantiquementhomogene

+ Diminution de la complexite

+ Interactions longue portee

+ Aggregation d’observations

Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Motivation

Scene urbaine: structureepar objets anthropiques

geometriquement homogene⇒ semantiquementhomogene

+ Diminution de la complexite

+ Interactions longue portee

+ Aggregation d’observations

Classification structuree � Mars 2017 � 19 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Segmentation geometriquement homogene

Approche traditionelle : super voxel de taille fixee

probleme d’optimisation structuree

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Peux etre minimise efficacement avec `0-cut pursuit

Segments de tailles adaptative

Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Segmentation geometriquement homogene

Approche traditionelle : super voxel de taille fixee

probleme d’optimisation structuree

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Peux etre minimise efficacement avec `0-cut pursuit

Segments de tailles adaptative

Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Segmentation geometriquement homogene

Approche traditionelle : super voxel de taille fixee

probleme d’optimisation structuree

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Peux etre minimise efficacement avec `0-cut pursuit

Segments de tailles adaptative

Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

ISuper pixelgeometrique

Resultats

Segmentation geometriquement homogene

Approche traditionelle : super voxel de taille fixee

probleme d’optimisation structuree

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Peux etre minimise efficacement avec `0-cut pursuit

Segments de tailles adaptative

Classification structuree � Mars 2017 � 20 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Segmentation geometriquement homogene

Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Segmentation geometriquement homogene

Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Segmentation geometriquement homogene

Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Segmentation geometriquement homogene

Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Segmentation geometriquement homogene

Classification structuree � Mars 2017 � 21 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Segmentation geometriquement homogene

class pointwise CRF notre methode

Wires 7.5 47.0 41.9Fscore pour Poles 15.9 51.0 55.8

Oakland Facades 65.1 87.6 93.61.3 M points Road 92.8 97.4 99.4

Vegetation 84.1 93.3 95total 53.1 75.2 77.1

Road 97.7 98.3 98.1Vegetation 24.2 62.6 67.0

Fscore pour Facade 93.5 98.7 98.8Semantic3D Hardscape 73.1 91.2 91.53 M points Artifacts 24.6 54.7 51.3

Cars 37.6 75.1 82.3Total 58.4 80.1 82.3

Classification structuree � Mars 2017 � 22 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Perspective

Le deep learning a revolutionne la vision par ordinateur

La structure des nuages de point resiste aux reseaux deneurones

Plus pour tres longtemps (HarrisNet, PointNet, etc...)

Une revolution est a venir dans le domaine

Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points

Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Perspective

Le deep learning a revolutionne la vision par ordinateur

La structure des nuages de point resiste aux reseaux deneurones

Plus pour tres longtemps (HarrisNet, PointNet, etc...)

Une revolution est a venir dans le domaine

Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points

Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Perspective

Le deep learning a revolutionne la vision par ordinateur

La structure des nuages de point resiste aux reseaux deneurones

Plus pour tres longtemps (HarrisNet, PointNet, etc...)

Une revolution est a venir dans le domaine

Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points

Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Perspective

Le deep learning a revolutionne la vision par ordinateur

La structure des nuages de point resiste aux reseaux deneurones

Plus pour tres longtemps (HarrisNet, PointNet, etc...)

Une revolution est a venir dans le domaine

Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points

Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

Super pixelgeometrique

IResultats

Perspective

Le deep learning a revolutionne la vision par ordinateur

La structure des nuages de point resiste aux reseaux deneurones

Plus pour tres longtemps (HarrisNet, PointNet, etc...)

Une revolution est a venir dans le domaine

Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points

Classification structuree � Mars 2017 � 23 / 23 MATIS - IGN