Intérpretation automatique de nuages de points LiDAR...

Interpretation automatique denuages de points LiDAR

Journee Recherche 2017

Loic Landrieu

MATIS - IGN

Mars 2017

Semantisationde nuage depoint LiDAR

Regularisationparoptimisationstructuree

Presegmentationpour laclassification

1 Semantisation de nuagede point LiDAR

2 Regularisation paroptimisation structuree

3 Presegmentation pour laclassification

Classification structuree � Mars 2017 � 2 / 23 MATIS - IGN

ISemantisationde nuage depoint LiDAR

Presentation duprobleme

Presentation Layout

1 Semantisation de nuage de point LiDAR

2 Regularisation par optimisation structuree

3 Presegmentation pour la classification

IPresentationdu probleme

Acquisition LIDAR

Un outil de teledectionactif par LASER

Fixe, embarque, mobile

Produit un nuage de point3D tres precis

Un tres large champsd’application (topographie,archeologie, defense...)

Reconstruction de surface

guidage automatique devehicules

Acquisition LIDAR

Caracterestiques des donnees

Une volumetrie importante

Une densite tres variable

Artefacts d’acquisition

Structure: plus de pointsque d’objets, structureurbaine

Structure plus complexequ’une image

Methodes de classification

Descripteurs de lageometrie locale

Descripteurs globaux

Apprentissage supervise(Random Forest, etc...)

⇒ un label + unedistributionpv = [pv ,1, · · · , pv ,n]

dimensionalite

verticaliteClassification structuree � Mars 2017 � 6 / 23 MATIS - IGN

elevation

distance a la routeClassification structuree � Mars 2017 � 6 / 23 MATIS - IGN

Affectation probabiliste

Permet d’associer unemesure de la certitude

Classement des labels parordre de certitude

Courbes de precisionpartielle

⇒ quand la precision estplus importante que lerappel (guidageautomatique)

⇒ quand le rappel estimportant que la precision(anonymisation)

70 75 80 85 90 95 10095

proportion du nuage annotee en %

confiance

Labelinglabeling probabiliste

70 75 80 85 90 95 10095

proportion du nuage annotee en %

confiance

Labelinglabeling probabiliste

IRegularisationparoptimisationstructuree

Regularisationpar modelegraphiques

Resultats

Presentation Layout

IRegularisationpar modelegraphiques

Resultats

Pourquoi regulariser?

Beaucoup plus de pointsque d’objets

⇒ un point est (enmoyenne) entoure de pointsavec la meme classe

Classification point parpoint aucune regularite

Classifcation reguliere =meilleure precision

Resultats

Presentation du probleme

V = nuage de point.

K = ensemble de classes

p ∈ [0, 1]K×V probabilitepoints par points

G = (V ,E ) graphed’adjacence (plus prochevoisins)

l ∈ KV labeling recherchevegetation, routes. facades,voitures, amenagements, arte-facts,

Resultats

V = nuage de point.

l ∈ KV labeling recherche

vegetation, routes. facades,voitures, amenagements, arte-facts,

Resultats

V = nuage de point.

Resultats

V = nuage de point.

Resultats

V = nuage de point.

l ∈ KV labeling recherchevegetation, routes. facades,voitures, amenagements, arte-facts,

Resultats

Modele graphique pour la regularisation

Modele probabiliste: Conditionalrandom field (CRF):

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resolution par message-passingalgorithms (LBP): lent et peuprecis

Resolution par Graph-cut: rapidemais perd l’aspect probabiliste

COMPARISON OF BELIEF PROPAGATION AND GRAPH-CUT APPROACHES FOR CONTEXTUAL

CLASSIFICATION OF 3D LIDAR DATA, Landrieu Loic, Weinmann Martin, Mallet Clement, IGARSS2017

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Resultats

70 75 80 85 90 95 10095

proportion annotee en %

α-expansionLBP

Resultats

Regularisation par optimisation structuree

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

Optimization structuree:

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

q un label ou une distributrion

φ : fonction de fidelite

ψ : fonction de regularization

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

Resultats

L(l) = −∑v∈V〈lv , log(pv )〉+

∑(i ,j)∈E

wu,vδ(li 6= lj)

F (q) =∑v∈V

φ(qv , pv ) +∑

(i ,j)∈E

wu,vψ(qi − qj)

Resultats

Fonction de fidelite

lineaire

0 0.2 0.4 0.6 0.8 10

quadratique

0 0.2 0.4 0.6 0.8 10

Kullback-Leibler

0 0.2 0.4 0.6 0.8 10

? probabilite observee fidelite haute fidelite basse

Resultats

lineaire

0 0.2 0.4 0.6 0.8 10

quadratique

0 0.2 0.4 0.6 0.8 10

Kullback-Leibler

0 0.2 0.4 0.6 0.8 10

Resultats

lineaire

0 0.2 0.4 0.6 0.8 10

quadratique

0 0.2 0.4 0.6 0.8 10

Kullback-Leibler

0 0.2 0.4 0.6 0.8 10

Resultats

Fonction de penalite

Penalite de Pottsψ(li − lj) = δ(li 6= lj)

optimisation combinatoire(α-expansion)

Extension aux distributionsψ(qi − qj) = δ(qi 6= qj)

approche gloutonne (`0-cutpursuit)

relaxation convexeψ(qi − qj) = ‖qi − qj‖optimization convexe (PFDR)

0 0.5 1

Ψ(qa − qb) pour K = {1, 2}

Resultats

0 0.5 1

Ψ(qa − qb) pour K = {1, 2}

Resultats

0 0.5 1

Ψ(qa − qb) pour K = {1, 2}

Resultats

0 0.5 1

Ψ(qa − qb) pour K = {1, 2}

Resultats

relaxation convexeψ(qi − qj) = ‖qi − qj‖

optimization convexe (PFDR)

0 0.5 1

Ψ(qa − qb) pour K = {1, 2}

Resultats

0 0.5 1

Ψ(qa − qb) pour K = {1, 2}

IResultats

Resultats

70 75 80 85 90 95 100

coverage in %

LBPlog potts (CRF)

KL Pottslin TV

log TVKL TVKL bound

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds, Landrieu

Loic, Raguet Hugo, Vallet Bruno, Mallet Clement, Weinmann Martin

IResultats

Resultats

70 75 80 85 90 95 100

coverage in %

LBPlog potts (CRF)KL Pottslin TV

log TV

KL TVKL bound

IResultats

Resultats

70 75 80 85 90 95 100

coverage in %

log TVKL TVKL bound

IResultats

Resultats

70 75 80 85 90 95 100

coverage in %

log TVKL TVKL bound

IResultats

Resultats

70 75 80 85 90 95 100

coverage in %

log TVKL TVKL bound

IResultats

—————————————————————————–

IResultats

Resultats

70 75 80 85 90 95 10096

coverage in %

(a) Oakland 3C

70 75 80 85 90 95 10095

coverage in %

(b) Oakland 5C

70 75 80 85 90 95 10092

coverage in %

(c) Rue Cassette

LBPlog potts (CRF)KL Pottslin TVlog TVKL TVKL bound

IPresegmentationpour laclassification

Super pixelgeometrique

Resultats

Presentation Layout

ISuper pixelgeometrique

Resultats

Motivation

Scene urbaine: structureepar objets anthropiques

geometriquement homogene⇒ semantiquementhomogene

+ Diminution de la complexite

+ Interactions longue portee

+ Aggregation d’observations

Resultats

Motivation

Resultats

Motivation

Resultats

Motivation

Resultats

Motivation

Resultats

Segmentation geometriquement homogene

Approche traditionelle : super voxel de taille fixee

probleme d’optimisation structuree

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Peux etre minimise efficacement avec `0-cut pursuit

Segments de tailles adaptative

Resultats

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Resultats

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

Resultats

E (S) =∑s∈S

∑i∈s|xi − xs |2 + λ

∑s∈S

contour(s).

IResultats

class pointwise CRF notre methode

Wires 7.5 47.0 41.9Fscore pour Poles 15.9 51.0 55.8

Oakland Facades 65.1 87.6 93.61.3 M points Road 92.8 97.4 99.4

Vegetation 84.1 93.3 95total 53.1 75.2 77.1

Road 97.7 98.3 98.1Vegetation 24.2 62.6 67.0

Fscore pour Facade 93.5 98.7 98.8Semantic3D Hardscape 73.1 91.2 91.53 M points Artifacts 24.6 54.7 51.3

Cars 37.6 75.1 82.3Total 58.4 80.1 82.3

IResultats

Perspective

Le deep learning a revolutionne la vision par ordinateur

La structure des nuages de point resiste aux reseaux deneurones

Plus pour tres longtemps (HarrisNet, PointNet, etc...)

Une revolution est a venir dans le domaine

Presegmentation et regularisation reste indispensable pourexploiter la structure des nuages de points

IResultats

Perspective

IResultats

Perspective

IResultats

Perspective

IResultats

Perspective

Intérpretation automatique de nuages de points LiDAR...

Documents

Transcript of Intérpretation automatique de nuages de points LiDAR...