Cours Imagerie3D Part2

5/26/2018 Cours Imagerie3D Part2

1/30

PlanApplications

Techniques de numrisation 3D

Reprsentation de donnes 3D

Techniques de reconstruction

Traitement de donnes 3D

Visualisation

Reprsentations de donnes 3D

Comment reprsenterlinformation numrise{ partir dobjets rels?

Comment modliser lesobjets 3D gnrsgraphiquement?


2/30


Points Nuage de points

Image de profondeur

Surface Maillage polygonale

Surface paramtre

Surface implicite

Volumes Voxels

Gomtrie deconstruction de solides


Ensemble de points non structurs

Nuage de points


3/30


Ensemble de points 3Drgulirement chantillonnsreprsentant un objet { partir dunpoint de vue. Le voisinage estdfinit.

Image de profondeur (range Image): Image 2.5D


Peut tre reprsente comme uneimage ou le niveau de gris associ

chaque pixel correspond laprofondeur (la distance quispare le capteur 3D dun pointvisible de la scne).

Image de profondeur (range Image): Image 2.5D


4/30



Image de profondeur

Surface Maillage polygonale

Surface paramtre

Surface implicite

Volumes Voxels



Maillage polygonale (gnralement triangul)

Facette

Arrte

Sommet(x,y,z)


5/30


Donnes: Gomtrie:

Coordonnes (X,Y,Z) dechaque sommet

Connectivit Quels sont les sommets de

chaque polygone

Attributs: Couleurs

Texture

Normales la surface

Maillage polygonale


Formats de fichier: VRML

PLY

STL

OBJ

Maillage polygonale


6/30


Surfaces paramtres

Exemple: Sphre unitaire


Pour des formes complexes, la surface est

reprsente par un ensemble de polynmes

dfinis sur des morceaux de la surface

(piecewise polynomials): Les polynmes sont dfinis par des

points de contrle.

Pas de polynme de haut degr.

Les polynmes doivent assurer que lesmorceaux de surface quils gnrent seraccordent de faon C1 ou plus.

Surfaces paramtres: (Splines, NURBS)


7/30


Surface dfinie implicitementpar une fonction: F(x,y,z) = 0 ; points de la

surface.

F(x,y,z) < 0 ; points { lintrieurde la surface

F(x,y,z) > 0 ; points lextrieur de la surface

Surface implicite


Surface implicite: fonction polynomial


8/30

Reprsentations de donnes 3DSurface implicite: fonction chantillonn sur un volume

(distance signe).

A chaque voxel du volumeest associ la distance qui lespare du point le plus proche de lasurface. Un signe est ajoute pourdistinguer les voxelsintrieurs la surface de ceux qui sont

lextrieur.



Image de profondeur

Surface Maillage polygonale Surface paramtre

Surface implicite

Volumes Voxels



9/30


Modlisent lintrieurdes objets : Coupes IRM

Tomographies

Voxels


Volume rgulirementchantillonn en voxels quisont des volumeslmentaires

Un voxel peut avoirplusieurs attributs: Couleur Densit Temprature

Voxels


10/30

Reprsentations de donnes 3DExtraction de surfaces partir de donnes volumiques

Extraction diso-surfacecorrespondant F(x,y,z) = 0

F dpend de la densit par exemple


Gomtrie de construction de solides:reprsente lobjet comme une hirarchie dopration

boolenne entre des primitives simples (utilise pour laconception assiste par ordinateur


11/30

PlanApplications

Techniques de numrisation 3D

Reprsentation de donnes 3D


Traitement de donnes 3D

Visualisation


Convertir linformation

numrise en un modle 3D


12/30

Reconstruction de modle 3D

Objet relAcquisition

Donnes acquises partirde plusieurs points de vueModle 3D

FusionRecalage

Recalage

Trouver unetransformation rigideentre deux parties dunmme objet qui sechevauchent.

Trouver au sein desdeux parties les pointsqui se correspondent


13/30

Reconstruction de modles 3D

Diverses approches: Reconstruction { partir dun nuage de points VS images

de profondeur.

Reconstruction incrmental VS simultane.

La mise en correspondance se base sur la proximit entreles points de surface VS similarit de descripteurs dfinisau voisinage des points de surface.

La reconstruction gnre directement un maillage VSune surface implicite.

Diffrentes techniques de reconstruction

Mthodes qui gnrent directement un maillage de la surface Zippered Polygonal Meshes from Range Images [ Turk and Levoy 94].

Multi-resolution surface modeling from multiple range views [Soucy

and Laurendeau 92]

Mthodes qui gnrent des fonctions implicites A Volumetric Method for Building Complex Models from Range

Images [Curless and Levoy 96]

Reliable surface reconstruction from multiple range images. [Hilton etal 96]

A partir dimages de profondeur


14/30

Diffrentes techniques de reconstruction

Mthodes qui gnrent directement un maillage de la surface Three-dimensional alpha shapes [ Edelsbrunner et al.92]

Triangulation de Delaunay [Boissonat 94]

Single pass crust [Amenta 98]

Mthodes qui gnrent des fonctions implicites Surface reconstruction from unorganized points [Hoppe 92]

Automatic reconstruction of surfaces and scalar fields from 3D scans[Bajaj et al. 95]

Reconstruction and Representation of 3D Objects with Radial Basis

Functions [Carr et al. 2001]

A partir dun nuage de points

Reconstruction selon Turk et Levoy [94]

Greg Turk and Marc Levoy, Zippered Polygon Meshes from Range ImagesProc. SIGGRAPH '94

Reconstruction incrmental { partir dimages de profondeur. Gnre directement un maillage triangulaire. Donnes acquises par un systme de numrisation base de triangulation

avec projection dun plan de lumire.

Projection dun plan

de lumire lasersur un objet

Lumire rflchiesur la camra

CCD

CCD

Axe de translation

du systme de numrisation


15/30


Trois principales tapes: Gnrer un maillage triangulaire { partir dimages de

profondeur.

Recalage des diffrents maillages.

Fusion des diffrents maillages pour former un modle3D de lobjet numris.


Gnrer un maillage triangule partir dimages de profondeur

Image deprofondeur

Maillage cre parla connexion

de sommet voisins

Visualisation du maillage par attributiondun niveau de gris chaque point


16/30


Pour chaque quadruplet de pointsvoisins former zro, un ou deuxtriangles : Dterminer la diagonale la plus

courte Crer deux triangles.

viter de connecter les points auniveau de discontinuit deprofondeur:

Tester la distance entre points aucours de la gnration de triangles. Ne pas crer un triangle si la distance

entre deux de ses sommets >> S

Gnrer un maillage triangule partir dimages de profondeur


Gnrer un maillage triangule { partir dimages deprofondeur.

Recalage des diffrents maillages.

Fusion des diffrents maillages pour former un modle

3D de lobjet numris.


17/30

Reconstruction selon Turk et Levoy [94]: Recalage

Chaque image deprofondeur est dfinitdans un systme decoordonnes localrelative la position ducapteur 3D.

Le recalage desdiffrentes imagesrevient les

transformer dans unmme systme decoordonnes.


Si le capteur 3D est mont sur un systme qui a six degrs delibert, la position du capteur au cours de lacquisition dechaque image de profondeur est fournie par le systme decontrle de mouvement( ex: capteur mont sur le bras dunrobot).

Gnralement ces systmes sont dispendieux. Les plateformesutilises se limitent { un ou deux degrs de libert do: Alignement approximative manuel Utilisation dun algorithme dalignement itrative: ICP (Iterative

Closest Point)


18/30


Soient deux formesdiffrentes: Une forme de rfrenceA (

nuage de points, ensemble desegments, ensemble detriangles, surfacesparamtrs.)

Une forme B fournie par unsystme de numrisation. B estdcompos en un nuage depoints.

B est un sous-ensemble deA.

Lobjectif est de trouverune transformation rigide(Rotation et translation)qui permet dalignerA et B.

ICP Iterative Closest Point : P. Besl and N. Mckay:A method for registration of 3D-shapes IEEE trans. Pattern analysisand Machine intelligence, 14(2):239-256, 1992.

A

B


Trouver la rotation R et latranslationT qui permettent deminimiser lerreur:

fest une fonction qui permetdassocier { chaque point de B lepoint qui lui correspond dansA.

ICP Iterative Closest Point

B

A

f

n1i

2

ii TBRAE

n

1i

2

ii TBR)B(fE


19/30



Si la correspondance entre les points de chaque forme est connue,la transformation rigide qui permet de les aligner peut tre calcule exactement


LICP est un processus itrativequi assume chaque itrationque le point correspondant estle point le plus proche

Le rsultat dpend despositions initiales des deuxformes.

Gnralement lalgorithme estinitialis avec un alignementapproximative qui est effectumanuellement.

ICP Iterative Closest Point B

A


20/30



Pour Chaque point de B trouverle point le plus proche de A

Calculer la rotation et la translation Rk

et Tk

qui minimise la distance entre A et B

Appliquer la transformation Bk

Vrai: fin du recalage

K= k+1

faux

A

B0

A

B

A

Bk

Test de

convergence see

kk

1


rotationdeaxe),,(

rotationdeangle

)(2

sin2

cos3210

3

2

1

0

zyx

zyxR

RRR

RkRjRiqkqjqiq

q

q

q

q

q

ICP : Iterative Closest Point Calcul de la transformation rigide (R et T ) selon Horn[87]

La rotation R est reprsente comme un quaternion:


21/30


t

ci

n

cin BBAAM )()(1i

1

zzzyzx

yzyyyx

xzxyxx

SSS

SSS

SSS

M

)(

)(

)(

)(

zzyyxxzyyzxzzxyxxy

zyyzzzyyxxyxxyxzzx

xzzxyxxyzzyyxxzyyz

yxxyxzzxzyyzzzyyxx

SSSSSSSSS

SSSSSSSSS

SSSSSSSSS

SSSSSSSSS

N

)BRA(T cc

Le quaternion reprsentant la rotation optimale est le vecteur proprede Ncorrespondant la plus grande valeur propre de N.

La translation est

ICP : Iterative Closest Point Calcul de la transformation rigide (R et T ) selon Horn[87]

Mest la matrice decovariance de Aet B.


ICP modifi: Adaptation de

lalgorithme pour lerecalage de deuximages de profondeur

qui se chevauchentpartiellement. B nest plus un sous-

ensemble de A. Onassoci pas chaquepoint de B un pointdans A.


22/30


Partir dune position initiale dechaque maillage

Pour chaque sommet dunmaillage B trouver le points le plusproche du maillage A.(sommet oupoint { lintrieur dun triangle)

liminer les pairs de points trsloigns.

liminer les pairs dont un despoints est sur une frontire(unearte appartenant un seul

triangle. Trouver la transformation rigide

qui permet de minimiser lesdistances entre les pairs de points.

Itrer lalgorithme jusquaconvergence

ICP modifi

B

A

A liminer

A liminer


Si la lumire projet par lesystme de numrisation estpresque parallle lasurface de lobjet alors lalumire reflte (reu par lecapteur )est faible ce qui faitque cest difficile de dduirela profondeur.

Tenir compte de la prcision des mesures

ICP modifi

Direction de la lumire projete


23/30



Erreur quand uniquement une partie du faisceau laser incident touche la surface numriser

Faisceaulaser

Plan du capteurlumineux

Portion illuminedu capteur

Positioncalcule

Positioncalcule

ICP modifi


A chaque point numris estassoci un coefficient deprcision:

le produit scalaire entre la directionde la lumire incidente et lanormale la surface au niveau dupoint de surface mesur.

Le coefficient de prcision estencore diminu en fonction de saproximit des frontires de limagede profondeur.


ICP modifi

Directionde la lumire

projete

Normale la surface


24/30


)precision(.)precision(

)(1

2

iii

n

iiii

BAw

TBRAwE

tci

n

ciin BBAAwM )()(1i

1

n

iiinc AwA

1

1

La rotation est calcule partir de la matrice:

n

iiinc BwB

1

1

La translation est calcule partir

n

iii TBRAE

1

2)(


ICP modifi


ICP sapplique sur deux imagesde profondeur la fois.

Lalignement de plusieursimages de profondeur se fait defaon incrmental:

Avec quelles pairs dimages de

profondeur commencer? Accumulation de lerreur

Turk et Levoy proposent dutiliser

une image de profondeurcylindrique qui se chevauche avectous les autres images. Lalignementse fait entre limage cylindrique etchacune des autres images.

Image de profondeur cylindrique:rotation de lobjet numriser

ou rotation du scanner autour de lobjet


25/30


Gnrer un maillage triangule { partir dimages deprofondeur.

Alignement des diffrents maillages.

Fusion des diffrents maillages pour former la surfacede lobjet numris.

Reconstruction selon Turk et Levoy [94]: Fusion

liminer la redondance.

Attacher les maillages lun lautre.


26/30


Itrer les tapessuivantes jusqu{ ceque les maillages ne semodifient plus: liminer les triangles

redondants sur lafrontire de A.

liminer les trianglesredondants sur lafrontire de B

liminer la redondance


Un triangle T de A est redondant si: La distance entre chaque sommet et le point le plus proche de

B est infrieur un certain seuil.

Le point le plus proche de chaque sommet nest pas sur lafrontire de B.

Au moins deux des sommets de A ont des coefficients deprcision infrieurs ceux des points les plus proches de B.

La troisime condition est ignore dans les derniresitrations de lalgorithme dlimination de laredondance.

liminer la redondance


27/30


Attachement de deux maillages(Zippering)


Attachement de deux maillages: si les bords sont dans un mme plan

Points dintersection

au niveau des bords

Partie garder Partie

liminer

Nouvelletriangulation


28/30


En gnral les bords de deuxmaillages attacher ne sontpas dans un mme plan.

Les artes dun maillage Apeuvent tre en dessus ou endessous du bord du maillageauquel il va tre attach.

Pour tendre lalgorithmedcrit prcdemment il fautcalculer lintersection en 3Det non pas dans un plan.

Attachement de deux maillages:

BA


Surfacetriangule

Frontirepaissie

Point dintersection avec

le maillage dpaississement

SommetSommet rajout

Attachement de deux maillages


29/30

Reconstruction selon Turk et Levoy [94]:Rsultats

Deux images de profondeursLa couleur correspond

la prcision de la positionde chaque point

Alignement:Les maillages prsentent

des distorsionsau niveau des bords

Fusion


Rectification des positions des sommets aprs fusion

Surface obtenue aprs fusion (noir) etmaillages originaux

Calculer la moyenne des normales

dans un voisinage du sommet

Dterminer lintersection de la moyenne

des normales avec chaque maillageDplacer le sommet une moyenne

pondre des point dintersection


30/30


Rsultats avec rectification

Cours Imagerie3D Part2

Documents

Transcript of Cours Imagerie3D Part2