J. Serra ESIEE Paris-est Treillis pilotes 1 Les treillis Pilotes Jean Serra UPE LIGM A3SI ESIEE.

J. Serra ESIEE Paris-est Treillis pilotes 1

Les treillis Pilotes Les treillis Pilotes

Jean Serra

UPELIGMA3SI

ESIEE


• Structurer les données spatio-temporelles multivariées en

vue de traitements morphologiques.

• Il peut s'agir d'imagerie couleur, satellitaire, ou de données

composites.

• le cas des images en couleur, et de leurs treillis, est un

excellent paradigme, très visuel, des situations multi-

dimensionnelles.

ButBut


On peut toujours engendrer un treillis couleur comme produit de ses composantes scalaires. Mais le sup et linf de deux valeurs peut n’être aucune d’entre elles. Plus précisément:

Proposition 1: Dans un ensemble ordonné, toute famille finie admet un supremum et un infimum qui sont eux-mêmes éléments de la famille si et seulement si l'ordre de T est total.

Contre-exemples :

Ordres totaux finisOrdres totaux finis

x

yFamille : [-1,1[

Ordre total, mais le sup de [0,1[

égale 2


Représentation RGBReprésentation RGB

Canal rouge Canal bleuCanal vert

Image couleur résultante


•A partir de quatre couleurs, la dilatation en produit cinq de plus !

•L’effet est plus sensible près des contours et autour des coins.

Dilatation carrée de chaque canal

Problème: fausses couleursProblème: fausses couleurs


• x

• c

• l

• g• r

• b

Axe des gris

Plan chromatique

Représentation polaire cylindrique Représentation polaire cylindrique

Comme les énergies sont additives il est légitime de modéliser les intensités lumineuses r,g,b, comme éléments d'un espace vectoriel.

On a 3c = (2r - g - b ; 2g - b - r ; 2b - r - g )

3l = ( r + g + b ; r + g + b ; r + g + b )


Canal M1 Canal S1Canal H

Image couleur initiale

Représentation polaire cylindrique Représentation polaire cylindrique


• il n’y a plus de fausse teinte;

• mais des variations de l’intensité et de la saturation;

• en revanche l’ordre de priorité des teintes est (trop!) arbitraire.

Dilatation carrée de chaque

composante polaire

fausses couleurs fausses couleurs


Image initiale Dilatation R,G,B Dilatation H,L,SEn norme L1

fausses couleurs fausses couleurs

• il n’y a plus de fausse teinte;

• mais des variations de l’intensité et de la saturation;

• en revanche l’ordre de priorité des teintes est (trop!) arbitraire.


PlanPlan

Ce qui précède nous conduit à trois questions:

• Pour ne pas créer de nouvelles valeurs, faut-il un treillis fini ?

• Jusqu’à quel point est-il important de ne pas créer de nouvelles valeurs ?

• Comment échapper à l’arbitraire de l’origine du cercle (de la suface de la sphère, du tore, etc…) ?

• Enfin, nous appliquerons les réponses à ces questions à des exemples autres que la couleur, comme les composantes principales des images satellites.


1ère partie1ère partie

treillis finis

ou

treillis de parties finies ?


• Réquisit : il faut des ensembles finis et qui le restent après toutes les opérations qu'on leur applique (prop.1).

• Solution I : prendre les sous ensembles d’un ensemble fini;

Faiblesse : on perd l’invariance par translation, donc l’addition de Minkowski, le gradient, etc..

De plus, quand on parle de trame carrée, de grille de fusion parfaite, etc… on se situe dans Z2, (ou Zn)

• Solution II : treillis de parties finies.

Treillis de parties finiesTreillis de parties finies


Treillis de parties finiesTreillis de parties finies

• Solution IISoit E un ensemble, et X′ la classe de ses parties finies. L'ensemble

X = X′ E forme un treillis complet pour l'ordre de l'inclusion, où pour toute famille {Xi , XX, iI}, éventuellement infinie, l'infimum et le supremum sont donnés par les formules:

Xi = ∩ Xi ,

Xi = Xi , si Xi est majorée par une élément de X′ ,

Xi = E sinon.

• Prendre E dénombrable ? Dans ce cas: - l’ensemble des partitions sur E n’est pas dénombrable,

- et celui des fonctions E→{0,1}, dont le nombre vaut 2N, a la puissance du continu.


Passage au numériquePassage au numérique

• T est une famille de nombres réels, de bornes universelles M0 et M1. On lui associe le treillis fini T tel que pour toute famille {fj , jJ} dans T:

({tj , jJ}) (x) = tj(x) si card J fini, et M0 sinon;

({tj , jJ}) (x) = tj(x) si card J fini, et M1 sinon;

• F’ est la classe des fonctions f: E→T à supremum et à support finis, i.e.

1/ f(x) < M1 et

2/ f(x) M0 ssi x X X′,

puis F’ = F’ M1


Fonctions à supremum et supports finisFonctions à supremum et supports finis

• Proposition 2 : La classe F des fonctions f: E→T à supremum et à support finis forme un treillis complet pour l'ordre numérique usuel.

• L'infimum et le supremum d'une famille {fj , jJ} dans F, finie ou non, sont donnés par les expressions

({fj , jJ}) (x) = fj(x) si x∩Xj , et card J fini,

({fj , jJ}) (x) = M0 sinon;

({fj , jJ}) (x) = fj(x) si x Xj X′, et card J fini,

({fj , jJ}) (x) = M1 sinon.


Un petit piège de l’infiniUn petit piège de l’infini

Faire attention au côté parties finies…Exemple de l'espace S×H,

de bornes (smax , smin ) et (hmax , hmin ) et d’ordre lexicographique :

(s, h) ≤ (s’, h’) s < s’ ou s = s’ et h < h’.

Le treillis de parties finies associé a pour supremum

ssup = {sj , jJ}

hsup = {hj , jJ} si J1 , et hsup = hmin si J1

où J1 est la famille telle que j J1 entraîne ssup = sj

Preuve : Si la classe J1 est vide, alors ssup = smax n'est pas atteint par les sj , et tout doublet (smax , h) est supérieur aux (sj , hj). Le doublet supremum vaut donc

(smax , hmin) !


2ème partie2ème partie

Fausses couleurs

et

treillis pilotes


Ordre marginal, ordre lexiqueOrdre marginal, ordre lexique

Exemple de deux situations extrêmes :

• l'ordre marginal = produit des ordres totaux de chaque composante.

Quand la famille J est finie, chaque composante du supremum est supremum pour son ordre, mais prise à un point j qui peut être différent pour chaque composante.

• l'ordre lexicographique = une première variable prioritaire, puis une seconde, etc…

L'ordre ici étant total, le supremum d'une famille finie J est l'un des éléments de la famille, avec toutes ses composantes .


Treillis piloteTreillis pilote

Proposition 3 : Soit T(n) un espace multi-numérique, et soit une

partition {T(n)(s), 1≤s≤k} de T(n) en k sous-espaces

complémentaires, avec k ≤ n <∞. Lorsque chaque sous-espace

T(n)(s) est doté d'un ordre total Os le produit O1 O2... Ok

qui en résulte définit un ordre, dit pilote, sur T(n).

De même, tout ensemble de treillis à supremum et support finis

Ts associés à chacun des ordres Os induit par passage au produit

un treillis pilote Ts Ts … Ts sur T(n).

Le cas marginal est obtenu pour k = n, et l'ordre total pour k = 1.

En dehors du cas marginal, le sup et l'inf de toute famille ont

toujours plusieurs composantes d'un même élément de la famille.


Ordre total, ordre lexicographiqueOrdre total, ordre lexicographique

Un ordre total peut n'être pas lexicographique. Exemple :• On part de l'espace S×H, d’une bijection μ du produit S×H dans

un espace S*×H* où on construit un ordre lexicographique, puis on en prend l'image inverse.

• avec μ : (s, h) (s, sh) et les trois doublets a,b,c suivants:a b c

s 1 2 4h 8 4 1sh 8 8 4

l'ordre lexicographique s’écrit: - dans S×H, avec s prioritaire c b a,

- dans S×S.H, avec sh prioritaire b a c (qui n’est pas lexicographique dans S×H)



Ordre total

et

Polyèdres de Voronoï


Cas du cercle unitéCas du cercle unité

• E. Aptoula et S. Lefèvre associent plusieurs origines aux teintes, qui dépendent de l’image traitée.

• On remarque que l’histogramme des teintes présente souvent quelques modes bien nets.

0

200

400

600

800

1000

1200

1400

1600

0 50 100 150 200 250 300

'CHEVAL.DAT'


Autres exemplesAutres exemples

0

100

200

300

400

500

600

700

800

900

0 50 100 150 200 250 300

'mycos.DAT'

0

500

1000

1500

2000

2500

3000

3500

4000

4500

0 50 100 150 200 250 300

'PERROTS.HST'

0

1000

2000

3000

4000

5000

6000

0 50 100 150 200 250 300

'aigle.DAT'


Voronoï sur le cercleVoronoï sur le cercle

• On note h ÷ h’ l’angle aigu entre h et h’ sur le cercle unité

• Donnons nous k modes principaux hj , 1 i k.

• h est dit plus grand que h′ si h est plus proche du mode de la zone où il se trouve que h′ du mode de la sienne, i.e.

si mini {h ÷ hj } < minj {h’ ÷ hj } 1 i, j k.

ou si

h ÷ hi0= mini {h ÷ hj } = h ÷ hj0 = mini {h’ ÷ hj } et i0 < j0

• Les teintes sont classées selon une propriété de ressemblance

à des références préalables.


a

d

p1 a

dh(a) - h(p1)

0 a

h(a)

p1

p2

d

Trois ordres totaux, et trois treillis, pour la teinte :

a) la teinte (varie de 0 à 255) ;b) la distance d1 au pôle p1 ; avec priorité au sens trigonométriquec) inf des distances aux pôles p1 et p2 ; (même priorité qu’avant).

Segmentons ces trois fonctions par sauts de 35, et fusion des cc > 5

a) b) c)

Trois ordres pour la teinteTrois ordres pour la teinte


Cheval HueCheval Hue

0

500

1000

1500

2000

2500

3000

0 50 100 150 200 250 300

"c:\wmmorph\cheval.hst"

10 53Hue standard

Hue pole 10 Hue pole 53


Cheval HueCheval Hue

0

500

1000

1500

2000

2500

3000

0 50 100 150 200 250 300

"c:\wmmorph\cheval.hst"

10 53

Hue bi-pole 10 et 53Hue pole 53

Hue pole 10


Cheval huesatCheval huesat

Hue

saturation

0

1000

2000

3000

4000

5000

6000

7000

0 50 100 150 200 250 300

"c:\wmmorph\cheval2.hst"

8 60

Hue saturation

Hue saturation


Hue saturation

Hue.sat.4 pole 8 Hue.sat.4 pole 60


0

1000

2000

3000

4000

5000

6000

7000

0 50 100 150 200 250 300

"c:\wmmorph\cheval2.hst"

8 60

Hue saturation


Hue saturation

Hue.sat.4 pole 8 Seuillage 0-35



0

200

400

600

800

1000

1200

0 50 100 150 200 250 300

"c:\wmmorph\champi.hst"

35 83

Hue Hue pole 35 Hue pole 83

ChampignonChampignon



Hue pole 35

Hue pole 83

seuil 0-35

seuil 0-35

N.B. : les images seuillées sont disjointes



seuil 100-255 Luminance Y Intersection avec pôle 35


Champignon teintesat


0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

0 50 100 150 200 250 300

"c:\wmmorph\chhue.hst""c:\wmmorph\chhuesat.hst"

Hue Hue saturation

Hue saturation (vert)

Hue.sat pole 18 Hue.sat pole 56


Hue.sat pole 18

Hue.sat pole 56 Seuil 0-35

Seuil 0-35





Segmentations en télédétection

à partir des trois

premières composantes principales.


La télédétection optique fonctionne sur un double mode:

• Les canaux d’entrée (visible, infra-rouge), similaires au R, G, B de la couleur;

• Les composantes principales, qui ne sont pas similaires à une représentation polaire de la couleur.

Ces dernières forment un « RGB » à trois ou quatre dimensions où l’on peut construire une représentation polaire.

Elles ont des variances différentes, qu’on peut introduire comme poids dans l’expression de la luminance

Télédétection et couleurTélédétection et couleur


1 2 3 4

Composantes principales de « Pavie »Composantes principales de « Pavie »


• Dans une première analyse, nous nous concentrons sur les trois premières composantes, avec

CP 1 Vert CP 2 Rouge CP 3 bleu

• On passe de R, G, B à la représentation Y, H, S où

Y = [22 R + 63 G + 8 B] / 93

S = max (R,G,B) – min (R,G,B)

NB: les poids des CP de Y sont proportionnels à leurs variances dans l’ACP.

Analyse tri-chrome Analyse tri-chrome


1 2 3

Composantes principales de « Pavie »Composantes principales de « Pavie »


« Pavie » en H, L, S« Pavie » en H, L, S

H L S


• La première segmentation par sauts de f part de ses minima

• Puis l’ensemble de ses singletons est segmenté de la même manière, etc…

• On peut aussi travailler sur les minima et maxima et progresser vers le haut et vers le bas en parallèle.

Connexion par sautsConnexion par sauts


• On travaille sur la fonction et non sur sa dérivée (moins de bruit);

• Un même bassin versant peut être scindé en plusieurs régions pour les sauts;

• Un e famille de bassins versants peut être regroupée pour les sauts.

Différences entre sauts itérés et LPEDifférences entre sauts itérés et LPE


c) Skiz de la réunion des points sombres de l’ image b)

a) Image initiale :section polie degrains d’alumine

b) connexion par sauts

taille 12

Exemple de connexion par sautsExemple de connexion par sauts


Exemple de connexion par sautsExemple de connexion par sauts

c) Skiz de la réunion des points sombres de l’ image b)

a) Image initiale :section polie degrains d’alumine

b) connexion par sauts

taille 16


• Lissage gaussien 3x3 de la saturation et histogramme régularisé.

• On prend le seuil s =100 sur l’image régularisée.

SaturationSaturation

S = 100


Histogramme. Pôles:

- principal à 240

- secondaire à 160

TeinteTeinte

160

240


a

d

p1 a

dh(a) - h(p1)

0 a

h(a)

Trois treillis pour la teinteTrois treillis pour la teinte

p1

p2

d

Les trois treillis sont numériques :

a) la teinte (varie de 0 à 255) ;b) la distance d1 au pôle p1 ; avec priorité au sens trigonométriquec) inf des distances aux pôles p1 et p2 ; (même priorité qu’avant).

Segmentons ces trois fonctions par sauts de 35, et fusion des cc > 5

a) b) c)


Trois segmentations pour la teinteTrois segmentations pour la teinte

a) b) c)


Segmentation de la luminanceSegmentation de la luminance

initial segmenté contours


Segmentation de la luminanceSegmentation de la luminance


Segmentons maintenant l’image couleur YHS des trois premières composantes. Pour cela:

• Prenons les trois segmentations ci-dessus de la teinte;

• Effectuons la segmentation de la luminance Y par sauts itérés ( h=25) et fusion (aire >5);

• Combinons les deux partitions en prenant celle

• de la teinte quand la saturation (lissée) >100

• de la luminance sinon.

Segmentation compositeSegmentation composite


• Exemple de partition de l’image couleur avec usage de la clé saturation sur la connexion par sauts + fusion de regions

L

H

S

mosaïque

Su = 45

XS

))((

))(()(

,20

,20

SY

SH

XfP

XfPfP

Mh

Mh

h=20, Aire <50

Segmentation compositeSegmentation composite


Composite: luminance /teinte standard Composite: luminance /teinte standard


Composite: luminance /teinte 1 pôle Composite: luminance /teinte 1 pôle


Composite: luminance /teinte 2 pôles Composite: luminance /teinte 2 pôles



Segmentations en télédétection

à partir des quatre

premières composantes principales.


Composantes principales 4 et 5Composantes principales 4 et 5

CP 4 CP 5


• Au point x de R4 le vecteur multi-spectral a pour coordonnées

cp1(x), cp2(x), cp3(x), cp4(x) variant entre 0 et 255

• Le vecteur luminance s’écrit Y = (cp1,0,0,0) .

• Soit Cp la composante vectorielle Y . C’est le vecteur de

R3 de coordonnées

cp2(x), cp3(x), cp4(x)

Analyse quadri-chromeAnalyse quadri-chrome


• La saturation et les teintes sont les coordonnées sphériques du vecteur (cp2, cp3, cp4) de R3 i.e.

• saturation = ρ = √(cp2², cp3², cp4²)

• les teintes θ et ψ sont la co-latitude et la longitude par rapport l'axe 0cp4, avec :

cosθ = (cp4/ρ),

cosψ=(cp2/(ρsinθ)),

sinψ=(cp3/(ρsinθ)),

Analyse quadri-chromeAnalyse quadri-chrome


Teintes dans cp2 cp3 cp4Teintes dans cp2 cp3 cp4

On prend :

• pour pôle, le point

θ = 159 ψ = 162

indiqué en noir sur l’histogramme;

• et pour distance la somme des distances en θ et en ψ.

θ

ψ

Pour segmenter les teintes (par LPE ou par sauts) il faut un ordre total sur la sphère unité.

Voici les 2D-histogrammes (θ,ψ)


Distances θ et ψDistances θ et ψ

Distance θ au pôle 159

Distance ψ au pôle 162


Somme des distances θ et ψSomme des distances θ et ψ

d(θ,ψ) = d(θ) + d(ψ)


Image de et son histogramme (seuil 180).

Fonction de saturation Fonction de saturation

= 180


S = H= d(θ,ψ) L

Système "H,L,S" Système "H,L,S"


d(θ,ψ)

segmentation de d(θ,ψ)segmentation de d(θ,ψ)

Contours

segmentés.

sauts 25

aires > 5


Luminance

= CP 1

segmentation de CP 1segmentation de CP 1

Contours

segmentés.

sauts 25

aires > 5


Luminance

= CP 1

Contours

segmentés.

Pondération

par

seuillé à 180

Segmentation mixte de cp1 et d(θ,ψ)Segmentation mixte de cp1 et d(θ,ψ)


R3 R4

Un pôle dans R3

Un pôle dans R4

Comparaison des segmentations mixtesComparaison des segmentations mixtes


Un pôle dans R3

Comparaison des segmentations mixtesComparaison des segmentations mixtes

Un pôle dans R4Luminance


Les segmentations par sauts et par LPE ont les avantages (et des défauts) différents.

Les représentation polaires dans R3 , R4 (ou plus) permettent des segmentation mixtes qui combinent les partitions des variables scalaires.

De plus, dans Rn est une mesure de la dissemblance, en chaque pixel, entre la première composante et l’ensemble des autres. Ce qui peut aider dans des analyses locales.

Il serait intéressant de tester les performances de la norme L1

pour construire des ACP. (la somme des modules des canaux a plus des sens physique que la somme des carrés, car réflectances sont des énergies, i.e. des grandeurs additives).

ConclusionsConclusions

J. Serra ESIEE Paris-est Treillis pilotes 1 Les treillis Pilotes Jean Serra UPE LIGM A3SI ESIEE.

Documents

Transcript of J. Serra ESIEE Paris-est Treillis pilotes 1 Les treillis Pilotes Jean Serra UPE LIGM A3SI ESIEE.