Traitement haut-niveauvandenbroucke/enseignement/...Introduction Les traitements haut-niveau ont...

Traitement d’images

Traitement haut-niveau

Plan

Introduction

La recherche de motifs

La classification de données

Attributs de formes

Attributs de couleur

Attributs de texture

Traitement d'images - Nicolas Vandenbroucke 179

Introduction

Les traitements haut-niveau ont pour but de donner une représentation symbolique de l’image où un lien existe avec la scène observée.

Ils s’appliquent sur :

Le pixel,

Le voisinage du pixel,

Une fenêtre locale de l’image,

Une région (ou contours) extraite d’une phase de segmentation,

L’image elle-même.


Introduction

Reconnaissance des formes

Couleur, texture, contour, mouvement sont des éléments permettant une analyse bas niveau dans la perception humaine

Caractéristique déterminante qui conduit à la reconnaissance des objets observés et à l’interprétation des scènes qui nous entourent.

Grand champs d’applications de segmentation et de classification d’images


Introduction

Recherche de motifs (Template matching)

Corrélation bidimensionnelle

Corrélation normalisée

La recherche géométrique

Classification de données

Extraction de caractéristiques Prise de mesures sur l’image et génération d’un vecteur d’attributs

Outils de classification Définition de critères sur les mesures et élaboration d’un classifieur



Corrélation 1D



Corrélation 2D

Définition

Exemple

i j

jihjqipfqphqpfqpg ),(),(),(),(),(

modèle utilisé



Remarques Les données doivent être à la même échelle

85 85 85 85 85

85 85 85

85 85 170

85 85 170

85 85 170

85 85

170 170

170 170

170 170

170 170 170 170 170

170 170 85

170 170 85

170 85 85

170 170 170

170 170

85 170

170 170

170 170

14×85×170 +

6×170×170 +

3×170×85 +

2×85×85 =

433500 =

0,2667



Normalisation :

– On suppose que le modèle de taille M×N possède les valeurs maximales

– Si la valeur maximale est 255, la valeur maximale de la corrélation est Cmax = M×N×255×255

– Afin d’obtenir une corrélation normalisée entre 0 et 1, il suffit de diviser par Cmax

– Exemple : Cmax = 5×5×255×255 = 1625625 et C = 433500/1625625 = 0,267

Normalisation par rapport au modèle :

– Cmax = 255×ΣiΣjh(i,j)

– Exemple : Cmax = 255×(5×85 + 20×170) = 975375 et C = 433500/ 975375 = 0,444



85 85 85 85 85

85 85 85

85 85 85

85 85 85

85 85 85

85 85

85 85

85 85

85 85

170 170 85 170 170

170 85 85

170 85 85

85 85 85

170 170 85

85 170

85 85

85 170

170 170

170 170 170 170 170

170 170 85

170 170 85

170 85 85

170 170 170

170 170

85 170

170 170

170 170

170 170 170 170 170

170 170 170

170 170 170

170 170 170

170 170 170

170 170

170 170

170 170

170 170

0,3778

0,3067 0,4

170 170 170 170 170

170 170 85

170 170 85

170 85 85

170 170 170

170 170

85 170

170 170

170 170

0,2



Corrélation normalisée


𝑔 𝑝, 𝑞 =1

𝑀 ×𝑁

𝑓 𝑝 + 𝑖, 𝑞 + 𝑗 − 𝜇𝑓(𝑝, 𝑞) × ℎ 𝑖, 𝑗 − 𝜇ℎ

𝜎𝑓(𝑝, 𝑞) × 𝜎ℎ𝑗𝑖

𝜇𝑓 𝑝, 𝑞 =1

𝑀 × 𝑁 𝑓 𝑝 + 𝑖, 𝑞 + 𝑗

𝑗𝑖

𝜎𝑓 𝑝, 𝑞 =1

𝑀 × 𝑁 𝑓 𝑝 + 𝑖, 𝑞 + 𝑗 − 𝜇𝑓(𝑝, 𝑞)

2

𝑗𝑖

12

𝜇ℎ =1

𝑀 × 𝑁 ℎ 𝑖, 𝑗

𝑗𝑖

𝜎ℎ =1

𝑀 ×𝑁 ℎ 𝑖, 𝑗 − 𝜇ℎ

2

𝑗𝑖

12


Application 170 170 170 170 170

170 170 85

170 170 85

170 85 85

170 170 170

170 170

85 170

170 170

170 170

μh = 153 σh = 34

85 85 85 85 85

85 85 85

85 85 170

85 85 170

85 85 170

85 85

170 170

170 170

170 170

μf(p,q) = 115,6 σf(p,q) = 40,8

17 17 17 17 17

17 17 -68

17 17 -68

17 -68 -68

17 17 17

17 17

-68 17

17 17

17 17

-30,6 -30,6 -30,6 -30,6 -30,6

-30,6 -30,6 -30,6

-30,6 -30,6 54,4

-30,6 -30,6 54,4

-30,6 -30,6 54,4

-30,6 -30,6

54,4 54,4

54,4 54,4

54,4 54,4

(14×17×-30,6 +

6×17×54,4 +

3×-68×54,4 +

2×-68×-30,6) /

(34×40,8) =

-6,25 =

-0,25

h - μh f - μf Traitement d'images - Nicolas Vandenbroucke 189


85 85 85 85 85

85 85 85

85 85 85

85 85 85

85 85 85

85 85

85 85

85 85

85 85

170 170 85 170 170

170 85 85

170 85 85

85 85 85

170 170 85

85 170

85 85

85 170

170 170

170 170 170 170 170

170 170 85

170 170 85

170 85 85

170 170 170

170 170

85 170

170 170

170 170

170 170 170 170 170

170 170 170

170 170 170

170 170 170

170 170 170

170 170

170 170

170 170

170 170

1

0,48 0

170 170 170 170 170

170 170 85

170 170 85

170 85 85

170 170 170

170 170

85 170

170 170

170 170

0



Etape de la recherche de motifs

Le but de la recherche de motifs est de localiser dans une image des formes représentées par un motif préalablement appris.

L’approche par corrélation consiste à déplacer le motif appris sur l’image et calculer une fonction de ressemblance au voisinage de chaque pixel.

L’image de corrélation ainsi obtenue est ensuite analysée afin de détecter les maximums locaux supérieurs à un seuil de ressemblance prédéfini.

Cette approche peut être précédé d’une étape de segmentation ou les formes à reconnaitre sont d’abord détectées.



Schéma général

Extraction de caractéristiques (génération d’attributs ou

primitives) Attributs de forme, de couleur, de texture, de mouvement…

Méthodes de classification



Espace de représentation


Données à classer

Exemple : représentation des données dans un espace de dimension 2


Espace de représentation


Classe 1

Classe 2

Classe 3

Exemple : représentation des données dans un espace de dimension 2


Génération des attributs

Attributs de formes (régions ou contours) Mesures métriques

Caractéristiques topologiques

Caractéristiques locales





Méthodes de classification Partitionner un ensemble de données en groupes ou classes,

grâce à l’exploitation de leur similarité

Phase d’apprentissage Prise de connaissance : organisation en modèles puis en classes

Différents types d’apprentissage – Supervisé : définition des différentes classes entièrement basée sur des

prototypes, qui sont des échantillons de classe connue on donne par chaque exemple sa classe

– Non supervisé : aucune connaissance a priori sur les classes, le classifieur est autonome

– Semi supervisé : connaissance partielle

Phase de décision Le système identifie la classe du vecteur présenté



Classification supervisée


Apprentissage (hors-ligne)

Classification (en-ligne)

Pré-traitement

Construction du classifieur

Acquisition des images prototypes

Génération d’attributs

Pré-traitement

Décision Acquisition des images

à classer

Génération d’attributs


L’espace de décision (ou de représentation)



Rôle du classifieur : le système doit être capable de déterminer si le vecteur : appartient à une classe

n’est pas parfaitement conforme

est à la frontière

n’appartient pas à des classes connues

appartient à plusieurs classes

impossible à traiter



Les différentes approches Approche structurelle

– Arbre ou graphe de décision

– Critère de distance

Approche syntaxique

– Utilisation d’une « grammaire »

Approche statistique

– Les plus utilisées de nos jours

– Basée sur la règle de Bayes



Exemples Règle du k-ppv : les plus proches voisins sont recherchés parmi k

Algorithme de Parzen : les distances sont mesurées dans une fenêtre



K-ppv avec k=5



Plus proche barycentre


Attributs de formes

Mesures métriques effectuées sur des régions ou des contours

Mesure de distance

Mesure de périmètre

Calcul de surface

Moments invariants

Moments d’ordre 2 Largeur et hauteur de la forme

Mesures invariantes Compacité

Elongation


Attributs de formes

Segmentation en régions


Image segmentée

Attributs de formes

Calcul des attributs


Image binaire d’une région

Boîte encadrante,

Centre de gravité,

Surface,

Périmètre, Longueur et largeur (axe d’inertie), Angle de l’axe principal d’inertie, Excentricité, Niveau moyen…

Attributs de formes

Exemple


TroncsExtremités

horizontalesCourbes Traits-Points

ArcsExtremités

CourbesQueue Ventre

Attributs de formes

Caractéristiques topologiques

Exemple : primitives de Coueignoux

Approche structurelle


Attributs de formes

Caractéristiques locales

Intersections avec des droites

Densité locale


Attributs de formes

Exemple

Lecture d’un code postal

Code postal à lire Binarisation

Traitement morphologique Analyse en composante connexes


Attributs de formes

Extraction des cavités nord, sud, est, ouest et centre

Ouest Est Centre Nord Sud

Un pixel P appartient à une cavité de direction θ (est, ouest, sud, nord ou centre) si P n’appartient pas au tracé et si, en partant de P, on ne rencontre pas le tracé dans la direction θ mais dans les autres directions.


Attributs de formes

Calcul du pourcentage de cavité

ouestestsudnordcentre

%

Centre = 0,2349

Ouest = 0,3583

Est = 0,2407

Nord = 0,0485

Sud = 0,1176


Attributs de formes

Vecteurs d’attributs V = [Est Ouest Sud Nord Centre]

Vecteur d’attributs du "6" :

[0,4393 0 0 0 0,5603]


[0,2407 0,3583 0,1176 0,0485 0,2349]


[0,0147 0,4772 0 0,0369 0,4711]


[0,6102 0 0,0307 0 0,3588]


[0,2376 0,6205 0 0 0,1418]


Attributs de formes

Espace de décision

-0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Est

Ouest

6

2

9

6

7

0

1

2

3

4

5

6

7

8

9

-0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9-0.1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Est

Centr

e

6

2

9

6

7

0

1

23

4

5

6

7

8

9



Représentation de la couleur

Une image numérique couleur est un ensemble de pixels organisés sous la forme d’une matrice.

Chaque pixel est caractérisé par : Ses coordonnées dans l’image

Ses niveaux de composantes couleur

Autres caractéristiques Attributs calculés dans un voisinage défini du

pixel (moyenne, variance, attribut statistiques, attributs de texture)




Les images numériques couleur sont acquises par des dispositifs qui codent la couleur dans l’espace (R,G,B).

Les pixels de l'image donnent naissance à des points qui sont représentés dans un espace tridimensionnel et dont les coordonnées sont les niveaux des trois composantes couleur correspondantes.

L’image numérique couleur donne naissance à des nuages de points dans cet espace.


0 64

128 192

255 0

64

128

192

255

0

64

128

192

255

G R

B



Image couleur numérique




Image couleur numérique



Image composante


Image couleur I

Image composante IC1 Image composante IC2 Image composante IC3


Les espaces couleur

Il existe un grand nombre d’espaces couleur autre que l’espace d’acquisition (R,G,B).

Le choix d’un espace couleur est une étape importante dans la réussite d’une application.

Aucun espace ne permet d’obtenir toujours les meilleurs résultats.

La multitude et la diversité des espaces couleur impliquant des présentations différentes rend difficile le choix d’un espace.


Familles d’espaces couleur


(R,G,B)

Espaces de primaires

(R,G,B)

espaces de primaires

réelles

(RE,GE,BE)

(RF,GF,BF)

(RC,GC,BC)


virtuelles

(X,Y,Z)

espaces normalisés

(r*,g*,b*)

(x,y,z)

Espaces luminance-chrominance

espaces perceptuellement

uniformes

(L*,a*,b*)

(L*,u*,v*)

espaces antagonistes

(A,C1,C2)

(bw,rg,by)

espaces de télévision

(Y’,I’,Q’)

(Y’,U’,V’)

autres espaces luminance-

chrominance (L,Ch1,Ch2)

(I,r,g)

Espaces perceptuels espaces de

coordonnées perceptuelles

(I,S,T) espaces de

coordonnées polaires

(L,C,H)

Espaces d’axes indépendants

espace d’Ohta (I1,I2,I3)

Espaces couleur hybrides


(R,G,B)

Espaces de primaires

(R,G,B)


réelles

(RE,GE,BE)

(RF,GF,BF)

(RC,GC,BC)


virtuelles

(X,Y,Z)

espaces normalisés

(r*,g*,b*)

(x,y,z)

Espaces luminance-chrominance

espaces perceptuellement

uniformes

(L*,a*,b*)

(L*,u*,v*)

espaces antagonistes

(A,C1,C2)

(bw,rg,by)

espaces de télévision

(Y’,I’,Q’)

(Y’,U’,V’)

autres espaces luminance-

chrominance (L,Ch1,Ch2)

(I,r,g)

Espaces perceptuels espaces de

coordonnées perceptuelles

(I,S,T) espaces de

coordonnées polaires

(L,C,H)

Espaces d’axes indépendants

espace d’Ohta (I1,I2,I3)

(x,y,z)

(L,Ch1,Ch2) (I1,I2,I3)


Beaucoup d’autres espace existent

Contexte du traitement d’image

Les espaces couleur sont vus comme des transformations linéaires ou non permettant une représentation différente des couleurs et conduisant à une amélioration des résultats des traitements.

Les espaces couleur ne sont pas toujours exploités de façon rigoureuse et reposent souvent sur des hypothèses simplificatrices permettant leur utilisation.



Quelques précautions d’utilisation

Respecter les règles d’utilisation (matrices de passage, illuminant, primaires, correction gamma, …).

Pas nécessaire de coder ces espaces si on analyse directement les valeurs transformées.

Lorsqu’un codage est nécessaire (mémorisation, affichage, histogramme, …), il faut l’effectuer tout en respectant les propriétés de ces espaces.



Traitement d'images - Nicolas Vandenbroucke

Image segmentée dans l’espace (R,G,B)

Image segmentée dans l’espace (L*,a*,b*)

Image à segmenter

Sélection automatique d’espaces couleur

225


Description visuelle d’une texture

Agencement spatial, plus ou moins régulier, d’éléments qui constituent un ensemble

Informations visuelles permettant une description qualitative à l'aide d'adjectifs tels que contrastée, grossière, fine, lisse, tachetée, zébrée, granuleuse, marbrée, régulière ou irrégulière...

Assez aisée pour l’homme

Un grand nombre de définition mais pas de définition universelle

Difficile à définir (diversité, complexité)



Quelques propriétés… Propriété de région Nécessité d’un voisinage spatial (image, fenêtre, région, voisinage direct)

La taille de ce voisinage dépend du type de texture ou de la surface occupée par le motif définissant cette dernière

Résolution Nombre de pixels par unité de longueur

Une résolution spatiale faible permet de mettre en valeur les traits grossiers

Une résolution spatiale plus importante fait apparaître les détails

Répétition, périodicité Une image ou une région est considérée comme texturée si elle présente un

nombre suffisant de motifs la définissant

Texture couleur : Arrangement spatial des couleurs


La classification de textures


Classe 1

Classe 2

Classe 3

Classe 4

Classe 5

Classe 6

Base d’apprentissage

Image requête à classer

?

?

?

?

?

?

Nécessité de déterminer des descripteurs pour représenter, comparer et discriminer différentes textures couleur


Descripteurs de texture

Attributs géométriques

Attributs basés sur la modélisation spatiale des textures

Attributs spatio-fréquentiels

Attributs statistiques



Attributs statistiques

Objectif Formaliser les relations entre les

pixels et leur voisins et définir la texture en terme de variation de couleur

Principaux descripteurs Attributs statistiques du premier

ordre

– Les statistiques d’image

– Les histogrammes d’image

Attributs statistiques du second ordre

– Matrices de cooccurrences chromatiques

– Motifs binaires locaux couleur

– Histogrammes des sommes et des différences

Attributs statistiques d’ordre supérieur

– Matrices de longueurs de plages



Attributs statistiques du premier ordre

Statistique d’image Moyenne

Variance

Dissymétrie (Skewness)

Aplatissement (Kurtosis)

Entropie

…

Statistique d’histogramme Médiane

Mode

Intervalle interquartile

…




Image couleur et images des composantes R, G et B [image OuTex 746×538]

232



Composante R

•Moyenne = 74.8278 •Variance = 25.0964 •Entropie = 6.5275

•Médiane = 73 •Mode = 45

Composante B

•Moyenne = 37.5990 •Variance = 7.3674 •Entropie = 4.7923

•Médiane = 36 •Mode = 34

233


Attributs statistiques du second ordre

Matrices de cooccurrences chromatiques Chaque image couleur (représentée dans l’espace (C1,C2,C3)) est

caractérisée par 6 matrices :

– 3 Matrices intra-composante : MC1C1, MC2C2, MC3C3

– 3 Matrices inter-composante : MC1C2, MC1C3, MC2C3

Ces matrices mesurent les interactions spatiales entre les composantes couleurs des pixels dans un voisinage donné défini par :

– Une direction d’orientation θ

– Une distance d




8-connexité 4-connexité 1 4-connexité 2

2-connexité direction 0°




235



d

Distance d

236



0

0

1 2 3

1

2

3

C1 C2

Image couleur représentée dans l’espace (C1,C2,C3)

Matrice de cooccurrences MC1C2 associée

3

0 1 0

3 2 1

1 2 1

0 0 0

2 0 1

1 1 3

2 0 0

1 0 0

3 2 3

2 0 3

2 2 0

2 2 0

2 1 0

3 2 1

1 0 0

2 0 0

237



0

0

1 2 3

1

2

3

C1 C2

Image couleur représentée dans l’espace (C1,C2,C3)

Matrice de cooccurrences MC1C2 associée

0 1 0

3 2 1

1 2 1

0 0 0

2 0 1

1 1 3

2 0 0

1 0 0

3 2 3

2 0 3

2 2 0

2 2 0

2 1 0

3 2 1

1 0 0

2 0 0

3 +1

1

2

0

7 7 4

1 4 3

4

0 0 0

2 9

238


Attributs d’Haralick extraits des matrices de cooccurrences


54 2 10 25 1 …

2 0 97 84

10 97 66

25 84

1

…

0

1

2

3

4

…

255

0 1 2 3 4 … 255

Matrice de cooccurrences M Niv

eau

x d

e q

uan

tifi

cati

on

f1 : énergie (second moment angulaire)

f1 = ∑ ∑ [M(i,j)]2

f2 : contraste

f3 : corrélation

f4 : variance

f5 : homogénéité

… f14

239




240



Matrice de cooccurrences MRR

(4-connexité 1, d=1)

•Contraste = 87.0194 •Corrélation = 0.9309

•Energie = 0.00050370 •Homogénéité = 0.2365

Matrice de cooccurrences MBB




241



Matrice de cooccurrences MRR




Matrice de cooccurrences MBB




242


Motifs binaires locaux (LBP) Un motif local à chaque pixel est déterminé par comparaison entre les

composantes couleur de ce pixel et celles de ces voisins

Chaque motif est codé par une valeur

Les attributs de textures sont les histogrammes des valeurs ainsi codées

9 motifs locaux binaires par pixel :

– 3 motifs locaux intra-composantes

– 6 motifs locaux inter-composantes




Seuillage

C1C1

Pixel à analyser et

son voisinage 8-connexité

Codage

Ma

squ

e de p

oid

s

5 2 4

4 5 3

1 1 7

7 6 5

4 3 0

7 6 1

2 4 0

3 4 7

1 2 7

Seuil

= 5

0 - -

0 - -

1 - -

0 - -

1 - -

0 - -

0 - -

0 - -

Seuil = 5

0 - -

0 - -

128 - -

0 - -

8 - -

0 - -

0 - -

0 - -

16 16 16

64 64 64

128 128 128

32 32 32

8 8 8

2 2 2

4 4 4

1 1 1

8 + 128 = 136



Seuillage

C1C2



Codage

Ma

squ

e de p

oid

s

5 2 4

4 5 3

1 1 7

7 6 5

4 3 0

7 6 1

2 4 0

3 4 7

1 2 7

Seuil

= 5

- 1 -

- 0 -

- 1 -

- 0 -

- 1 -

- 0 -

- 0 -

- 0 -

- 16 -

- 0 -

- 128

-

- 0 -

- 8 -

- 0 -

- 0 -

- 0 -

16 16 16

64 64 64

128 128 128

32 32 32

8 8 8

2 2 2

4 4 4

1 1 1

8 + 16 + 128

= 152



Seuillage

C2C1



Codage

Ma

squ

e de p

oid

s

5 2 4

4 5 3

1 1 7

7 6 5

4 3 0

7 6 1

2 4 0

3 4 7

1 2 7

Seuil

= 2

1 - -

0 - -

1 - -

1 - -

1 - -

1 - -

1 - -

0 - -

16 - -

0 - -

128 - -

32 - -

8 - -

2 - -

4 - -

0 - -

16 16 16

64 64 64

128 128 128

32 32 32

8 8 8

2 2 2

4 4 4

1 1 1

2 + 4 + 8 + 16 + 32

+ 128 = 190



0 16 32 48 64 80 96 112 128 144 160 176 192 208 224 240 2560

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2x 10

4

0 16 32 48 64 80 96 112 128 144 160 176 192 208 224 240 2560

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2x 10

4

Image LBPRR Image LBPBB

Traitement haut-niveauvandenbroucke/enseignement/...Introduction Les traitements haut-niveau ont...

Documents

Transcript of Traitement haut-niveauvandenbroucke/enseignement/...Introduction Les traitements haut-niveau ont...