Bases du traitement des images - Opérations de base et améliorations

Plan Types d’opération Transformation géométriques Opérations entre images Amélioration

Bases du traitement des images

I Opérations de base et améliorations J

Matthieu Cord

Transparents de cours préparés par S. Dubuisson, D. Béréziat, N. Thome

2016

1 / 73Bases du traitement des images


Plan du cours

1 Types d’opérations sur une image

2 Transformations géométriques

3 Opérations entre images

4 Améliorations



Opérations sur une image

Comment transformer une image ?

I Chaque pixel de l’image est défini par sa position (i , j) et sonamplitude (intensité) k dans l’image

I Il existe deux types de transformations sur les pixels de l’image :

• les transformations géométriques qui modifient les positions despixels

• les transformations radiométriques qui modifient les intensités despixels

I Possibilité d’effectuer des opérations entre images, qui utilisent cesdeux types de transformation



Transformations géométriques d’image

Transformation affineI Transformation directe sur les coordonnées spatiales d’un pixel

exprimée de manière générale par :(i ′

j ′

)= T

(ij

)+ V

où T est une matrice de transformation, et V un vecteur

I Transformation inverse sur les coordonnées spatiales d’un pixel (sansV) : (

i ′

j ′

)= T−1

(ij

)

I On construit alors l’image J à partir de I par : J(i ′, j ′) = I (i , j)




Translation

I La translation d’un pixel (i , j) de vecteur (ti , tj)t s’exprime :(i ′

j ′

)=

(1 00 1

)(ij

)+

(titj

)




Changement d’échelle

I Le changement d’échelle d’un pixel (i , j) de cœfficients αi et αj

s’exprime : (i ′

j ′

)=

(αi 00 αj

)(ij

)




Rotation

I La rotation d’un pixel (i , j) d’angle θ (dans un repère au centre del’image) s’exprime :(

i ′

j ′

)=

(cos θ sin θ− sin θ cos θ

)(ij

)




Déformation linéaire

I La déformation linéaire d’un pixel (i , j) de cœfficients βi1 , βi2 , βj1 etβj2 s’exprime : (

i ′

j ′

)=

(βi1 βi2βj1 βj2

)(ij

)




Les coordonnées homogènes

I Système de coordonnées défini dans les "espaces projectifs"

• espaces euclidiens ⊂ espaces affines ⊂ espaces projectifs

I Avec les mains : une coordonnée supplémentaire(x , y) affine → (x , y , 1) ∼ (x · w , y · w ,w) projectif

I Toutes les transformations géométriques sont expriméesmatriciellement :

• Les translations de R2 deviennent des transformations linéaires dansR

3

• Idem pour les projections (orthogonales ou non)




Les coordonnées homogènes

I Ex : déformation linéaire en coordonnées homogènes : i ′

j ′

1

=

βi1 βi2 0βj1 βj2 00 0 1

ij1

I Déformation affine (linéaire + translation) : i ′

j ′

1

=

βi1 βi2 Tx

βj1 βj2 Ty

0 0 1

ij1




ProblèmeI Une transformation directe n’implique pas que tous les pixels de

l’images destination auront une couleur↪→ phénomènes de “trous” dans les images

I Deux solutions :

• Appliquer une transformation inverse (mais la matrice doit êtreinversible !)

• “Boucher” les trous

I Dans les deux cas, il faut interpoler



Transformations directe et inverse

I Transformation directe : on part des pixels de l’image initiale et oncalcule leur transformé : génération de “trous” ou de superpositions

I Transformation inverse : on part des pixels de l’image résultat et ondétermine à quel pixel ils correspondent dans l’image initiale partransformation inverse.



Interpolations

I Deux modes d’interpolation principaux :

• Plus proche voisin : le pixel est de la même couleur que celle de sonplus proche voisin

• Interpolation bilinéaire : prise en compte des 4 voisins du pixel pourfaire une combinaison bilinéaire des intensités

I Il en existe beaucoup d’autres : B-splines, polynômes d’Hermitte, ...



Interpolation bilinéaire

P = (1− v)A+ vB

Q = (1− v)D + vC

R = (1− u)P + uQ

= (1− v)(1− u)A+ (1− u)vB + uvC + u(1− v)D



Opérations entre images

I Les images ne sont pas des matrices (une matrice est uneapplication linéaire), les images sont des tableaux (ou des vecteursen la rangeant ligne par ligne ou colonne par colonne)

I Bien faire la différence entre une opération matricielle et uneopération pixel par pixel

I En image, on fait en général des opérations pixel par pixel : addition,soustraction, multiplication, division, combinaison linéaire, ...



Quelques exemples d’opérations entreimages



Quelques applications d’opérations entreimages

Soustraction et réduction de bruit

I On a 2 images identiques (au bruit près) et recalées

I L’image différence des deux images permet de détecter le bruit

I Pixel noir : aucune différence

I Pixel non noir : différence dont l’amplitude est celle du bruitAttention : à des temps différents, l’image de différence donne lavariation en temps de la valeur du pixel, on approxime la dérivéepartielle par rapport au temps




Image de différence pour la détection de changement




Image de différence pour la détection de mouvement




Image de différence pour la détection de mouvement

I Attention : la différence d’image n’est pas suffissante pour ladétection du mouvement

I Généralement, les conditions d’éclairage, les phénomènesd’occultation, le bruit d’acquisition induisent un gradient temporel

I Il est impossible d’estimer la direction ni l’intensité du vecteurvitesse à partir de la différence d’images




Suivi multi-camera

I Pouvoir suivre un/des objets des selon différentes vues d’une mêmescène




Suivi multi-cameraI Une solution : transformation homographique




Recalage rigide d’images pour la cartographie

I Données : une carte et une image satellite (IKONOS)




Recalage d’images pour la cartographie

I Une solution : détecter des points d’intérêt et les faire correspondreavec ceux de la carte à l’aide d’une transformation homogènelinaire (translation, homothétie, rotation, projection).




Recalage d’images pour la surveillance des crûes




Recalage d’images médicales multimodales pour la fusion

I Données : différentes modalités (CT, ultra-son, IRM)

I But : les recaler pour pouvoir les fusionner ensuite et disposer d’uneinformation plus complète




Recalage d’images médicales multimodales pour la fusion




Prédiction par compensation de mouvement pour lacompression vidéo

I Données : deux images d’une séquence

I But : prédire d’une image vers l’autre la position de blocs, et netransmettre que des vecteurs mouvement pour ces blocs





I Partitionnement de l’image 1 en blocs





I Chercher la position de chaque bloc de l’image 1 dans l’image 2





I Transférer le contenu du bloc de l’image 1 dans sa cible dansl’image 2



Améliorations d’images

But de l’améliorationI Rendre les images plus aptes à l’interprétation humaine ou à celle de

la machine

I Aucune théorie générale

I Manipulation dans le domaine spatial : accès direct aux valeurs depixels

I Manipulation dans le domaine fréquentiel : modification de latransformée de Fourier de l’image




Types d’amélioration

I Amélioration ponctuelle : f ′(i , j) = T (f (i , j))↪→ Modification de la brillance ou du contraste d’une image.↪→ L’arrangement spatial (position) des pixels n’intervient pas :aucune relation de voisinage étudiée.↪→ Travail sur les histogrammes, les valeurs de pixels, ...

I Amélioration locale : f ′(i , j) = T (f (V )), où V est un voisinage dupixels (i , j)↪→ Utilisation de filtres (sera étudié dans le cours sur le filtrage).

I Amélioration fréquentielle : f ′ = T (f )↪→ Utilisation de la transformée de Fourier (sera étudié dans lecours sur la TFD).




Pourquoi améliorer une image ?

I Régions à faire apparaître

I Image trop claire ou trop foncée

I Nécessité de modifier ses niveaux de gris afin de rendre visiblescertains détails




Pourquoi améliorer une image ?

I Modifier la brillance.

I Augmenter le contraste.




Rappels - définitions

I Opérations d’améliorations d’images modifient l’histogramme

I Qu’est-ce qu’un histogramme ? Un histogramme cumulé

I A quoi correspond le contraste d’une image ?



Histogramme

DéfinitionI Fonction décrivant la répartition des niveaux de gris de l’image

I Fournit des informations propres à l’image, telles que :

• La distribution statistique des niveaux de gris• Les bornes de répartition des niveaux de gris

I Mais aucune information spatiale !

I À chaque image f de taille N ×M , on peut associer le nombre Hd’apparition des valeurs contenues dans cette image par :

H(k) = Card{0 ≤ i ≤ N − 1, 0 ≤ j ≤ M − 1 : f (i , j) = k} = nk



Remarque sur l’histogramme

Il ne code pas d’information spatiale

I Deux images différentes (en termes de contenu sémantique) peuventaussi avoir le même histogramme



Histogramme normalisé

Définition

I Fonction Hn donnant la probabilité (en termes de fréquenced’occurrence) qu’un pixel ait pour niveau de gris k

Hn(k) =H(k)

N ×M

où N et M sont respectivement le nombre de colonnes et de lignesde l’image

I Les valeurs de H sont normalisées

I En supposant que les valeurs en chaque pixel d’une image sont laréalisation d’une variable aléatoire I , Hn approxime sa loi deprobabilité : Hn(k) ' P(I = k)



Histogramme cumulé

DéfinitionI L’histogramme cumulé est donné par :

Hc(k) =∑i≤k

H(i)

I L’histogramme cumulé normalisé est donné par :

Hc(k) =∑i≤k

Hn(i)

I Hc(k) représente la probabilité d’avoir un niveau de gris inférieur ouégal à k (fonction croissante qui tend vers 1), ou fonction derépartition de la loi de probabibilité de I :

Hc(k) = P(I ≤ k)



Propriétés de l’image

ContrasteI Définition 1 : variation maximale entre valeurs de niveaux de gris

min et max dans l’image :

C =maxi,j [f (i , j)]−mini,j [f (i , j)]maxi,j [f (i , j)] +mini,j [f (i , j)]

I Définition 2 : écart-type des variations de niveaux de gris dansl’image :

C =

√√√√ 1NM

N−1∑i=0

M−1∑j=0

(f (i , j)− B)2

I Deux images totalement différentes peuvent avoir le même contraste




Modifications d’histogrammes

I Modification de la luminance kf : k → k ′ = f (k).

I Diffèrentes fonctions f vont avoir des impacts différents sur l’image



Inversion d’image

DéfinitionI Inversion de l’intervalle des niveaux de gris de f par la formule :

k ′ = |(L− 1)− k |

où L est la dynamique de l’image f

I Ne change pas la dynamique



Seuillage

Définitions et principe

I Seuillage (tresholding) : traitement ramenant l’image à deux ouquelques niveaux d’intensité

I Binarisation (binarization) : traitement ramenant l’image à deuxniveaux ⇒ seuillage binaire

I Le seuillage binaire est défini par :

k ′ =

{k1 si k ≤ Sk2 si k > S

où k1, k2 et S (seuil) sont des niveaux de gris

I Met en avant des régions mais n’améliore pas l’image



Exemples de seuillages (k1 = 0 et k2 = 255)



Variantes autour du seuillage

I Seuillage adaptatif : L(s) = 1I (s)>tI,s :

• Diviser l’image en sous-images• Seuiller chaque sous-image avec un seuil propre

I Inconvients :

• Difficulté des choix des seuils et du découpage des sous-images• Problème de discontinuité dans L

I Seuillage en bande : L(s) = 1I (s)∈D : extraction d’isolignes

I Seuillage multiple : L(s) =∑

i=1...n

i1I (s)∈Di

I Semi seuillage : L(s) = I (s)1I (s)≥T

I Seuillage sur d’autres informations que les niveaux de gris : normedu gradient, seuillage dans le domaine de Fourier, ...



Seuillage : choix du seuil

I À la main ... parfois possible :

, , ,(a) 4 plans de coupe

(b) Seuillage à 80 (c) Seuillage à 500

Figure – X-CT dentaire (dynamique sur 12 bits)47 / 73

Bases du traitement des images


Seuillage : choix du seuil

I Survey over image thresholding techniques and qualitativeperformance evaluation, Sezgin and Sankur, 2004 : 40 méthodes enclassées 6 catégories :

1 histogram shape-based methods, where, for example, the peaks,valleys and curvatures of the smoothed histogram are analyzed

2 clustering-based methods, where the gray-level samples areclustered in two parts as background and foreground object, oralternately are modeled as a mixture of two Gaussians

3 entropy-based methods result in algorithms that use the entropy ofthe foreground and background regions, the cross-entropy betweenthe original and binarized image, ...

4 object attribute-based methods search a measure of similaritybetween the gray-level and the binarized images, such as fuzzyshape similarity, edge coincidence, ...

5 the spatial methods use higher-order probability distribution and/orcorrelation between pixels

6 local methods adapt the threshold value on each pixel to the localimage characteristics.



Seuillage

I Soit h l’histogramme de l’image,

I hhull, enveloppe convexe de h.

I Prendre : t = argmaxg|h(g)− hhull(g)|



Seuillage

I Trouver le seuil t qui minimise la variance intraclasses

I Deux classes : C1 = {g |0 ≤ g < t} et C2 = {g |t ≤ g < L}, avec0 ≤ g < L

I Soit p(g) = n(g)N avec n(g) = nombre de pixels de niveau g et

N = |S |

I Remarquons que α(t) =t−1∑g=0

p(g) et 1− α(t) =L−1∑g=t

p(g)

I Variance intraclasses, définie par :

σ2intra(t) = α(t)σ2

1(t) + (1− α(t))σ22(t) (1)

où σ21 et σ2

2 sont les variances des deux classes



Seuillage

I Minimiser la variance intraclasses :• elle est d’autant plus petite que les variances σ2

1 et σ22 sont petites

(en proportion de leur taille)• c’est-à-dire que la variance intraclasses est d’autant plus petite que

les deux classes sont homogènes.

Théorème (Admis)

Le seuil qui minimise la variance intraclasse est la valeurstationnaire de l’algorithme numérique suivant :

t0 = µ0, tk+1 =12(µ1(tk) + µ2(tk))

I En pratique : on itère jusqu’à ce que |tk − tk+1| < ε, l’algorithmeconverge en une dizaine d’itérations.



Seuillage

Figure – Image IRM.




Revenons à notre problème

I Des images trop claires ou trop foncées

I D’une manière générale : l’histogramme est trop concentré

I Méthodes ponctuelles travaillant sur les niveaux de gris ou sur leshistogrammes mais, en général, ne modifiant pas l’informationcontenue dans les images



Rehaussement logarithmique de contraste

Définition

I Formule : k ′ = log(k)

I L’intervalle des intensités sombres est augmenté (éclaircissementglobal de l’image) : utilisé pour traiter des images trop sombres

I Remettre l’intervalle de variation des k ′ entre 0 et (L− 1)



Rehaussement logarithmique de contraste



Rehaussement exponentiel de contraste

Définition

I Formule : k ′ = ek

I L’intervalle des intensités claires est augmenté (assombrissementglobal de l’image) : utilisé pour traiter des images trop claires

I Remettre l’intervalle de variation des k ′ entre 0 et (L− 1)



Rehaussement exponentiel de contraste



Translation d’histogramme

DéfinitionI Permet de faire varier la luminosité de l’image sans en changer le

contraste

I On obtient une image plus claire ou plus sombre

I S’applique sur des images à faible dynamique

I On a donc : k ′ = k + t, où t ∈ R



Translation d’histogramme



Changement de contraste

DéfinitionI On effectue une transformation affine sur les niveaux de gris

I La transformation s’exprime : k ′ = ak + b, où a, b ∈ R

I Diminution de contraste a < 1 et b > 0

I Augmentation de contraste a > 1 et b < 0

I Un exemple : l’étirement d’histogramme



Étirement d’histogramme

DéfinitionI Cas où l’intervalle de variation des niveaux de gris est réduit : on le

remet entre 0 et (L− 1)

I Si les niveaux de gris de I appartiennent à [kmin, kmax], et qu’onl’étire à l’intervale [0, L− 1], alors on a :

k ′ =L− 1

kmax − kmin(k − kmin)




Un cas particulier : la transformation linéaire avec saturation

I On choisit deux seuils Smin et Smax tels que

kmin ≤ Smin < Smax ≤ kmax

I On a : k ′ = L−1Smax−Smin

(k − Smin)

I On peut obtenir des valeurs pour k ′ en dehors de l’intervalle devariation maximale des niveaux de gris.

I Exemple : image codée sur 8 bits (valeurs entre 0 et 255) :

k ′ < 0 → k ′ = 0k ′ > 255 → k ′ = 255




Et dans le cas général ?

I La dynamique de l’image n’est pas forcément maximale

I On peut choisir un intervalle cible [fmin, fmax] quelconque

I C’est une simple changement d’intervalle, de [kmin, kmax] vers[fmin, fmax]

I On a donc :

k ′ = fmin +fmax − fmin

kmax − kmin(k − kmin)



Égalisation d’histogramme

DéfinitionI Homogénéisation de la répartition des intensités des pixels

I Amplification des fluctuations dans les zones où elles sont faibles

I étalement des détails concentrés dans un petit intervalle de niveauxde gris



Égalisation d’histogramme

DéfinitionI Formule :

k ′ = Int(

L− 1N ×M

Hc(k)

)où L est la dynamique de l’image, N et M respectivement le nombrede lignes et de colonnes de l’image et Hc(k) l’histogramme cumulédu niveau de gris k . Int est la fonction qui arrondit à l’entier le plusproche.



Égalisation d’histogramme : exemple 1



Égalisation d’histogramme : exemple 2



Étirement et égalisation : le même combat ?

Deux effets différents

I L’étirement va changer la répartition spatiale des entrées (bins) del’histogramme, mais pas leur taille

I L’égalisation va changer la répartition spatiale des entrées (bins) del’histogramme, et leur taille



Quelques applications de modificationd’histogrammes

La mosaïque d’images

I Donnée : une image cible et une base d’imagettes




L’apprentissage sur une base d’images

I Donnée : une base de visages




L’apprentissage sur une base d’images

I Un problème : des variations d’illumination au sein de la base↪→ normaliser l’ensemble des histogrammes pour que les imagesaient la même dynamique




Segmentation

I Histogramme dans les espaces de couleurs (très grosse table !)

I Méthodes de “clustering” : k-moyennes (généralisation de Otsu à kseuils), mean-shift.


Bases du traitement des images - Opérations de base et améliorations

Documents

Transcript of Bases du traitement des images - Opérations de base et améliorations