Laboratoire Bordelais de Recherche en Informatique 23/02/2014 4. Descripteurs du contenu Le...

Laboratoire Bordelais de Recherche en Informatique

11/04/23

4. Descripteurs du contenu

Le descripteurs les plus fréquemment utilisés :

Descripteurs invariants aux transformations affines autour des points caractéristiques : « coins de Harris », DOG – Lowe et al.

Descripteurs normalisés ( MPEG7 )


11/04/23

Descripteurs SIFT (D. Lowe 2004) -1

SIFT = scale invariant feature transform Problème : détecter les points caractéristiques et proposer

les descripteurs invariants par rapport aux transformations

affines du plan – image et de la liminance.),(),,(),,( yxIyxGyxL

2

22

2

22

1),,(

yx

eyxG

-est le paramètre d’échelle

(1) (2 )

),,(),,(),,(),,( yxLkyxLyxDyxDOG

Mokolajczyk (2002) a montré que les points les plus stables sont obtenus comme extremums de Laplacien de Gaussienne d’une image

IG 22


11/04/23

DOG est une bonne approximation de

Considérons Alors (3) (4) Par ailleurs

(5)

G22

)2

exp(22

12

22222

5

yx

yxG


1 kk

)1(),,(),,(

kG

yxGkyxG

2

22222

62

2

2

22

2exp2

2

1

yx

yxy

G

x

GG


11/04/23


De (4) et (5) :

(6)

Finalement de (3) et (6):

DOG déjà comporte la normalisation requise pour Laplacien inv. à l’échelle. Le

facteur (k-1) est constant pour toutes les échelles et n’influence pas la localisation

des extremums

G

G2

),,()1()1(),,(

),,(),,( 22

yxGkkyxG

yxGkyxG

2


11/04/23

Calcul de la DOG

Convoluer I avec G progressivement

pour produire L séparées par k dans

l’espace - échelle

Une Octave est divisée en s

intervalles,

Echelles adjacentes

DOG:

Sous-échantillonnage de facteur 2

2,

2,...,22,2, /1/1/1 sss

2,

sk1

2

),,(),,(),,( iii yxLkyxLyxD


11/04/23

Détection des extremums locaux

Un point est retenu si DOG est minimale ou maximale parmi

26 voisins

Choix du paramètre d’échelle

valeur

(Lowe[2004])

L’échelle s est affectée

au point

2,

6,1


11/04/23

Filtrage le long des contours (1)

Un faible pic de DOG (qui correspond au contour) aura une forte courbure dans la

direction orthogonale au contour et une fable courbure dans la direction orthogonale.

Matrice Hessienne

Les valeurs propres de H sont proportionnelles aux courbures principales de D

au point considéré.

Soit avec - la valeur propre maximale ( )

sont les racines du polynôme caractéristique , alors

yyyx

xyxx

DD

DDH

,

r

, )det( IH

),(HTr)(HDet

1r


11/04/23

Filtrage le long des contours (2)

Finalement

Exclusion du point si

r

r

HDet

HTr 222 1

Thr

Thr

HDet

HTr 22 1


11/04/23

Résultats de la détection

Image1


11/04/23

Résultats de la détection

Image10


11/04/23

Affectation de l’orientation

Objectif : obtenir l’invariance du descripteur par rapport à la

rotation en compensant par rapport à l’orientation locale

For each sample of the image L(x,y) at a given scale

compute :

Amplitude du gradient :

Angle d’orientation : Histogramme d’orientations et calculé dans le

voisinage du point caractéristiques (36 orientations : 360/10).

Points multiples : l’histogramme contient plusieurs modes

22 )1,()1,(),1(),1(),( yxLyxLyxLyxLyxm

),1(),1(/)1,()1,(arctan),( yxLyxLyxLyxLyx

36,..,1,5,1,,,),()()( 00 iyxyxGyxmhh sii


11/04/23

Séléctionner une région – carré autour du point caractéristique ( 8x8 or 16x16 pixels);

Claculer l’amplitude du gradient et l’orientation en chaque point de la région, pondérer l’amplitude avec une Gaussienne (cercle)

Diviser en blocs de taille 4x4 et calculer l’histogramme d’orientation pour chaque bloc (8 orientations);

Pondérer chaque contribution dans un bin par l’amplitude lissée du gradient

Interpoler les histogrammes

Descripteur local autour du point caractéristique (1)


11/04/23

Descripteur local autour du point caractéristique (2)

Le descripteur X est un vecteur des histogrammes 4x4 concaténés dim(X)=4x4x8=128

« Tourner » le descripteur X par rapport à l’orientation du point caractéristique pour obtenir l’invariance par rapport à la rotation

Normaliser : - invariance par rapport aux transformations affines de

la luminance

XXX /


11/04/23

Comparaison des descripteurs ( contexte de recherche des

images/vidéos)

Pour chaque point caractéristique dans l’image-requête et tous les points caractéristiques dans la BD calculer

Soit p1 le PPV de Q et p2 le second PPV de Q Si D(p1 )< D(p2) x Th du ]0 … 1] alors p1 est le

bon « correspondant » Activer le mécanisme de vote,…. Groupement basé sur les appariements….

2/1

1

2,

N

iDBiQiDBQ xxXXd


11/04/23

Mise en correspondance -Application à la recherche des images (mais aussi

reconnaissance des images vidéos similaires, groupement des clips etc)

Plusieurs méthodes : par exemple, pour chaque descripteur de l’image – requête

trouver le meilleur correspondant dans la BD et regrouper les images correspondantes.

Soient p1 premier plus proche voisin d’un point-clé de l’image

requête et p2 son second plus proche voisin, alors D(p1 )< D(p2) x seuil , seuil appartenant à ]0 … 1] – bon

appariement Activer le mécanisme de vote,…. Groupement basé sur les appariements….


11/04/23

Descripteurs normalisés MPEG7

Descripteurs de la couleur; Descripteurs de la texture; Descripteurs de la forme des objets; Descripteurs du mouvement;


SURF (speed-up robust features)(1)

11/04/23

Points caractéristiques : max de det de Hessian - blobs

L-convolution de l’image avec la dérivée seconde d’une Gaussienne


SURF (speed-up robust features)(2) H. Bay et al.

Image intégrale

Calcul rapide de convolution

11/04/23

C-B-D+A


SURF (speed-up robust features)(3)

11/04/23

Augmentation de taille de filtre au lieu de changement de l’image pour la détection à différentes échelles


Exemples de détection

11/04/23


Régions de calcul du descripteur.

11/04/23

Calcul de l’orientation à la base des Ondelettes de Haar


Descripteur

11/04/23


11/04/23

Descripteurs de la couleur en MPEG7 (1) Color structure descriptor : exprime la structure

locale de la couleur dans l ’image

Calcul : soit M couleurs quantifiées.

L ’histogramme de la structure couleur est dénoté par h(m), m=0,1,…,M-1 où la valeur dans chaque bin représente le nombre d ’éléments structurants dans l ’image contenant cette couleur.

110 ,...,, Mccc

Elément structurant : bloc 8x8 glissant d ’un pixel.

Si la taille de l ’image > 256x256 - un sous-échantillonnage de facteur de 2 est effectué.


11/04/23

Système couleur et quantification

Quantification de la couleur (HMMD - HS) en 32, 64, 120, 184 couleurs HueMaxMinDiff

Blanc

Degré de noir (max)

Chroma (diff)

Degré de blanc (min)

Intensité (sum)

Noir

Couleur Pure

Hue - le même que dans HSV

Max=max(R,G,B), Min=min(R,G,B)

Diff=Max-Min, Sum=(Max+Min)/2


11/04/23

Descripteurs de la couleur en MPEG7 (2) Dominant color descriptor : l ’ensemble des

couleurs dominantes dans la régions d ’intérêt ou dans l ’image entière fournit une description compacte facile à indexer. ),...,2,1(,,,, NisvpcF iii

s

v

p

c

i

i

i - ième couleur dominante

- pourcentage dans l ’image

- variance couleur;

- mesure de cohérence spatiale (nombre moyen normalisé des pixels connexes de même couleur dans un voisinage 3x3).


11/04/23

Calcul du DCD – Split-LBG Nombre de classes final fixé à priori K=2n

Méthode : 1. Initialisation : tirage aléatoire des centres de M<K classes (M=2) 2) « Split » de D :

3) LBG a - affectation

b - calcul du nouveau centroïde de chaque classe :

c - calcul de la distorsion si alors arrêter sinon (3) 4) Arrêt si K classes sinon retour en (2).

AccD M ,...,1

1)1( ,..., i

Ti

naaA

iii ccc ,

ikkjk

j DccadArgaC ),,()( min

kCla

lk

k aN

g1

k i

kik cadE ,

1 II EE


11/04/23

Descripteur Color Layout Color Layout Descriptor : représentation compacte de la

distribution spatiale des couleurs dans l’image, indépendante de la résolution.

Calcul : - Partitionner image de taille MxN en 64 blocs (8x8). -Calculer la valeur représentative (moyenne) par bloc Calculer la DCT sur l’imagette des valeurs représentatives

Coefficients DCT de luminance

Coefficients DCT de chrominance rouge

Coefficients DCT de chrominance bleu

m = 6, n = 3 par exemple

njmiDCbDCrDYCLD jji ,...,1,,...,1,,,


11/04/23

Calcul du descripteur

Zigzag Scan

Coefficients

Partitionement

Calcul des couleurs

représentatives

DCT

image

CLD

YCbCr

64(8x8) blocs


Exemples de CLD

11/04/23


11/04/23

Descripteurs du mouvement

Activité de mouvement : traduit la notion intuitive de l ’intensité

d ’action dans un segment d’une vidéo Attributs : - intensité de d ’activité (l ’attribut principal) - direction d ’activité (la direction dominante

parmi 8 possibles) - distribution spatiale de l ’activité (indication

sur la taille et quantité des régions actives dans une scène vidéo)

- distribution temporelle de l ’activité


11/04/23

Activité du mouvement

Valeur d’Activité Dynamique de l’ecart-type des vecteurs demouvement

1 9,30 2 7,100 3 1,177,10 4 321,17 5 32

Corrélation avec l ’amplitude des vecteurs du mouvement dans la séquence

Intensité d ’activité : mesure qualitatives selon l ’échelle 1..5 (très faible, faible, moyenne, forte, très forte


11/04/23

Descripteur du mouvement des objets (1)


11/04/23

Descripteur du mouvement des objets (2)

Modèle de trajectoire : approximation du premier ou second ordre par morceaux.

Ensemble des points-clés : coordonnées du centre de gravité de l ’objet (2D ou 3D);

ou

aaa ttvftf

-paramètre d ’interpolation

- la vitesse et l ’accélération de l ’objet

- positions en temps ta et tb

22

1aaaaa ttattvftf aba

ab

aba tta

tt

ffv

2

1

ba

aa

a

ff

av

a

,

,

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 4. Descripteurs du contenu Le...

Documents

Transcript of Laboratoire Bordelais de Recherche en Informatique 23/02/2014 4. Descripteurs du contenu Le...