Laboratoire Bordelais de Recherche en Informatique 23/02/2014 5. Extraction dobjets pour le...

Laboratoire Bordelais de Recherche en Informatique

11/04/23

5’. Extraction d’objets pour le chapitrage des documents audio-visuels numériques Objectifs : extraire les objets des séquences

vidéo et indexer le contenu par objets

Après l’extraction : calculer les descripteurs de la forme, de la texture, de la couleur.

Pb. d’extraction est le plus complexe !

Dans notre cours : uniquement les méthodes dites “coopératives” – basées régions seront proposées.


11/04/23

Sommaire

1. Introduction

2. Construction de la segmentation spatio-temporelle - “objet”

3. Eléments du suivi des segmentations spatio-temporelles

4. Extraction des informations de la composition des scènes


11/04/23

1. Introduction

MPEG1, 2 MPEG4,7

Blocs VOs


11/04/23

2. Construction de la segmentation spatio-temporelle - “objet”

Modes:

- « manuel » - rotoscoping (pratiques de pp. vidéo)

- semi-automatique (IRISA, IRCCyN, UPC, I3S, plate-forme OSIAM, plate-forme MoMuSys et al., « blue screenning »)

- automatique (IRISA, IRCCyN, UPC, Univ. de Tel- Aviv, Univ. de Hannover …)


11/04/23

Segmentation spatio-temporelle semi - automatique(I)

Interaction de l ’utilisateur

Segmentation spatiale Estimation du mouvement

iiR ,1, tt II

IRISA/TEMIC


11/04/23

Segmentation spatio-temporelle semi - automatique (II)

Segmentation

spatiale

iiR ,1, tt II

Estimation du

mouvement

Fusion basée

mouvement

Interaction de l ’utilisateur


11/04/23

Superposition de la segmentation spatiale et la classification des

régions

Estimation du mouvement et

fusion intra-classe

Affectation inter-classe si

possible

Approche à l ’interaction minimale


11/04/23

Segmentation spatio-temporelle automatique

Pour les scènes génériques la segmentation purement automatique reste un défi!

SST MDL

(optimisé par rapport au codage)

IRISA/TEMIC S. Pateux, C. Labit

SST coopérative

IRCCyN

J. Benois,F. Morier,

D. Barba


11/04/23

Segmentation spatio-temporelle automatique(II)

IRISA/ Vista

P. Bouthemy, M. Gelgon

étiquetage stochastique du GAR

(Champs de Markov)

IRCCyN/ISA/IVC

F.Morier, J. Benois, D. Barba

fusion ascendante basée sur

les mesures de la qualité de compensation

du mouvement


11/04/23

Segmentation spatio-temporelle

Deux phases :

- la segmentation spatiale :

approches

morphologique, texturelle (markovienne),

MDL, pyramides de luminance…

- prise en compte du mouvement :

estimation paramétrique, fusion


11/04/23

Segmentation couleur morphologique

(1)Calcul du gradient morphologique sur la luminance (Y) pour obtenir les contours des objets

YYG

où


11/04/23

Segmentation Watershed modifié

• Image comme surface topographique• A chaque région connexe est associée un bassin

• A chaque barrière de gradient est associée un barrage

x

x

C(x)

|G(x)|

• Étiquetage des composantes connexes

• Watershed modifié dans l’espace

couleur : croissance des régions

Th)p(cmd2)i()i(

)R,p(


11/04/23

Segmentation spatiale couleur. Approche morphologique « Watershed »

Watershed classique

sur le gradient

Watershed adaptatif

sur la luminance


11/04/23

Segmentation spatiale couleur. Watershed Couleur vs. Luminance

Couleur Luminance

NBR_RégC=NBR_RégL Différence est dans la forme!


11/04/23

Segmentation spatiale couleur. Fusion basée couleur

574 539 506

470 444 arrêt 425 398

Nombre initial de régions

657

22

2

2jmm

mmC

i

ji

B

iVi

Rii mmmm ,,

50 101.0

46 1031.0

Critère


11/04/23

Segmentation spatiale couleur.Résultats.


11/04/23

Estimation du mouvement

Modèles : affines du 1er ordre (6 ou 4 paramètres)

Rt<=> t=(tx,ty,,k)T

t=(a0,b0,abab)T

111112

111112

ggy

ggx

yykxxtyydyyyxxktxxdx

g

g

yy

xx

bb

aa

b

a

dy

dx

21

21

0

0

Méthodes d ’estimation :

- différentielles (1er, 2nd ordre)

- estimation du flot optique + estimation paramétrique

au sens des MC


11/04/23

Estimation du mouvement basée région(I)

2

,)),,(,,(

1tyxIttdyydxxI

NEQM

Ryx

-> min

i

k

i

Ryx

i

dyxDFDt

dyxDFDt

G

,,

...

,,

2

2

1

),(

i

j

ij

ij G

N

2Θ1

rot

div

ty

tx

ii tdpI

000

000

000

000

),(

1

22

idyxDFD ,,2

Méthode : descente de gradient

gain adaptatif

Critère à optimiser :


11/04/23

Estimation du mouvement basée région(II)

Mono-résolutionInitiale à 0 Initiale avec mise en

correspondance de région

Multi-résolutionNom de séquence

FD2 EQM finale EQM initiale EQM finale EQM finale

Interview 241,17 57,83 116,34 48,31 43,67

Mobile & Calendar 1167,61 247,93 477,82 182,83 106,16


11/04/23

Fusion des régions au sens du mouvement(I)

Approche basée sur

- test des hypothèses statistiques;

- mesure de la qualité de compensation du mouvement

H0 : R1, R2 font partie d ’une même région R0 = R1Ú R2

H1: R1, R2 sont des régions distinctes

Test des hypothèses statistiques ( maximum de vraisemblance):


11/04/23

Fusion des régions au sens du mouvement(2)

Expression des hypothèses statistiques

- soit l’erreur de

compensation du mouvement

- soit - variables statistiques indépendantes

distribuées selon les lois gaussiennes avec la moyenne nulle

et les écart-types

H0 : pour chaque point de R0H1: pour chaque point de R1,

pour chaque point de R2

1,,,,, 1 tdyydxxItyxIyx t

yxeyxeyxe ,,,,, 210

210 ,,

yxeyx ,, 0

yxeyx ,, 1

yxeyx ,, 2


11/04/23


Test de maximum de vraisemblance

- soit les fonctions de vraisemblance associées à

chacune des hypothèses H0 et H1

alors décision D0 (l’hypothèse H0) est prise

décision D1 (l’hypothèse H1) est prise

sous l’hypothèse de la distribution connue à chaque point (x,y)

d’une région R, la fonction de vraisemblance peut être

exprimée comme

10 , ff

01 /log ff

01 /log ff


11/04/23


Fonctions de vraisemblance :

2

2

),(2/12 2

,exp2

1/),(,

yxeRyxyxf e

Ryx

2

2

),(2/2 2

,exp

21

yxeRyx

N

Ici N est le nombre de pixels dans la région R

La variance inconnue est estimée à posteriori comme yxN e

Ryx,/1ˆ 2

),(

2

1

022

221

120

21 ˆlog2

ˆlog2

ˆlog2

D

DNNNN

Finalement


11/04/23


Choix du seuil de la décision :

- risque à prendre la décision Di

//

0j

i

jiji HPcDr

Ici est la probabilité à posteriori de l’hypothèse Hj

sachant les mesures

cij - sont les coûts de la prise de décision Di si l’hypothèse Hj est vérifiée

La décision à risque minimal doit être prise

/jHP

PHPHPHP ///


11/04/23


D’après le théorème de Bayes

Alors (*)

Si cette inégalité est satisfaite alors la décision D0 doit être prise, sinon – D1.

Ici P0(P1 respectivement) est la probabilité des de l’hypothèse H0 (H1) respectivement.

D’après (*)

1111001011010000 //// PHPcPHPcHPcPHPc

11011

00100

1

0

0

1

//

ccPccP

D

D

HPHP

P

HPHPHP //


11/04/23


Posons c10=c01=1 et c00=c11=0

Par ailleurs

Alors pour tout point dans la région R0

01 1 PP

e

PP

D

D

HyxP

HyxPHyxP NN

RRyx

RyxRyx

21

21

21

0

0

1

0

0,

1),(

1),(

1/,

/,/,

La valeur correspond à la solution équiprobable. Si grandit, alors P0 tend vers 1

0


11/04/23


Mesures de qualité :

- basées DFD;

- basées DFD normalisée 0),,(,,))(,,( tyxIttdyydxxIdyxDFD

pd

pdI

pDFDFpf

t,

,

TysiT

x

y

xF

Tysiy

x

y

xF ,

liRp

li

li pf

CardRQ ,

1 2

liRp

li

li pDFD

CardRQ ,

1 2

111 lli

li

lij

li sQQ 111 ll

jlj

lij

lj sQQetRègle de fusion:


11/04/23

Fusion hiérarchique des régions au sens du mouvement(9)

Cartes de la segmentation emboîtées

LlsS l ,...,0,

l=0 - spatiale l=1 ... l=L


11/04/23

3. Eléménts du suivi des segmentations spatio-temporelles

Suivi avec la prédiction en avant

Extraction de l’ordre de la profondeur

Projection de la

segmentationtt+1

Ajustement des bords

des régions

Traitement d’occultations

Re-estimation

du mvt

Découpage des régions

Fusion des régions

St, It, It-1, It+1

St+1

Problème : connaissant la segmentation St et le couple des images It, It+1 fabriquer la segmentation St+1


11/04/23

Prédiction des segmentations(I)

Prédiction court-terme - prédiction « statique »

t

R1 R2

t+1

- prédiction au sens du mouvement

R1 R2

St+1/t= St

St+1/t=F( St,t)


11/04/23

Prédiction des segmentations(II)

Prédiction au sens du mouvement des régions polygonaux

t

R1 R2

- pour tout sommet polygonal P(R)

)()()()()()(

111111111

1

ggyttggx

yykxxtPdyPdyyyxxktPdxPdx

t

ttt

?

t+1

Formation d’une zone d’occultation

?

t+1ou


11/04/23

Zones de découvrement

Image d ’origine Image prédite avec la segmentation prédite

Après traitement des occultations

Les zone de recouvrement – source de connaissance sur la composition des scènes

Approche : les segmenter dans l’image It+1(ex. croissance des régions)

- les représenter par le modèle de luminance/couleur (ex. valeur moyenne)


11/04/23

4. Extraction des informations de la composition des scènes

MPEG4:”2D and 3D scenes may be composed and

overlapped

on the screen using Layer2D and Layer3D nodes ;”

Extraction des informations « 2D et 1/2 » : depth from

motion - l ’ordre de la profondeur


11/04/23

Extraction des informations de la composition des scènes

Principe d’extraction de l’ordre de la profondeur : - l’analyse de la qualité de la compensation du mouvement localement dans des zones d’occultation; - propagation des informations locales de façon optimale globalement

t

R1 R2

t+1

?


11/04/23

Extraction des informations de la composition. Ordre de la profondeur

Extraction de la profondeur locale

Mode intra-image:

- Calcul des EQMs de compensation du mouvement

ji 2ˆ,2ˆ EQMs obtenues dans la zone recouverte

jiij 2ˆ2ˆ « confiance » intra image

est un seuil

devant jRiRij

iRij jRderrière

ij INCONNU

- Décision avec la classe de rejet


11/04/23

Ordre de la profondeur(II)

-Introduction d ’un filtrage temporel de la valeur de confiance

ttijijtij .1.

- Introduction d ’une règle de décision à hystérésis

Tracking of the couple "Boat" ->"Background"

-100,00000

0,00000

100,00000

200,00000

300,00000

400,00000

500,00000

600,00000

700,00000

1 3 5 7 9 11 13 15 17

Frames

Co

nfi

de

nce

Confidencet/t

Confidencet/t+1,t-1

Threshold

min threshold

Membership


11/04/23

Ordre de la profondeur(III)

Profondeur relative dans le couple “Bateau-fond”


11/04/23

Ordre de la profondeur(IV)

- Construction des chemins optimaux R* {R}-R* (Dijkstra)

- GAR est un graphe pondéré : ije

tijtijW

1

wij

Ri

Rj

),( jRiR=

Affectation de la profondeur globale : parcours optimal du GAR

Affectation basée Dijkstra Affectation basée BFS

Parcours optimal vs parcours

arbitraire

t

...


11/04/23

Utilisation correcte de la profondeur

Suivi des segmentations spatio-temporelles (II)


11/04/23

Suivi des segmentations spatio-temporelles (III)

Exemple artificiel : la profondeur relative erronée

11/04/2315.10.2006

Suivi des scènes génériques(II)

Laboratoire Bordelais de Recherche en Informatique 23/02/2014 5. Extraction dobjets pour le...

Documents

Transcript of Laboratoire Bordelais de Recherche en Informatique 23/02/2014 5. Extraction dobjets pour le...