6. Quantification des signaux visuels. Codage prédictif

(MICD)Codage MIC

Principe : chaque pixel est codé indépendamment des autres (représentation canonique des images numériques)Images monochromes : quantification sur 2k niveaux usuellement (vidéo k=8, binaire k=1, k=12 images médicales)

Images vidéo couleurs : quantification de chaque composante spectrale Y, Cr, Cb en 8 bits

Réduction du débit :

- par réduction du nombre de niveaux,

- par codage entropique

Quantification (I)

Quantification : opération fondamentale d’un système de conversion analogique / numérique

A) « Analogique – numérique » Entrée : variable aléatoire continue, « analogique »

Sortie : entier appartenant à un ensemble fini

Quantificateur scalaire : une application Q de R dans un ensemble fini C appelé « dictionnaire », Card(C)=L

B) « Numérique – numérique »

Entrée : variable aléatoire discrète

A – l’alphabet d’entrée, Card(A)>Card(C)

Exemples :

TV analogique Y – variable continue, on la représente par un alphabet {0, 1,…, 255}

Binarisation d’une image monochrome : A={0,1,…,255}, C={0,1}.

Rx L,...,2,1

LxxxCCRQ ,...,,,: 21

NxxAx ,...,, 21x

Quantificateur scalaire uniforme :

Adapté pour une source de distribution uniforme:

Les intervalles de quantification :

Quantification uniforme entière :

Exemple : x={11,13,21,27,39,-43},q=10

Q(x)={10,10,20,30,40,-40}

Quantification (II)

qqxxQ

2/11)(

x

Q(x)

AAxconstxpX ,

consttt ii 1,

Distorsion :

Pour un quantificateur uniforme

Bruit :

Distorsion d’un quantificateur

2)())(,( xQxxQxd

dxxpxQxdXQXdED X

)(,,

dxxpxQxXQXdED X

lR

L

l

2

1)(,

nxnxQn )(

nx

n

)(nxQ

Bruit :

a) Bruit granulaire – à l’intérieur du quantificateur

b) Bruit de surcharge – amplitude du signal d’entrée est à l’extérieur du quantificateur.

Bruit de Quantification

dxxpxxdxxpxxD X

lt

LX

t

1

21 2

1surcharge

x

Q(x)

Zone granulaire

Zones de surcharge

Quantification Scalaire Optimale Codage MICD

Quantification optimale : pour la source donnée

(1) Connaissant la partition (en intervalles) trouver le dictionnaire qui minimise la distorsion de quantification

(2) Connaissant le dictionnaire trouver la partition qui minimise la distorsion.

Quoi quantifier (?) : signal analogique -> numérique,

Signal d’origine numérique -> pour réduire le débit

Signal d’erreur de prédiction dans les codecs image/vidéo

Codage

Décodage

Schéma générique du codage avec

prédiction

Prédiction

I

I~

+-

IIE ~

Codage prédictif MICD

Principe : On code en MIC la différence entre la valeur du signal au point à coder et une prédiction qui en est faite à partir des valeurs déjà codées.

On utilise 2 fonctions essentielles :

- Fonction de prédiction ;

- Fonction de quantification.

Le taux de compression est lié à la qualité de prédiction.

Codage prédictif MICD (II)

x(t)b(t)

+

+

y(t)

y(n)

t=tn

Q MIC

yq(n)+

- d(n)

Quantificateur des

différences

Prédicteur

Prédicteur

dq(n)++ nx̂

nx pˆ

++

Codeur MICD

Décodeur MICD

nx̂ nx pˆ

Codage prédictif MICD (III)

La fonction de prédictionFournit une estimation a priori (prédiction) de

x(k,l) à partir de voisinage causal (déjà décodé) du point (k,l).

Principe : utilisation de la corrélation entre le point à (k,l) et ses voisins « passés ». Le voisinage peut être spatio-temporel. Ex. pour (k,l,t) : (k, l, t-dt), (k-i,l-j,t)...

(k,l)lkxlkV de causal voisinage),(),( si

lkVflkxp ,,

- Prédiction linéaire fixe

),(

,ˆ,ji

ijp jlikxlkx

- Prédiction non-linéaire (ex. filtrage médian entre 3 prédictions linéaires fixes;

- Prédiction adaptative

Fonctions de prédiction (I)

Voisinage spatial causal

Prédicteurs linéaires simples

E B C D F

XA

X

CBAxPCAxPAxP )(,2/)()(,)(

Fonctions de prédiction (II)

Prédicteurs linéaires fixes optimisés :

minimisation au sens des moindres carrés

soit

n

kkjkik

pij

pijij xxxx

1

avec

minimiser

22 pijij xxE

nkxxxE

kjki

n

kkjkikij

k,...,1,00

1

2

est supposée centrée

Si le signal d’image est supposé stationnaire au second ordre, alors

kkjkiij rxxE )(

nkxxExxEn

lkjkiiljllkjkiij ,...,1,)(

1

Les coefficients dépendent donc de la corrélation

Fonctions de prédiction (III)

Si on considère un processus de Markov à corrélation séparable

vkV

HkHxk xEr 22

V

H

V

H

x

k

k

xE

2

- valeur moyenne de signal

- variance

- coefficient de corrélation horizontale

- coefficient de corrélation verticale

- déplacement horizontal

- déplacement vertical

Quantification en MICD

Quantification de l’erreur de prédiction de la loi de probabilité pe(e)

Qe qee ˆ

L’erreur quadratique moyenne de quantification est

deepeeeeE eqq

222

deepqe e

L

i

id

idi

1

0

122

Avec 1,...,0 si 1 LidedqeQ iii

Dans le cas d’un nombre très grand de niveaux L, la densité de probabilité pe(e) peut être considérée constante sur chaque intervalle 1, ii dd

pour L intervalles

(*)

Quantification (I)

Alors

12

1

0

2id

idi

L

iie deqeqp

min3/11

0

331

2

L

iiiiiie qdqdqp

2/0 1

2

iiii

ddqq

Quantificateur optimal de Max

Dans le cas où le nombre de niveaux de quantification n’est plus très grand

312min 12/1 iiie ddqp

deiqeid

ideep

iq

1

22

a)

deqeepdeqeepdd i

id

idei

id

ide

ii2

12

11

2))(())((

b)

Quantification n(III)

221

2

iqididepiqididepid

b)

En annulant cette dérivée

2/1 iii qqd ou bien 2/11 iii qqd

a) deqeep iid

ide

1

En annulant cette dérivée

1 1

/id

id

id

ideei deepdeeepq

Ainsi la minimisation de l’erreur quadratique moyenne de quantification implique

2/11 iii qqd et 1,/ iii ddeeEq

(*b)

(*a)

Quantification (IV)

Dans ces conditions l’erreur quadratique minimale de quantification devient ((*a)->(*))

1

0

1 1222

min

L

i

id

id

id

ideie deepqdepe

1

01

222min ,Pr

L

iiii ddeqeE

Cas particulier : loi uniforme

minmaxmaxmin /1,,sur eeepeecteep ee

Le quantificateur optimal est linéaire

Leedi /minmax

Quantification scalaire : luminance d’un pixel, luminance et chrominance séparément, coefficients DCT,…

Quantification vectorielle : luminance d’un bloc dans le plan-image (signal d’erreur), vecteurs-couleurs ,…

7.Eléments de codage par QV

TNxxX ,...,1

Quantificateur vectoriel (L,n) est une application de vers C, Card (C)=L.

C est appelé le dictionnaire ou « code-book »

Un quantificateur vectoriel est complètement défini pas la connaissance du dictionnaire C et d’une partition de l’espace en n régions - classes.

Règle de plus proche voisin :

- régions de Voronoï

Quantification Vectorielle

nR

CRQ n:

iyXQX )(

LyyyC ,...,, 21

TnR

jiyxdyxdsiyxQRxC jiin

i ,),(),(/

Quantification Vectorielle

iy

Partitition T irrégulière – dictionnaire non structuré

Partition T régulière – dictionnaire structuré

Plusieurs méthodes :

- par apprentissage;

- quantification arborescente;

- quantification sur des treillis (algébrique)…

Méthodes par apprentissage – utilisent la base d’apprentissage composée d’un grand nombre M de vecteurs représentatifs de la source.

GLA/LBG – Algorithme de Lloyd Généralisé;

Split-LBG

Construction du dictionnaire

Split-LBG

- L=2N ;

Principe :

(a) « découpage » de chaque vecteur en

(b) optimisation de la partition par LBG

Construction du dictionnaire

iy

ii yety

Algorithme de K-moyennes(I)

• J. MacQueen, “Some methods for classification and analysis of multivariate observations”, Proc. Of the Fifth Berkley Symposium on Math. Stat. And Prob., pp. 281 – 296, 1967

• Principe : CNS avec le nombre des classes connus a priori.

• Paramètre : le nombre k de classes

• entrée : un échantillon de M vecteurs x1,... xM.

• (1) Choisir k centres initiaux y1,... yk

• (2). Pour chacun des M vecteurs, l'affecter à la classe k* dont le centre yk* est le plus proche

• (3). Si aucun élément ne change de classe alors arrêt.

• (4). Calculer les nouveaux centres : pour tout k, yk est la moyenne des éléments de la classe i

• (5). Aller en 2

Algorithme LBG• Linde Buzo Gray (1980)

• 1. Critère de plus proche voisin

• affecter les vecteurs au centres les plus proches

• -calculer la distorsion (moyenne) de quantification

• critère d’arrêt

• 2. Condition du centroïde

• recalculer les centres de chaque classe

• et aller à 1.

jkm

k

jkm yxdyxd ,, min*

km

M

m

K

k

j yxdM

Distk

,1)(

j

jj

Dist

DistDist )()1(

kM

mm

jk xy

1

)(

1 jj

Recherche du représentant dans le dictionnaire:

Le débit (par composante de vecteur ou par pixel – images monochromes) :

(code à longueur fixe)

Si l’apprentissage est bon et la séquence est représentative, l’entropie de C est maximale

(= distribution uniforme)

Quantification

),(minarg)(

,...,2,1 iLiyxdxi

Lnb 2log1

LCH 2log)(

bLnypypnCH i

L

iicomp

22

1log1)(log)(1)(

Mesures de qualité dans les schémas de codage avec pertes

Mesures objectives

• (1) EQM – l’erreur quadratique moyenne du codage

• - image en t codée et décodée

• (2) PSNR – Peak Signal to Noise Ratio (dB)

• Mesures objectives : 2 schémas principalement Double stimulus et Simple stimulus.

2

),,(ˆ),,(1

tyxItyxINbrPix

EQM

),,(ˆ tyxI

EQM

PSNR

n

dB

2

10

12log10

255)),,((12 tyxIMaxn

Mesures de qualité (II)

Séquence vidéo d’origine

Codeur vidéo Décodeur Vidéo

Affichage

A ou B

A ou B

Une séquence est celle d’origine, l’autre codée et décodée.

L’ordre d’affichage est aléatoire;

L’échelle de notation – 5 niveaux – intervalles de qualité continue.

DSCQS – double stimulus continuity quality scale

Le résultat – le moyennage de plusieurs expériences – le score normalisé carctérisant la qualité relative.

Recommandation IUT-R BT.500-11, 2002