Vidéo Numérique:Vidéo Numérique:Analyse et Analyse et

CodageCodageCours en Master ISMCours en Master ISM

Jenny Benois -PineauJenny Benois -Pineau

Université Bordeaux -1Université Bordeaux -1

Programme du cours (I)• 1. Introduction. Vidéo dans des systèmes

multimédia• 2. Aspects technologiques

– Formats, numérisation, résolution.– Interpolation temporelle de la vidéo– Systèmes couleur spécifiques à la vidéo

• 3. Analyse et estimation du mouvement dans la vidéo– Détection du mouvement– Estimation du mouvement

• 4. Notions de la théorie de l’information• 5. Codage sans pertes d’informations multimédia• 6. Quantification des signaux visuels. Codage

prédictif (MICD)• 7. Eléments de codage par QV• 8. Transformées orthogonales et codage par

transformées. Application au codage. JPEG, MJPEG

Programme du cours (II)

• 9. Normes et Standards de codage hybride avec la compensation du mouvement et compression

– Bases de l’architecture des standards MPEG1, MPEG2

– Standard MPEG2

– H.264/MPEG4 AVC

1. Introduction (I)Vidéo dans les systèmes

multimédia

• (1)TV analogique et numérique

TV numérique d’hier/CDROM

1. Introduction (II)Vidéo dans les systèmes

multimédia

• (2) TV numérique d’aujourd’hui/DVD

• (3) TNT • (télévision numérique

terrestre) – DVB-T (1995)• (4) TVHD, DVDHD

1. Introduction (III)Vidéo dans les systèmes

multimédia

• (5) Vidéo sur IP

(5)Vidéo sur IP

• (4) Vidéo via réseau sans fil • (5) Numérisation du patrimoine

culturel – du bétacam au DVD

• (6) BD vidéo – archives demo

• (7) Production et post-production sous forme numérique

1. Introduction (IV)Vidéo dans les systèmes

multimédia

2. Aspects technologiques Formats

Historique : TV analogique

StandardRésolution en pixels / Lignes Cadence Secteur Géographique

NTSC

640x480 (525) carré720x480=704+16 30 ips = 2x60 trames

USA, Canada, Japon, Philippines, Moyen Orient

PAL720x576 (625),768x576 25 ips=2x50 trames

UK, Chine, Singapour, Allemagne,Amérique du Sud

SECAM 720x576 (625), 25 ips=2x50 trames

France, Europe de l'EST (MESECAM)

PAL/SECAM : la même résolution et la même fréquence

NTSC : National Television System Committee

PAL : Phase Alternation Line

SECAM : Système Electronique Couleur Avec Mémoire, 1967

Tramage

Formation d’une image sur l’écran de TV

Trame impaire

Trame paire

Le spot lumineux « affiche » d’abord les lignes de la trame « impaire » ( 1, 3, 5, …) en 1/50 de sec (PAL/SECAM)

Ensuite les lignes de la trame paire ( 2, 4, …)

Cette technologie a été conçue pour éviter le scintillement de l’image sur des écrans cathodiques.

La rémanence du phosphore et la persistance des impressions sur la rétine donnent l’illusion d’une image permanente

Tramage

Trames paires des séquences CCIR601 (720x480:2), (720x576:2)

Tramage

Effets gênants : en présence de mouvement fort on observe le décalage spatial des trames sur les contours verticaux des objets, dans des zones d’occultation SFRS, Hiragasy

Tramage

Illustration.

Nécessité de filtres de désentrelacement lors de la conversion vers les formats progressifs

Formats analogique/numérique

DV Amateur numérique Séparément

(Digital 8)

Technologies de la vidéo

numérique

MJPEG-2000, MJPEG-2000,

SVCSVC

H.264 MPEG4 V.10 AVC- H.264 MPEG4 V.10 AVC- vidéocoms IP,WAPvidéocoms IP,WAP

Chaîne d ’acquisition de la vidéo

Résolution des formats numériques

Format Fréquence * Mode lignes ppl Aspect Applications

Sub-QCIF 30 progressif 96 128 4/3 Vidéocom

QCIF 30 progressif 144 176 4/3 Vidéocom

CIF 30 progressif 288 352 4/3 CD-ROM/VC

(SIF525) 30 progressif 240 352 4/3 Vidéocom

(SIF625) 25 progressif 288 352 4/3 Vidéocom

420-525(CCIR601)

30 entrelacé 480 720 4/3 SD : TV Num/DVD

420-625(CCIR601)

25 entrelacé 576 720 4/3 SD : TV Num/DVD

SD – définition standard

HD – haute définition

Résolution spatiale des formats progressifs

Sub-QCIF - 128x96

QCIF - 176x144

CIF - 352x288

4CIF, 16CIF

Résolution spatiale des formats progressifs (II)

QCIF - 176x144

CIF - 352x288

Formats HD

Format Fréquence *

Mode lignes ppl Aspect

720p/50 50 progressif 720 1280 16/9

1080i/25 25 entrelacé 1080 1920* 16/9

1080p/25 25 progressif 1080 1920* (1440 lignes utiles act.

16/9

1080p/50 50 progressif 1080 1920* 16/9

* “2K” pixels en ligne .....

Formats TVHD suggérés par l’EUR (2005)

Formats HD

1080 psf

Qualité de bande de base

Séquence « Voiture extérieur »

Compression MPEG4/DIVX

« Voiture Extérieur »

Changement des formats

• Interpolation spatiale et temporelle

• Interpolation temporelle

– sans compensation du mouvement

– avec compensation du mouvement

• Interpolation temporelle sans compensation du mouvement

Interpolation temporelle

• 1. Sur-échantillonnage temporel : interpolation basée pixel.

• Équivaut à l’interpolation du signal 1D pour chaque pixel le long de l’axe du temps.

• Interpolation du signal 1D : 2 étapes

• a) complément par ajout des zéros

• b) filtrage passe-bas du signal complété

Interpolation temporelle de la vidéo(2)

• a) Ajout des zéros

Etant donné un signal s(n), le signal u(n) sur-échantillonné de facteur L est défini comme

,...2,,0,,0

)( LLnL

ns

nu

sisinon

0 1 2 3 4 5… n

s(n)

0 1 2 3 4 5… n

u(n)

L=3

Interpolation temporelle de la vidéo(3)

• La transformée de Fourier pour les signaux discrets est

• Ainsi le spectre du signal complété est lié au spectre du signal d’origine par « compression » de l’axe de fréquences .

)(2exp)(2exp)()( fLSfLninufninufUnn

0 1/2-1/2

-1/21/21/6-1/6

fn

fn

fn – fréquence normalisé fn=f*t

Interpolation temporelle de la vidéo(4)

• b) Interpolation

• Filtre Idéal d’interpolation

• La réponse impulsionnelle est sinc

Ln

Lnnh

/

/sin)(

1/21/2L-1/2L fn0

1

H(fn)U(fn)

1/21/2L-1/2L0

1 fn

-1

-1

Interpolation temporelle de la vidéo(5)

• Le signal interpolé est donc obtenu par la convolution avec la réponse impulsionnelle du filtre

• La réponse impulsionnelle du filtre idéal d’interpolation a des propriétés :

• Ainsi à cause de ces zéros y(n)=s(n) dans les valeurs existantes et les valeurs non-nulles sont assignées aux zéros de complément.

Lkn

Lknkuny

k

k /)(

/)(sin)(

...2,pour0)(1)0( LLnnheth

• Les filtres pratiques d’interpolation.

• Le filtre idéal d’interpolation ne peut pas être synthétisé car il a la réponse impulsionnelle infinie et il est non-causal.

Sa mise en oeuvre demanderait un temps de délais infini.

Ainsi plusieurs approximations sont possibles.

Interpolation temporelle de la vidéo(5)

1. Interpolateur d’ordre zéro ( ex. pour L=3) :

Engendre des effets d’aliasing.

2.Filtre d’interpolation linéaire

Interpolation linéaire est obtenue par la somme pondérée des pixels voisins le long de l’axe temporel.

Interpolation temporelle de la vidéo(6)

h(n)

n

1

0 1 2

n

h(n)1

2/31/3

n

12/3

1/3

h(n-k)

u(k)

k

Décimation/sous-échantillonnage (1)

• Décimation du signal 1D de facteur M : 2 étapes

• a) multiplier par le train des impulsions pour remplacer M-1 valeurs par zéros entre chaque couple des valeurs distantes de M

• b) enlever les zéros pour obtenir le signal à la cadence plus faible

a) Etant donnée le signal d’entrée s(n) on définit un signal intermédiaire w(n) comme

Alors le signal sous-échantilloné peut être exprimé comme

k

k

kMnnsnw )()(

Mnwny )(

Décimation (2)

• Illustration pour un facteur de sous-échantillonnage de 2

n

0 1 2 3 4 5…

s(n)

n

0 1 2 3 4 5…

w(n)

0 1 2 3 4 5…

y(n)

n

Décimation (3)

• La transformée de Fourier du signal intermédiaire w(n) :

• Ainsi le spectre du signal intermédiaire consiste des réplications du spectre du signal d’origine. Il y a M répliques dans l’interval (de la fréquence normalisée (-1/2, ½) .

• Le spectre du signal décimé :

• étirement de l’axe des fréquences

)(1

)(1

0

M

k M

kfS

MfW

)2exp()2exp()( MnM

fiMnwfniMnwfY

nn

M

fWfY )(

Décimation (4)

• Illustration ( pour la fréquence normalisée) M=2, spectre borné ( fc=1/4)

1/2-1/20 1

-1

S(f)

f

f1/2-1/20

1-1

W(f)

f1/2-1/20

1-1

Y(f)

Décimation (5)• Si la bande passante du signal d’entrée est

plus large que 1/(2M), alors les répliques se recouvriront et le signal sous-échantillonné comportera des effets d’aliasing.

• Ainsi un filtrage passe-bas avec la fréquence de coupure est nécessaire ( filtre d’anti-aliasage).

Mfc 2/1

f1/2-1/2 0 1-1

f1/2-1/2 0 1-1

f1/2-1/2 0 1-1

S(f)

W(f)

Y(f)

Changement de la cadence d’échantillonnage d’un facteur

rationnel

• Soit le facteur de changement est L/M• Principe : sur-échantillonner de L, ensuite sous-

échantillonner de M.• Les filtres d’interpolation et d’anti-aliasage • peuvent être regrouppés dans un seul filtre

Avec les contraintes que les valeurs existantes doivent être préservées (Interp. linéaire)

LMfc 2/1,2/1min

1:L

Filtrage Passe-bas M:1

s(n)u(n) w(n) y(n)

Systèmes couleur spécifiques à la

vidéo (I)

• RGB – le système le plus proche au matériel : reproduction LCD, TV, scanner.

http://www.tsi.enst.fr/enseignement/ressources/

Système additif

C(x,y)=r(x,y)+v(x,y)+b(x,y)

C=(r,v,b,)T – vecteur couleur

Systèmes couleur spécifiques à la

vidéo (II)

• Le système RGB n’est pas efficace selon le critère d’«efficacité/compacité » de représentation.

• Les systèmes couleurs séparant la luminance et la chrominance le sont.

Systèmes couleur spécifiques à la vidéo

RVB Y

Luminance

U V

Chrominance

Quantification : 8 bits/pixel/composante

Système - couleur : YUV(PAL) ou YCrCb, YIQ(NTSC)

Echantillonnage spatial : 4:2:0, 4:2:2, 4:4:4

4:2:24:2:2

Représentation de la couleur dans le signal vidéo numérique (II)

Production du signal numérique YCrCb à partir des signaux primaires analogiques ER,EG,EB

Standard CCIR 601 : le standard international pour la numérisation des signaux analogiques NTSC, PAL et SECAM (NTSC est encodé en YIQ, PAL en YUV, CCIR601 - YCrCb

BGRY EEEE 114.0587.0299.0

BGRYR EEEEE 114.0587.0701.0

BGRYB EEEEE 886.0587.0299.0

886.0886.0,701.0701.0,10 YBYRy EEEEE

16219 YEY

128)(160128))(713.0(224 YRYRR EEEEC

128)(126128))(564.0(224 YBYBB EEEEC

Représentation de la couleur dans le signal vidéo numérique (III)

128

128

16

2.0200.1201.250

0.392-0.693-1.250

01.7201.250

B

R

C

C

Y

B

V

R

U V Y

Image RVB après le filtrage scalaire YUV