Vidéo numérique - perso.univ-mlv.frperso.univ-mlv.fr/present/supports/pdfimage/videonum.pdf ·...
-
Upload
phungkhanh -
Category
Documents
-
view
215 -
download
0
Transcript of Vidéo numérique - perso.univ-mlv.frperso.univ-mlv.fr/present/supports/pdfimage/videonum.pdf ·...
1
Vidéo numérique
Dominique PRESENTDépt S.R.C. - I.U.T. de Marne la Vallée
IUT Marne la Vallée vidéo numérique © D. Présent
Les applications• Télévision numérique :
• actuellement diffusée sur le câble et les canaux hertziens• destinée au grand public
• Vidéo à la demande :• accès à une banque de données vidéo• diffusion au moment choisi par le spectateur• destinée au grand public
• Visioconférence, visiophonie :• communication temps réel entre personnes ou entre groupes• destinée au public professionnel, sera étendue au grand public
• DVD :• stockage sur support individuel• visualisation en local• destinée au grand public
2
IUT Marne la Vallée vidéo numérique © D. Présent
Numérisation d ’un signal vidéoPourquoi numériser ?
• Enregistrement ;• Manipulation (indexation, stockage) ;• Montage, modification ;• Copies, diffusion.
Critères de numérisation.• Echantillonnage à 13,5MHz ;• Echantillons par ligne 720 ;• Dimension d’un échantillon de 8bits à 10bits ;• Nombre de lignes 525 ou 625.
Remarque :format de l’image d’un moniteur L/l = 4/3 (ex. : 800x600 en VGA)
Débit brut : 8x3x13,5e6 = 324Mb/s
IUT Marne la Vallée vidéo numérique © D. Présent
Image au format 4:2:2 : codageRecommandation CCIR 601 :
• Echantillonnage luminance à 13,5MHz ;• Echantillonnage chrominance à 6,75MHz.
Soit par ligne :• 720 échantillons en luminance ; • 360 échantillons en chrominance.
luminance
chrominance
• 1 pixel chrominance sur 2 pixels luminance lignes paires• 1 pixel chrominance sur 2 pixels luminance lignes impaires
Bloc de 6 pixelssur 6 lignes
3
IUT Marne la Vallée vidéo numérique © D. Présent
Image au format 4:2:2 : décodageReproduction de l’image 4:2:2 :
• chaque échantillon de chrominance reçu est recopié pour reproduire le pixel suivant ;
Pixels luminance
Pixels chrominance reçus
Bloc de 6 pixelssur 6 lignes
Pixels chrominance recopiés
IUT Marne la Vallée vidéo numérique © D. Présent
Sérialisation de l’image 4:2:2
EAV H-ANC 1440 éch (Y – Cb – Cr)
SAV
EAV H-ANC
SAV
Suppresion ligne
EAV : End of Active VideoSAV : Start of Active Video
Préamb DID DN DC Data CSDonnées audio
DID : identificateur de voie4canaux de 4 voies
DN : n° du bloc de donnéesDC : Lg du bloc de données
CS : contrôle
4
IUT Marne la Vallée vidéo numérique © D. Présent
Image au format 4:2:0 : codageISO 13818 :
• Echantillonnage luminance à 13,5MHz ;• Echantillonnage chrominance à 6,75MHz ; • Transmission d’une trame sur 2 en chrominance.
luminance
chrominance
Remarques :• En SECAM, les échantillons Cb et Cr transmis sont une moyenne des échantillons de 2 lignes successives ; • Format de base des codages D2MAC et MPEG-2 (MPEG-Main Level MP@ML).
• 1 pixel chrominance sur 2 pixels luminance lignes paires• 0 pixel chrominance sur les lignes impaires
Bloc de 6 pixelssur 6 lignes
IUT Marne la Vallée vidéo numérique © D. Présent
Image au format 4:2:0 : décodageReproduction de l’image 4:2:0 :
• chaque échantillon de chrominance reçu est recopié pour reproduire le pixel suivant ;• chaque échantillon de chrominance reçu est recopié pour reproduire les pixels correspondant de la ligne suivante.
Pixels luminance
Pixels chrominance reçus
Bloc de 6 pixelssur 6 lignes
Pixels chrominance recopiés
5
IUT Marne la Vallée vidéo numérique © D. Présent
B-Y 144lignes360pixels
B-Y 144lignes360pixels
R-Y 144lignes360pixels
R-Y 144lignes360pixels
Trame 2(lignes impaires)
Trame 2(lignes impaires)
Structure d’une image 4:2:0
Trame 1(lignes paires)
Trame 1(lignes paires)
Trame 4:2:0Trame 1- 2:1:0Trame 2- 2:1:0
Trame 1 : 288 lignesde 720 pixels
Luminance288 lignes720 pixels
Luminance288 lignes720 pixels
Codage MPEG 1
IUT Marne la Vallée vidéo numérique © D. Présent
SIF (Source Intermediate Format)ISO 11172 (codage des signaux vidéo et audio pour des stockages à 1,5Mb/s) :
• Résolution luminance de 360x240 à une Fimage de 29,97Hz en 525 lignes ;• Résolution luminance de 360x288 à une Fimage de 25Hz en 625 lignes ; • Format 4 :2 :0.
luminance
chrominance
Remarques :• Résolution proche de celle d’un magnétoscope VHS ; •Format de base du codage MPEG-1.
• 1 pixel chrominance sur 2 pixels luminance lignes paires• 0 pixel chrominance sur les lignes impaires
Bloc de 6 pixelssur 6 lignes
6
IUT Marne la Vallée vidéo numérique © D. Présent
B-Y 144lignes180pixels
B-Y 144lignes180pixels
R-Y 144lignes180pixels
R-Y 144lignes180pixels
Trame 2(lignes impaires)
Trame 2(lignes impaires)
Structure d’une image SIF
Trame 1(lignes paires)
Trame 1(lignes paires)
Trame 4:2:0Trame 1- 2:1:0Trame 2- 2:1:0
Trame 1 : 288 lignesde 720 pixels
Réductionà 352 pixelsRéduction
à 352 pixels
Codage MPEG 1
Format SIF :625 lignes de 360 pixels
IUT Marne la Vallée vidéo numérique © D. Présent
CIF (Common Intermediate Format)Normes H261 et H263 (International Union for Telecommunication).
• Standard de codage des signaux vidéo pour des services audiovisuels à Px64Kb/s
Format CIF : • Résolution luminance de 360x288 à Fimage de 29,97Hz ;• Format 4 :2 :0.
Format QCIF :• Résolution luminance 180x144 à Fimage sous-multiple de 29,94Hz ;
7
IUT Marne la Vallée vidéo numérique © D. Présent
Formats MPEGLe groupe de l’ISO dénommé MPEG (Moving Pictures Experts Group) à conduit à 2 normes :
• ISO 11172 (1993)pour le codage et la transmission des signaux audio-vidéo pour un stockage sur des supports à environ 1,5Mb/s :
! ISO 11172-1 définit la structure du multiplexage des signaux ;! ISO 11172-2 définit le codage vidéo MPEG-1 ;! ISO 11172-3 définit le codage audio MPEG-1.
• ISO 13818 (1995) pour le codage et la transmission des signaux audio-vidéo pour la diffusion par satellite, câble ou réseau terrestre :
! ISO 13818-1 définit la structure du multiplexage ;! ISO 13818-2 définit les résolutions et le codage vidéo MPEG-2 ; ! ISO 13818-3 définit le codage audio MPEG-2.
IUT Marne la Vallée vidéo numérique © D. Présent
Traitement d’une image vidéo MPEG
8
IUT Marne la Vallée vidéo numérique © D. Présent
Compression MPEGséquence
groupe d ’images
image
tranche
1 image est composée de « n tranches »1 tranche contient « p macroblocs »
Macrobloc(4 blocs)
bloc(8x8 pixels)
IUT Marne la Vallée vidéo numérique © D. Présent
Compression MPEG-1Construction d ’une image :
• Bloc constitué de 8 x 8 pixels ;• Macrobloc regroupe 2 x 2 blocs (soit 16 x 16 pixels) ;• Tranche ensemble de macroblocs (le plus souvent une ligne de l’image) ;• Image composée de l’ensemble des lignes de l’écran, est de l’un des 3 types :
! I (Intraframe) codée sans référence à aucune autre image ;! P (Predicted) codée par rapport à l’image « I » ou « P » précédente ;! B (Bidirectionnal interpolation) codée à partir des images « I » ou « P » et « P » qui l’encadrent ;
• Groupe d’images (Group Of Pictures) regroupe les images codées à partir d’une même image « I ».
Groupe d’images : défini par 2 paramètres :• M distance (en nombre d’images) entre 2 images « P » successives ;• G distance entre 2 images « I » successives.
Le format MPEG-1 utilise un groupe d’images en (3 ;12).
9
IUT Marne la Vallée vidéo numérique © D. Présent
Image - Macroblocs - BlocsLe macrobloc constitue l’unité de surface d’une image, quelque soit le format utilisé.
Format 4:2:2
luminance
Chrominance Cr
Chrominance Cb
Format 4:2:0
2x2 blocs « chrominance » par
macrobloc « luminance »
2x2 blocs « chrominance » par
macrobloc « luminance »
IUT Marne la Vallée vidéo numérique © D. Présent
MPEG-2 : le vecteur mouvement
IP
P
Vecteur mouvement macrobloczone
d ’analyse
• une image P est caractérisée par un vecteur mouvement et les différences des macroblocs des images I et P
Recherche du macrobloc le plus proche
10
IUT Marne la Vallée vidéo numérique © D. Présent
Estimation de mouvement en MPEG-2
• calcul sur 1 bloc du signal luminance ;• appliqué aux 4 blocs du macrobloc ;• appliqué au signaux R-Y et B-Y ;• si incalculable, bloc codé en image I ;• vecteur mouvement codé sur 12 bits ;
• un décodeur dispose en permanence de 4 images en mémoire ;• un codeur dispose en permanence de 8 images en mémoire ;• un décodeur est paramétré pour un profil donné ;
IUT Marne la Vallée vidéo numérique © D. Présent
Compression MPEG : le GOPgroupe d ’images
I B B P B B I
Un groupe d’images (GOP) est défini par 2 valeurs :• le nb d’images séparant 2 images I ;• le nb d’images séparant 2 images P ou une image P et une image I ;
Exemple ci-dessus (6 ; 3)
groupe d ’images
I B P B P B P B I
Groupe d’images (8 ; 2)
11
IUT Marne la Vallée vidéo numérique © D. Présent
Compression MPEG : le GOPgroupe d ’images
I B B P B B I• l’image P est codée par différence avec l’image I (ou P) qui la précède ;• l’image B est codée par rapport à l’image I (ou P) qui la précède et l’image P (ou I) qui la suit
Stockage : dans l’ordre d’arrivéeCodage : I B B P B B I
Transmission : I P B B I B B
Stockage/Décodage : I P B B I B B
Ré-ordonnancement : I B B P B B I
IUT Marne la Vallée vidéo numérique © D. Présent
Codec MPEG-2
12
IUT Marne la Vallée vidéo numérique © D. Présent
Profils MPEG-2
simple
main
SNR scala
ble
spati
aly sc
a...
high
low 352x240x30
high-1440 1440x1080x300
102030405060708090
100débits 'Mb/s)
profils
niveaux
low 352x240x30
main 720x480x30
high-1440 1440x1080x30
high 1920x1080x30
La norme permet la définition de la résolution de l’image à partir de 5 profils et 4 niveaux
1/4 TV
TV
TVHD
Simple : sans image BMain : codage 4:2:0SNR scalable : main + train d’infoSpatial scalable : codage TVHDHigh : codage 4:2:2
IUT Marne la Vallée vidéo numérique © D. Présent
Profils MPEG-2 : options
Éch/ligneLignes
Images/sMb/s
35228830
4
35228830
4
Low
Éch/ligneLignes
Images/sMb/s
7205763015
7205763015
7205763015
7205763015
Main
Éch/ligneLignes
Images/sMb/s
14401152
6080
14401152
6060
14401152
6060
High 1440
Éch/ligneLignes
Images/sMb/s
14401152
60100
19201152
6080
High4:2:24:2:04:2:04:2:04:2:0Formats
I, P, BI, P, BI, P, BI, P, BI, PImages
highspatialsnrmainsimpleprofils
13
IUT Marne la Vallée vidéo numérique © D. Présent
Standards audio numériques• Production :
Fe = 48KHz - 16 bits à 24 bits en mono, stéréo ou multicanalD = 768Kb/s à 3,84Mb/s
• Diffusion :Fe = 32KHz - 14 bits à 16 bits en mono ou stéréoD = 896Kb/s
• Téléphone :Fe = 8KHz - 12 bits en monoD = 96Kb/
• Compact Disc :Fe = 44,1KHz - 16 bits en stéréoD = 1,4Mb/s
• AES :Fe = 48KHz – 20 bitsD = 3,1Mb/s
Débit : Fe x N x nb canaux
IUT Marne la Vallée vidéo numérique © D. Présent
Techniques de compression audio
• Parole G711 (1972) : compression 1:1,5
• diffusion NICAM (1980) : compression 1:1,2
• transmission G722 (1986) MICDA : compression 1:3
• grand public Mini Disc Sony codage ATRAC : compression 1:5
• générique MPEG-1 (1992) : compression 1:6 à 1:12
• multicanaux Dolby AC3 (1994) : compression 1:6 à 1:12
14
IUT Marne la Vallée vidéo numérique © D. Présent
Compression audio MPEG-1 : 3 couches
Couche 1 : Compression 1:4 Débit en mono de 192Kb/sDébit en stéréo de 384Kb/sApplication : Multimédia
Couche 2 : Compression 1:6 Débit en mono de 128Kb/sDébit en stéréo de 256Kb/sApplication : diffusion
Couche 3 : Compression 1:12Débit en mono de 64Kb/sDébit en stéréo de 128Kb/sApplication : multimédia Internet
IUT Marne la Vallée vidéo numérique © D. Présent
Compression audio MPEGLe codage/compression du signal audio utilise :
• Un modèle psycho-acoustique à masque variable ;• Un banc de 32 filtres dits polyphase ;• Echantillonnage à 32KHz, 44,1KHz, 48KHz ; • Quantification du masquage sur une trame de 12x32 échantillons ;• Quantification sur 16 bits avec facteur d’échelle ;• Codage multicanal en MPEG-2 (Left, Center, Right, Left Suround, Right Suround).
32 sous-bandes
15
IUT Marne la Vallée vidéo numérique © D. Présent
Codage audio MPEG
0
32
64
96
128
Facteur d ’échelle : 48Facteur d ’échelle : 16
12 éc
hanti
llons
IUT Marne la Vallée vidéo numérique © D. Présent
Compression audio MPEG : Codec
gauchecentredroiteSuround GSuround D
matrice
CodeurMPEG-1
CodeurMPEG-2
L0R0
T3T4T5
+
• algorithme de codage MUSICAM pour les radio (DAB) et télévision (DVB) numériques
• débits de 32Kb/s à 192Kb/s par voie (Hi-Fi à partir de 128Kb/s par voie)
• un codage par DCT permet d ’obtenir la qualité Hi-Fi dès 64Kb/s
16
IUT Marne la Vallée vidéo numérique © D. Présent
Compression audio MPEG : trames
en-tête CRC résolution Fact Ech 12x32 échantillons Donnéesauxiliaires
32 16 32 * 4 6 (bits)
Trame audio couche 1
• 384 échantillons par trame• durée (t) du signal audio codé 384/Fe (8ms à 48KHz)• nombre de bits pour un débit D est D * t (1536 bits pour D=192Kb/s)
en-tête CRC résolution Info FE 3(12x32 échantillons)FE Donnéesauxiliaires
32 16 32 * 4 2 6 (bits)
Trame audio couche 2
• 1152 échantillons par trame• durée (t) du signal audio codé 1152/Fe (24ms à 48KHz)• nombre de bits pour un débit D est D * t (3072 bits pour D=128Kb/s)
IUT Marne la Vallée vidéo numérique © D. Présent
Multiplexage MPEG-1Le multiplexage permet d’assurer la transmission des signaux audio/vidéo
vers les unités de stockage.Le multiplexeur :
• Reçoit du CODEC les trains élémentaires de données (Elementary Streams) ;
• Découpe les trains élémentaires (ES) en paquets (Packetized Elementary Stream) ;
• Regroupe les paquets en packs dont l’en-tête contient les informations de temps et de débits.
Chaque pack contient :• 0 à 16 paquets vidéo ;• 0 à 32 paquets audio ;• 0 à 2 paquets de données privées.
En-têtede pack
En-têtesystème 1er paquet Dernier
paquetCodede fin
En-têtede packpaquets suivants
Pack 1 Pack 2
17
IUT Marne la Vallée vidéo numérique © D. Présent
Multiplexage MPEG-2• Pour le stockage des données audio/vidéo, la norme MPEG-2 reprend
le multiplexage de la norme MPEG-1.• La norme prévoit un flux de transport (Transport Stream) pour la
transmission sur les média des programmes destinés à la diffusion.• Le multiplexeur :
• Découpe les flux élémentaires (ES) en paquets de 188 octets ; • constitue des trains de données pouvant combiner plusieurs
programmes.
E-T ESPaquet de flux élémentaires
E-T ES
E-T E-T
E-T En-tête de paquet transport
184 octets
188 octetsE-T Autre flux E-T
IUT Marne la Vallée vidéo numérique © D. Présent
Image MPEG-4
codec
Analysede
l ’image
codage
descriptif
codage
descriptif
codage
descriptif
multiplexage
ES
Elementary Streams : flux élémentaires
Objet 1
Objet 2
fond
18
IUT Marne la Vallée vidéo numérique © D. Présent
MPEG-4 : maillage des objets
Plus le maillage est fin, plus la forme est précise, plus les calculs sont nombreux
IUT Marne la Vallée vidéo numérique © D. Présent
Les standards informatiques• Quick Time :
– comprend essentiellement des formats de données standardisés, des procédés de compression et de décompression, et une interface utilisateur spécifique.
– L'extension système utilisée est fondée sur le principe du maintien de l'isochronie des données, et introduit donc le temps comme élément principal du système d'exploitation.
• Vidéo pour Windows :– ensemble logiciel permettant la capture et la restitution de vidéo animée
sur PC. L'exécution de séquences vidéo est possible sans matériel spécifique, alors que la capture doit être faite au moyen d'une carte de numérisation.
– offre des API (interfaces de programmation) relativement indépendantes du matériel.
– utilise des algorithmes de compression propriétaires (Microsoft Vidéo 1, Microsoft RLE compressor), mais intègre ceux proposés par des sociétés tierces, comme Indeo d'Intel
19
IUT Marne la Vallée vidéo numérique © D. Présent
La vidéo sur Internetle réseau Internet n'est pas approprié au transport de vidéo temps réel :
• Le réseau doit fournir suffisamment de bande passante.
• La bande passante n ’est pas garantie durant toute la communication. Il faut prévoir des mécanismes qui assureront la réservation de bande passante pour les applications temps réel.
• Les paquets sont routés indépendamments les uns des autres. Leur séquencement n ’est pas assuré (ordre, espacement). Les protocoles de transport utilisés doivent assurer les exigences temporelles que demande la vidéo temps réel comme la synchronisation.
IUT Marne la Vallée vidéo numérique © D. Présent
Les protocoles temps réel• RSVP (Ressource ReSerVation Protocol) :
• utilisé par les applications temps réel pour réserver les ressources nécessaires au niveau des routeurs situés le long du chemin de transmission
• Un Contrôle de Police (Policy Control) détermine si l'utilisateur à la permission administrative de faire de la réservation. Le contrôle d'admission (Admission Control) détermine si le nœud à suffisamment de ressource pour fournir la QoS demandée.
• RTP (Real-time Transport Protocol)– assure la reconstruction temporelle, la détection de perte, la sécurité et
l'identification du contenu. – travaille avec le protocole RTCP pour obtenir des feed-back concernant la
qualité de la transmission– fournit un système d'horloge (timestamping), une numérotation des
séquences et d'autres mécanismes pour prendre garde aux problèmes liés au temps.
– RTP tourne au-dessus de UDPEn-tête IP En-tête UDP En-tête RTP Données vidéo temps-réel
20
IUT Marne la Vallée vidéo numérique © D. Présent
RTCP (Real-Time Control Protocol)– périodiquement des paquets RTCP pour donner des informations
sur la qualité du service délivré. travaille avec RTP. Les participants envoient
– RTCP offre les services suivants : Contrôle de la congestion et monitoring de la QoS ; Identification de la source ; Synchronisation inter-média ; Information de contrôle
RTSP (Real-Time Streaming Protocol)– initie et commande à distance des flux multimédia stockés sur un
serveur de données à travers un réseau IP. – offre des fonctionnalités comme l'arrêt, l'avance rapide, la
recherche avancée pour des flux vidéo et audio.– Les données quant à elles sont transmises séparément en utilisant
le plus souvent RTP.
Les protocoles temps réel
IUT Marne la Vallée vidéo numérique © D. Présent
Session multimédia « temps réel »
UDP
RTP RTCP
Application«temps réel»
Serveur « temps réel »
UDP
RTP
Application«temps réel»
Client
RTCP RSVP
1-réservation des ressources dans les routeurs à l ’établissement de la session2-transmission des données dans des paquets RTP
3-contrôle de la qualité de la session (débit, gigue, perte) par des paquets RTCP
RouteurRSVP
RouteurRSVP
RouteurRSVP
21
IUT Marne la Vallée vidéo numérique © D. Présent
off-line et streaming
Fichiers vidéo1
1 - le fichier est chargé sur l ’ordinateur client
clientRTCInternet
Routeur Routeur
Modem 56Kb/sserveur vidéooff-line
2 - le fichier est visionné localement
2
Versions du fichier28Kb/s 56Kb/s 512Kb/s
serveur"streaming"
RTCInternetRouteur Routeur
Modem 56Kb/s
2
client
Buffer7Ko
3
1 - test de performance de la liaison2 - création d ’un buffer pouvant stocker « n secondes » de vidéo3 - transmission des paquets4 - visualisation « n secondes » après l ’arrivée du premier paquet
4