1Cours n°1−2

UV_TI

AlexandrinaROGOZAN

UV Théorie de l’ Information

Cours n° 1−2 :− Introduction à la théor ie de l’ information− Caractér isation des sources d’ information− Notions de probabilité (Rappel)− Entropie et Information :

− Entropie des sources discrètes sans mémoire− composées

− avec mémoire − q−ième extension d’une source

−Entropie limite, efficacité et redondance

2Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Introduction

� Théorie de l’ information <=> Processus de transmission numérique

Sources de perturbations

Source d’information

Émetteur

Canal Récepteur Destinataire

Message émis

Bruit et distorsions

Signal émis

Message reçu

Signal reçu

3Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Introduction

� Théorie de l’ information ≡ Théorie stochastique, f ondée sur l es pr opr i ét és st at i s t i ques , de messages

⇒ Notions fondamentales de probabilité, entropie, information mutuelle

4Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Introduction

� Théorie de l’ information => Li mi t es de per f or mances d’un système de transmission numérique

⇒ Mode de représentation de l’ information => quant i t é d’ i nf or mat i on associée à chaque signe émis

⇒ Cadence théorique maximale de transmission de l’ information => capaci t é d’ un syst ème de t r ansmi ssi on

5Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Introduction

� Théorie de l’ information => Résultats

⇒ Codage de source (ou compression des données)� Augmenter la compacité des signaux (sans ou avec di st or si on)�

Él i mi ner l a r edondance i nut i l e

⇒ Codage de canal� Accroître (aut ant que l ’ on veut ) la sécurité de la transmission en pr ésence de br ui t�

Aj out er de l a r edondance pour l a dét ect i on, voi r e l a cor r ect i on, de pr i nci pal es er r eur s

6Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Introduction

� Théorie de l’ information

⇒ � � ����� � ����� ������� ������������ ��� ����� � ��� ��� � �! ������"� �����$# �� � ���"�%���� � �!��� ����&������ &"� �"� � ' � �(")�*�+",�- .�*�+ . )�,�- (�+ � ����� ("/�0�/�1 2

� Objectif de recherche :

⇒ Optimiser conjointement le codeur de source et de canal

7Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Introduction

� Théorie de l’ information => Extension

⇒ Cryptographie� Assurer le secret de la communication�Encr ypt age à cl é publ i que�Si gnat ur e di gi t al e�Génér at eur s d’ encr ypt age pseudo−al éat oi r es

8Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources d’ information

� Définition : Systèmes capables de sélectionner et d’émettre des séquences de signes (ou messages) appartenant à un ensemble (ou alphabet) donné

⇒ Ex. de si gnes : lettres, chiffres, échantillons

⇒Ex. de sour ces : système à 2 niveaux logiques, texte

9Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources d’ information discrètes

� Caractéristique : al phabet ut i l i sé f i ni

� Exemples : Sources d’ information al phanumér i ques , de symbol es bi nai r es , d’ information numér i que(e.g. signaux quantifiés en amplitude, en fréquence ou en phase)

� Classification : ⇒ Sources sans mémoire : signes générés

i ndépendamment les uns des autres => modèle de Bernoulli

⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov

10Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources d’ information discrètes

� Classification :

⇒ Sources sans mémoire : quand les signes générés sont indépendants => modèle de Bernoulli

⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov

11Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources d’ information discrètes

� Classification des sources de Markov :

⇒ Source du 1 er ordre = la mémoire se limite au dernier signe émis

– Ex : modélisation du processus de réalisation d’un phonème

⇒ Source d’ordre m = la mémoire tient compte des m signes émis

– Ex : description statistique des langues écrites usuelles

12Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources d’ information continues

� Caractéristique : nombr e t héor i que de si gnes cr oî t à l ’ i nf i ni

⇒ Remarque : Limite pratique fixée par la précision limitée des observations

� Exemples : Sources de signaux analogiques : Parole, Musique, Images, Mesures

13Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Modélisation de sources d’ information

� Mécanisme st at i s t i que d’émission des signes

⇒ Source discrète : une loi de probabilité donnée associée à une variable aléatoire discrète

⇒ Source continue : une loi de densité de probabilité associée à une variable aléatoire continue

� Exemples :

⇒TEXTE = succession des réalisations de la variable aléatoire : "caractère sortant du clavier"

⇒ IMAGE_NB = succession de "niveaux de gris" mesurés sur une image

14Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Notions de probabilité (Rappel)� Source discrète ≈ var i abl e al éat oi r e di scr èt e

choisissant un si gne dans un al phabet de taille finie :

⇒ avec les probabilité qui satisfont la condition :

� Notations :⇒ − Événement aléatoire Ai ⇒ − Proba. de l’ événement aléatoire Ai� Propriétés : ⇒ qd. A est cer t ai n

⇒ qd. A est i mpossi bl e

S3 s1 ,s2 ,... ,sK P S4 si 4 pi5i 6 1

K

pi 7 1

S 7 si

P S7 si 7 P Ai

08 P A 8 1P A 9 1

P A 9 0

15Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Notions de probabilité (Rappel)� Propriétés :

⇒ Événements s’excluant mutuellement : A et =>

⇒ Quand l’événement A entraîne B : A⊂B =>

⇒Somme des événements:Événements A et B incompatibles : : k événements 2 à 2 incompatibles :

; Cas particulier pour K événements s’excluant mutuellement :

<A

P A = 1 > P ?AP A @ P B

P A A B = P A A P B

P A1 B P A2 B ... B P A K C 1

P A1 B A2 B ... B Ak C P A1 B P A2 B ... B P Ak

16Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Notions de probabilité (Rappel)� Propriétés :

⇒Somme des événements :: Événements A et B compatibles :

⇒ Produit des événements A et B: Événements A et B indépendants : : Événements A et B dépendants :

P AD B 8 P A D P B

P AD B 9 P A D P B E P AB

P AB 9 P A P B

P AB 8 P A et P AB 8 P B

17Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Notions de probabilité (Rappel)

� Probabilité conditionnelle de B sachant A F ⇒ Propriétés : � Événements A et B indépendants :

�� quand A⊂B

quand A et B incompatibles

� B⊂B1 =>

>

P B G AP B G A H P B

P B G A 9 P B

P AB 9 P A P B G A 9 P B P AG B08 P B G A 8 1

P B G A 9 1

P B G A 9 0

P BI A J P B1I A

18Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Notions de probabilité� Propriétés de la probabilité conditionnelle :

⇒ qd. B et C incompatibles

� Généralisation pour k événements Bk 2 à 2 incompatibles

⇒

⇒ Probabilité totale d’un événement B − l ’ expér i ence Aa exact ement K i ssues A

k 2 à 2 i ncompat i bl es

P BD C G A 9 P B G A D P C G A

P<B G A 9 1E P B G A

P B K P A1 P BI A1 L P A2 P BI A2 L ... L P AK P BI AK

19Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Quantité d’ information propre

� Signal = Information + Redondance

� Objectif : Coder seulement l ’ information et éliminer la redondance

⇒ Besoin d’évaluation objective de la quantité d’ information propre

20Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie et Information� Information => effet de surprise ; Entropie => degré

d’ incertitude

⇒ Source S pouvant émettre N signes si équiprobables

degré d’ incertitude ≈

(selon Hartley)

⇒ Source S pouvant émettre N signes si non−équiprobables

(selon Shannon)

H S M$N Oi P 1

N

P SM si log P SM si sh Q signe

f N 7 log N 7SR log P S7 si sh

21Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie des sources discrètes sans mémoire

⇒ Quantité d’ information associée en moyenne à chaque signe s

i d’une source S pouvant émettre N signes

statistiquement i ndépendant s les uns des autres

⇒ Quantité moyenne d’ information nécessaire pour spécifier quel signe a été émis par la source

: ∀ séquence de si gnes émise par une source discrète d’entropie H => séquence de bi t savec en moyenne H bits/signe (1er th. de Shannon)

H0 S 9$E Oi P 1

N

P S9 si log P S9 si sh T signe

22Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie des sources discrètes sans mémoire� Unité de mesure de la quantité d’ information =>

dépend de la base du log utilisé ::hartley ou dit pour une base 10:nit pour une base e :shannon (sh) pour une base 2

U Remarque : Ne pas confondre le shannon avec le bit !!!:Un bit − variable binaire − transporte un shannon d’ information ss i ses 2 ét at s sont équi pr obabl es . : alors que

•

Nombresymbolesbinaires bits VXWEntropie sh Y�Z

23Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie des sources discrètes sans mémoire� Propriétés de l’entropie

⇒ Cont i nui t é car l’entropie H(S) est une fonction continue et convexe de p

i . Montrer ceci pour N=2.

⇒ Symét r i e par ex. pour une source binaire.

⇒ Pr opr i ét és ext r émal es :: quand pi=1/N : quand p

i=1 et les autres sont nulles

[ Monter que

quand

H S \ 0,1 \ H S \ 1,0

MAX H S ] log N

MIN H S ^ 0

H S _ 0

pi logpi ` 0 pi ] 0

24Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie des sources composées

a Soit S une source pouvant être décomposée en une source X (à K signes) et une source Y (à J signes) qui émet t ent s i mul t anément

⇒ Ent r opi e de l a sour ce composée S (notée XY) :: quand X et Y sont indépendantes : quand X et Y sont liées

H XY M H X b H Y

H XY c H X b H Y

H XY d H X e H Y f X

25Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie conditionnelle moyenne de sources discrètes sans mémoire

� : entropie conditionnelle moyenne de la source Y liée à la source X

⇒ : entropie conditionnelle de la source Y quand la source X produit le signe x

i� Propriétés :⇒

⇒ , car

⇒

H Y G X 9 Oi P 1

N

p xi H Y G xi

H Y g xi

H Y G X

0 h H Y i X h H Y

H X j H Y k X ] H Y j H X k YH Y l X m H X l Y

H XY ] H YX

26Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie et Information� Information sur une source => diminution du degré

d’ incertitude ; Quant i t é d’ i nf or mat i on = DDE ( Di mi nut i on D’ Ent r opi e)� Cas particulier : Source complètement prévisible;

Quantité d’ information acquise lorsque l’ état d’un système physique devient entièrement connu = Entropie du système

� Cas général : Soit X la source à ét udi er et soit Y une source pouvant êt r e obser vée afin fournir de renseignements sur X

⇒⇒ , i nf or mat i on mut uel l e moyenne contenue dans les sources X et Y

I X n H X o 0

I Y p X n H X o H X l YI Y p X n I X p Y n I X; Y

27Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie et Information

� Information mutuelle moyenne

⇒ Définition :

⇒Diagramme de Venn :

⇒ Propriétés :

− sources X et Y i ndépendant es : − sources X et Y équi val ent es :

I X;Y n H X q H Y o H XY

I X;Y n 0

I X;Y n I X n I Y n H X n H Y

H(XY)

H(Y)H(X)

I(X;Y)

28Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie et Information

� Débit d’ information moyen (ou taux d’emission de la source)

⇒ Définition

où T représente la durée moyenne d’émission d’un signe

⇒ Remarque

• Débi t d’ i nf or mat i on moyen, exprimé en ≡ Cadence d’ émi ssi on, exprimée en seulement pour une source de symboles binaires équiprobables ou exprimée en qd. celle−ci coïncide à la vitesse de modulation de la voie.

rH X s H X

Tsh t s

shu sbitsu s

bauds

29Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Entropie et Information

� Conclusion :

⇒ L’entropie dépend des probabilités pi des signes s

i émis

par la source S, mais ne dépend nullement de l a nat ur e de ces si gnes

:Entropie = mesure quantitative de l’ information contenue dans un message

:Entropie ≠ mesure qualitative de l’ information ou du contenu réel du message

30Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources discrètes avec mémoire

� Soit X une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes :⇒ Comportement stationnaire,

⇒ Émission d’un signe en fonction des m signes précédents.:Sachant qu’une séquence seq donnée de m signes ∈ SEQ (ensemble comportant Nm séquences distinctes), alors

l’entropie de la source X, conditionnelle à une séquence seq donnée , vaut :

H XI seq Kwv xi y 1

N

P xi I seq log P xi I seq

31Cours n°1−2

UV_TI

AlexandrinaROGOZAN

Sources discrètes avec mémoire� L’entropie d’une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes, vaut :

⇒ Particularisation de la formule de l’entropie d’une expérience composée XY :

au calcul de l’entropie conjointe

Hm X 3 H Xz SEQ 3{xseq y 1

Nm

P seq H X z seq

H XY s H YX s H X | H Y } XH SEQ,X s H SEQ | H X } SEQ

Hm X ~ H SEQ,X � H SEQ sh� signe

32

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Entropie de la q−ième extension d’une source S

� : Source générant des groupes de q signes, c’est à dire des vecteurs :

� Entropie de la q−ième extension

Sq

x1 , x2 , ...,xq

Sq

H Sq 9 H X1 ,X2 , ...,Xq

H Sq 9 H X1 D H X2G X1 D ...D H Xq G X1 ...Xq � 1

H Sq 9 H X1 , X2 , ...,Xq � 1 D H Xq G X1 ,X2 , ...,Xq � 1...

33

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Entropie de la q−ième extension d’une source S� Extension d’une sour ce sans mémoi r e

:Vecteur émis = Suite I . I . D. de signes

:Vecteur émis = Suite I . N. D. de signes

x1 , x2 , ...,xq

H Sq 3�xi y 1

q

H0 X i 3 qH0 X sh� séq.deqsignes

H Sq ~��i � 1

q

H0 Xi sh� séq.deq signes

x1 , x2 , ...,xq

34

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Entropie de la q−ième extension d’une source S

� Extension d’une sour ce avec mémoi r e − de

Markov d’ordre m sur un alphabet de N signes −

⇒ : Source de Markov d’ordre générant

séquences (ou mots) distincts de q signes

H Sq � qHm X sh� mot deq signes

� 7 m

qNqSq

35

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Entropie limite d’un processus stochastique

� Source S émettant q signes liés :

� Var i at i on de l ’ ent r opi e de la séquence émise, avec sa longueur q ;

� Valeur de l ’Entropie Limite si la limite existe :

⇒1ère déf. :

⇒2ème déf. :

08 H Xq G X1 ...Xq � 1 8 H Xq � 1G X1 ...Xq � 2 8 ...8 H X1

x1 , x2 , ...,xq

H � C limq � � 1

qH X1 ,X2 , ...,Xq C lim

q � � 1

qH Sq sh � signe

H’ � C limq � � H Xq i X1...Xq � 1 sh � signe

36

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Entropie limite d’un processus stochastique� Exemples et Propriétés :

⇒Séquence I . I . D. de q signes ::Séquences de q lettres (∈ alphabet de N lettres équiprobables) − cas de la dactylographe − :

⇒Séquence I . N. D. de q signes : peut ne pas exister

⇒Processus stochastique st at i onnai r e : existe tjr.:Source de Markov homogène d’ordre m=q−1 :

H �!^ l imq � � H Xq � X1...Xq � 1 ^ l im

q � � H Xq � Xq � 1 ^ H X2 � X1

H � ^ H’ �H �

H � ^ log N

H � ^ H X1

37

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Efficacité et redondance d’une source

�S9 H � S

HMAX S8 1

r S K 1 vX� S K H MAX S v H � S

H MAX SJ 1

�S � 1

� Efficacité informationnelle de la source S

⇒Si alors pl us de si gnes que l e mi ni mum nécessai r e utilisés pour émettre un message donné ( => il y a des signes redondants )

� Redondance relative de la source S

⇒Mesure de l’adéquation de son alphabet aux messages délivrés

⇒

38

UV_TI

Cours n°1−2 Alexandrina ROGOZAN

Pourquoi le codage de source ?

− pour améliorer l’efficacité informationnelle d’une source S, notée , en introduisant un codage préalable des signes.

− pour réduire la redondance des messages émis par cette source S, notée .

–

�s

r s