IntroductionIntroductionà la théorie de l’informationà la théorie de l’information

David RousseauDavid Rousseau

Doctorant première année au LISADoctorant première année au LISA

Pr AgPr Ag de Physique à l’Université d’Angers de Physique à l’Université d’Angers

Organisation de l’exposéOrganisation de l’exposé

Cadre et historique de la théorie de l’information

Les principaux outils

Les théorèmes fondamentaux

Exemples d’applications en relation avec les activité du LISA

Comment est néeComment est néela théorie de l’information ?la théorie de l’information ?

• A l’origine une réflexion sur les techniques decommunication.

• Claude Shannon pose en 1948 les fondementsmathématiques des communications numériques.

A quoi sert la théorie deA quoi sert la théorie del’informationl’information ?

Vous disposez d ’une source de données.

• Quelle est la quantité d ’information et de redondance ?

• Quel est le taux de compression maximal sans pertes d’information ?

• Quelle est la complexité de ces données ?

Vos données traversent un système où règnent des perturbations

• Quel est l’effet des perturbations sur l’information ?

• Quel est le taux de transmission maximal sans pertes d ’information ?

Paradigme de ShannonParadigme de Shannon

SourceSource DestinataireDestinataireCanalCanal

PerturbationsPerturbations

messagemessage

Exemples illustrant le paradigme :

• cas d’une source analogique : la parole• cas d’une source numérique : l ’écriture• cas d’une séparation temporelle : lecture d ’un CD gravé

• Une source d’information est considérée comme le sièged’événements aléatoires.

• La quantité d’information d’un message se définit comme unemesure de son imprévisibilité.

Quantifier l’informationQuantifier l’information

La source est modélisée par une variable aléatoire X,son espace d’épreuve (x1,x2…,xn) est l’alphabet de la source.

nixXp ii ,...,2,1,)Pr( === ∑=

=n

i

ip1

1

La transmission d’un message serait inutile s’il étaitconnu à l’avance par son destinataire.

Quantité d’informationQuantité d’information

Soit h(Pr(x)) la quantité d’information apportée par la réalisation d’unévénement x de probabilité Pr(x).

Propriétés de la fonction h:

– Soit f une fonction croissante :

– f(1)=0.

– Soit x et y deux événements indépendants :

))Pr(

1()(x

fxh =

)()(),( yhxhyxh +=

Quantité d’information associée à la réalisation d’un événement x :

))log(Pr())Pr(/1log()( xxxh −==

Entropie d’une sourceEntropie d’une sourceIl s’agit de la quantité d’information moyenne associée à chaquesymbole de cette source :

[ ] )log()()(1

∑=

−==n

i

ii ppXhEXH

Cette expression définit l’entropie par symbole.

Exemple d ’une source binaire :

)1Pr(1)0Pr(

))1log()1()log(()(

−==−−+−=

p

ppppXH

C ’est une mesure de surprise

H(X) est maximum pour n fixé lorsque pi=1/n .

Information mutuelleInformation mutuelleC’est la quantité d’information que la donnéede l’une des variables apporte sur l’autre.

))Pr()/log(Pr(),( xyxyxi =

• Pr(x) probabilité que x soit émis

• Pr(xIy) probabilité a posteriori que x ait étéémis sachant que y a été reçu.

CanalCanalXX YY

),()Pr()Pr(

),Pr(log),( xyiyx

yxyxi =

=

i(x,y)=h(x) si Pr(xIy)=1

i(x,y)=0 si x et y sont indépendants

D’après la relation de Bayes :

Information mutuelle moyenneInformation mutuelle moyenne

Soit X et Y deux variables aléatoires (x1,x2,…xn) et(y1,y2…ym) leurs espaces d’épreuves respectifs.

[ ] ∑∑= =

−==

n

i

m

j ji

jiji

yxyxyxYXiEYXI

1 1

,,

)Pr()Pr()Pr(log)Pr(),(),(

∑∑==

==n

ii

jij

m

ij

jii yxyyxx ),Pr()Pr(;),Pr()Pr(

C ’est une mesure d ’indépendance

Le codage de sourceLe codage de sourceL’usage d’un canal coûte d’autant plus cher

que le message est long.

Pour diminuer ce coût, on substitue le message émis par la sourcepar un message aussi court que possible.

nq

H≤

)log(

Théorème fondamental du codage de source : Soit une source sansmémoire S d ’entropie par message H. Soit n la longueur moyennedes mots nécessaires au codage de ces messages, exprimé en nombrede symbole q-aire :

Le codage de source enlève la redondance de la source.

Exemple de codage de sourceExemple de codage de source

garbo.bmp garbo2.bmp

Ajout de bruit

On code les deux images avecun algorithme de compressionpar dictionnaire (Lempel Ziv)

Est-il indispensable de faireEst-il indispensable de faireappel aux probabilités pourappel aux probabilités pourquantifier l ’information ?quantifier l ’information ?

01010101010101010101010101010101

01101010000010011111001100110011

01001010101111000011101100101100

Par exemple comment décrire la complexité de ces suites ?

Imprimer 16 fois 01

Imprimer les 32 premierschiffres du développementbinaire de √2-1

Imprimer01001010101111000011101100101100

Mesure de complexitéMesure de complexité

• Complexité au sens de Kolmogorov (ou algorithmique) :

La plus courte longueur d ’un programme informatique telqu ’un ordinateur imprime la suite x et s ’arrête.

• Complexité au sens de Lempel Ziv:

La taille du dictionnaire après compression

Le codage de canalLe codage de canal

Le résultat des perturbations est une probabilité d’erreur parsymbole incompatible avec la qualité de restitution.

Le codage de canal ajoute de la redondance au message initial demanière à augmenter la sûreté de transmission en présence deperturbations.

);(max YXIC =Théorème fondamental sur le codage de canal: Si H

Représentation des codes linéairesReprésentation des codes linéairesen blocsen blocs

Code C(n,k) de longueur n, de dimension k

SourceCodeur decanal

Rendement R=k/n

n-k symboles de redondance

Mot de code c

(c1,c2,…,cn)Message m(m1,m2,…,mk)

Représentation matricielleReprésentation matricielle

• Matrice génératrice c=mG

lignesk

colonnesn

ggg

ggg

ggg

mmmccc

nkkk

n

n

nn

4444 34444 21

=

,2,1,

,22,21,2

,12,11,1

2121

...

.........

...

...

]...[]...[

0=TcH• Matrice contrôle de paritéLa matrice de contrôle H permet de détecter les erreurs

−

−−

−

=

kngggg

knggggkngggg

kngggg

G

...2100...00

0........................

.........21000

0...0...2100

0...00...210

11...

2210)(

−−++++=

nxncxcxccxc1

1...2

210)(−

−++++=kxkmxmxmmxm

knxkngxgxggxg−

−++++= ...2

210)(

)()()( xgxmxc =

• Représentation polynomiale :– Mot de Code c:– Message m:

• Polynôme générateur g(x) de degré n-k:

Représentation PolynomialeReprésentation Polynomiale• Cas des codes cycliques :

Contraintes du tatouage d’imagesContraintes du tatouage d’images

ÊLa marque doit être invisible

ËLa marque doit être indélébile:– compression avec perte

– conversion analogique/numérique

– fenêtrage, changement d’échelle

– lissage, rehaussement

• La robustesse peut être variable selon lesapplications:

Robustesse

Indexation Authentification Droits d’auteurs

Quantitéd’information

Contribution de la théorie deContribution de la théorie del ’information au tatouage d ’imagel ’information au tatouage d ’image

C=max(I(W;Y)) bits/transmission

Une transmission représente ici l ’élément le plus petit qui permet de transmettre lemessage: pixel, coefficient fréquentiel, bloc image

SignatureSignature Signature perturbéeSignature perturbéeCanalCanal

TraitementsTraitements

W={w1,w2,…wn}

B={b1,b2,…bn}

Y={y1,y2,…yn}

Quelle est la longueur maximale du message que l’on peutcacher dans une image ?

-1

-1

1

1

u

g(u)

è)çg(sy −+=

s: Signal d’entrée

η: Bruit additif

θ: Offset

y: Signal de sortie

Canal non linéaire à saturation. Canal non linéaire à saturation.

Quel est l ’effet de la non linéarité surQuel est l ’effet de la non linéarité surl ’information mutuelle?l ’information mutuelle?

)p(y)

)sp(y)ln(sp(ydy(s)fdsy)I(s;

s ∫∫=

)p(y)

)sp(y)ln(sp(ydy(s)fdsy)I(s;

s ∫∫=

I1(s)I1(s) calculé analytiquement :

EtudeEtude de I(s;y) dans le cas : s Gaussien de I(s;y) dans le cas : s Gaussien ηηηη Gaussien Gaussien

I1(s)=Icont(s)+J1(s)+J-1(s)

−=

2

ss

só2

uexp

2 ðó

1(u)f

−=

2

nn

nó2

uexp

2 ðó

1(u)f ∫

∞−

+==

u

nn )2

(12

1)du'(u'f(u)F

n

uerf

σ

∫∞−

+==

u

ss )2

(12

1)du'(u'f(u)F

s

uerf

σ

Fonctions densités de probabilité : Fonctions de répartition :

Expression analytique de IExpression analytique de I11

1y

1y

ny

n

2

y

n2

y

2

n

2

y

ncont s)è(yFó

óln

ó

ó1

2

1

2ó

ss)è(yfs)è(y

ó

ó1

2

1(s)I

=

−=

−+

−

−−+−+

−+

−=

[ ] { }

=

+−−+−−−=

1YPrè)s(1F1

lnè)s1(F1(s)J nn1

{ }

−=+−−

+−−=− 1YPrè)s1(F

è)lns1(F(s)J nn1

{ } )1(1Pr θ+−== yFY

{ } )1(11Pr θ+−=−= yFY

22sny σσσ +=

Dans le cas d ’un signal faible et d ’un fort offset :

Quel est l ’effet du bruit sur l’information mutuelle?Quel est l ’effet du bruit sur l’information mutuelle?

ConclusionConclusion

Vous souhaitez caractériser :

• Une source de données

• Un système entrée/sortie

La théorie de l’information : des outils et des théorèmesfondamentaux dont le domaine d ’application s’étend bien audelà de celui des télécommunications.