1

Exercices avec réponses

Exercice I- Une source simple SN utilise un alphabet de taille N. Le symbole s1 a une probabilité d’apparition de ½ , et les autres symboles sont équiprobables. Le débit de la source est de 1000 symboles par seconde. 1) Calculer l’entropie de la source (Sh/symbole) en fonction de N.

Application Numérique (A.N.) pour N=5 et N=6.

2) On code cette source en binaire en attribuant à s1 le mot-code « 0 », et aux N-1 autres symboles des mot-codes de longueur unique, l, commençant par « 1 ». Quelle est la valeur minimale pour l en fonction de N (avec code irréductible) ? • Pour N = 5, donner la valeur minimale pour l, et l’efficacité de ce code. • Pour N= 6, questions idem.

3) Coder la source S6 ( pour N = 6) par la méthode de Shannon-Fano. Déterminer le débit (bit/sec) après codage et commenter par rapport au code précédent (en 2.).

Exercice II- [7,5 points] On considère la voie de communication constituée de 2 canaux en cascade permettant d’acheminer les données binaires d’une source simple à 2 états logiques « 0 » et « 1 » équiprobables :

générateur

Source binaireà 2 états

câble

horloge

Canal 1

câble

horloge

Canal 2

Y

{0 ; 1; ε}

X

{0 ; 1}

Z

{0 ; 1; ε}

bascule bascule

Suite à un défaut (d’alimentation des bascules), chaque canal génère parfois (probabilité p) un état indéterminé (parasite) en sortie, noté ε , en réponse à un état logique valide en entrée. Le problème est modélisé avec les matrices de transition des 2 canaux discrets suivantes :

P(Y /X)

YX

0 1 εεεε

0 1-p 0 p1 0 1-p p

P( Z / Y )

ZY

0 1 εεεε

0 1-p 0 p1 0 1-p pεεεε q q 1-2q

1) Pour le 1° canal discret (X->Y): • exprimer les entropies H(Y), H(Y/X), et l’information mutuelle I(X,Y) en fonction de p. • Application numérique (A.N.) : calculer I(X,Y) pour p = 0,2. Commentez

2) Pour le 2° canal discret (Y->Z), quelle est la signification d’une valeur de q nulle ou non nulle ? On suppose le cas simplifié où q = 0 dans toute la suite. 3) Pour le canal global (X ->Z) :

• déterminer la matrice de transition du canal global P(Z/X) en fonction de p. On suppose p = 0,2 dans toute la suite.

Note : la matrice P(Z/X) a alors la même forme que P(Y/X) en remplaçant p = 0,2 par p’ = 0,36. • en déduire la valeur de l’information mutuelle I(X, Z) et commenter par rapport à 1).

2

4) Existe-il théoriquement un codage à insérer entre la source et le canal permettant de réduire à volonté le taux d’erreur après décodage, avec seulement un taux de redondance de 50% ?

5) Soit un codage par répétition tel que le symbole de la source « 0 » (respectivement « 1 ») soit

codé par le mot-code X = 00 (respectivement X = 11). • on suppose que le mot reçu Z = εε est décodé par « 0 ». Préciser la règle de décision du

décodeur pour les autres mot reçus possibles. • calculer la probabilité d’erreur binaire après décodage et commenter l’amélioration apportée

par le codage.

6) Question subsidiaire (bonus) : dans le cas général où q serait non nul (et p = 0,2), exprimer et tracer I(X, Z) en fonction de q, et commenter son évolution.

Autre exercice (non corrigé) I- Codage de source : Source M sans mémoire a un alphabet de 6 messages {m1, m2, m3, m4, m5, m6} avec les probabilités {0.6 ; 0.2 ; 0.05 ; 0.05 ; 0.05 ; 0.05} 1.1 Calculer l’entropie (Sh/message), et la redondance de la source ; Pour réduire la redondance, on envisage d’appliquer à M un codage de source (irréductible) délivrant en sortie des symboles élémentaires d’alphabet Q-aire. 1.2 Déterminer la valeur minimale de Q pour qu’il existe un code de longueur L (longueur moyenne des mot-codes) inférieure ou égale à 2 symbole. 1.3 Déterminer la valeur minimale de Q pour qu’il existe un code dont les longueurs des 6 mot-codes soient (∀ l’ordre) : 1 mot de longueur 1 symbole, et 5 mots de longueur 2 symboles. Un codage de source binaire (Q = 2) est finalement imposé, utilisant la méthode de Shannon-Fano. 1.4 Déterminer le codage obtenu. 1.5 En déduire la longueur (moyenne) du code et son efficacité. 1.6 Quelle est la probabilité de chacun des symboles binaires en sortie du codeur.

3

Réponses Exercice I 1.1) On a les probabilités : p1 = ½ ; et pn = 1/[2(N-1)] pour n=2 …N.

Source simple => H(S) = -(1/2)lb(1/2) – 1/2lb(1/[2(N-1)]) => H(S) = ½ + ½.lb[2(N-1)]. • Pour N = 5 => H(S5) = 2 Sh/symb, et lb(5) = 2.32 => redondance = 13,8% • Pour N = 6 => H(S6 ) = 2,16 Sh/symb, et lb(6) = 2.58 => redondance = 16,3%

1.2) Il faut vérifier (Kraft-Mac-Millan) :

2-1 + (N-1).2-l ≤ 1 => l ≥ lb[2(N-1)] et comme l est une nombre entier (nombre de bits des mot-codes S2 …SN) on prend donc lmin = entier supérieur ou égal à { lb[2(N-1)] } = 1 + lb(N-1). Note : on peut aussi trouver ce résultat en disant qu’il faut coder N-1 symboles avec un nombre de bits fixé à l –1 bits , puisque 1 bit est déjà déterminé. Efficacité du code η = Lmin / L , avec L : Longueur moyenne du code et Lmin = H(S)/lb(2) • Pour N=5 => lmin = 3 et L = ½(1) + ½(3) = 2 bits /symb et Lmin = 2 bits , soit η = 100%. • Pour N=6 => lmin = 4 et L = ½(1) + ½(4) = 2,5 bits /symb et Lmin = 2,16 bits, soit η = 86,4%.

1.3) Codage binaire de Shannon-Fano de S6 :

Un résultat de codage pour les 6 mot-codes est : {0 ; 100 ; 101 ; 110 ; 1110 ; 1111}, Soit 1 mot de longueur 1 bit, 3 mots de longueurs 3 bits, et 2 mots de longueur 4 bits. On en déduit : L = ½(1) + 0,1.3.3 + 0,1.2.4 = 2,2 bits /symb et η = 2,16 / 2,2 = 98,2%. Amélioration de l’efficacité par rapport au code précédent, en ne donnant pas des longueurs identiques aux 5 derniers mot-codes. Le débit après codage est: 1 ksymb/sec x2,2 = 2.2 kbit/sec, contre 2,5 kbit/sec avec le code 1.2).

Exercice II 1) Pour le 1° canal discret (X->Y), entrée à 2 états x0 = « 0 » et x1 = « 1 »avec p(x0) = p(x1) = 1/2:

Et sortie Y à 3 états y0 = « 0 », y1= « 1 » , y2 = « ε » Avec p(y0) = ½(1-p) ; p(y1) = ½ (1-p) ; p(y2) = p

source simple => H(Y) = - ∑i p(yi).lb(p(yi)) = -(1-p).lb( ½ (1-p) ) – p.lb(p) Matrice P(Y/X) uniforme par rapport à l’entrée, donc ici H(Y/X) indépendant des probabilités en entrée et peut se calculer (cas particulier) seulement avec une ligne de la matrice P(Y/X) : H(Y/X) = - H(Y/X=x0) = - ∑i p(yi / x0).lb(p(yi/x0)) = -(1-p).lb(1-p) – p.lb(p)

On en déduit I(X,Y) = H(Y) – H(Y/X) = -(1-p)lb( ½ ) => I(X,Y) = 1-p ; Soit : I(X,Y) = 0,8 Sh/symb pour p =0,2.

L’information mutuelle représente la quantité moyenne d’information bien transmise. Le taux d’apparition du parasite en sortie, p, représente logiquement le taux d’information mal transmise (par rapport à l’information totale injecté à l’entrée du canal H(X)). En effet : I(X,Y) = H(X) – p , puisque H(X) = 1 ici, et donc p = H(X/Y).

2) Pour le 2° canal discret (Y->Z), on peut avoir un état parasite qui se présente en entrée (généré par le premier canal en réponse à un niveau logique « 0 » ou « 1 »). Si q =0, un état parasite en entrée se traduit automatiquement par un état parasite en sortie. Si q ≠ 0, 2q représente la proportion de niveaux logiques valides en sortie (avec répartition uniforme entre « 0 » et « 1 ») en réponse à un parasite à l’entrée.

3) Pour le canal global (X ->Z), avec cas simplifié où q = 0 dans la suite.:

• matrice de transition du canal global P(Z/X) en fonction de p.

4

La matrice est celle des p(zj / xi), qui se déduit du produit matriciel des 2 matrices. En effet {y0/xi, y1/xi, y2/xi} étant un système complet d’évènements, on a avec l’axiome des probabilités totales : P(zj / xi) = p(zj / y0).p(y0 / xi) + p(zj / y1).p(y1 / xi) + p(zj / y2).p(y2 / xi) Et sous forme vectorielle (P(X), P(Y), P(Z) : vecteur lignes) :

P(Y) = P(X) . P(Y/X) et P(Z) = P(Y) . P(Z/Y) d’où P(Z) = P(X). [P(Y/X) . P(Z/Y) ]. Ce que l’on peut aussi déduire du diagramme de transition global :

x0

x1

y0

y1

y2

z0

z1

z2

1-p

1-pp

p

1-p

1-pp

p

1

X Y Z

Finalement, avec q = 0 on obtient la matrice:

P(Z /X) = P(Y/X) . P(Z/Y)

ZX

0 1 εεεε

0 (1-p)2 0 2p-p2

1 0 (1-p)2 2p-p2

Donc la matrice est idem à celle de P(Y/X) dans laquelle on remplacerait p par p’ tel que 1-p’ = (1-p)2, soit avec p’ = 2p –p2 . Pour p = 0,2 on a p’ = 0,36 qui représente la nouvelle probabilité d’obtenir un niveau parasite en sortie du canal, sachant un niveau logique (« 0 » ou « 1 » en entrée). Et d’après le calcul effectué en 1, I(X,Z) = 1- p’ = (1-p)2 = 0,64 Sh/Symb. La mise en cascade des 2 canaux a évidemment diminué encore la quantité d’information bien transmise. Néanmoins avec q=0, les états indéterminés se propagent sans introduire de faux états logiques, et chaque étage amène la même proportion (80%) d’info moyenne bien transmise, soit en tout avec les 2 étages 80% .80 % = 64%.

4) D’après le 2° théorème de Shannon, il existe théoriquement un codage à insérer entre la source

et le canal permettant de réduire à volonté le taux d’erreur après décodage si et seulement si l’entropie à l’entrée du canal H(X), donc après codage de la source S sans mémoire (d’entropie H(S) = 1Sh/symb), est inférieure à la capacité du canal C. Si on impose une redondance de 50% due au codage (qui introduit de la mémoire en X), l’entropie de H(X) est dorénavant 0,5 Sh/symb. L’existence d’un codage « idéal » est alors assurée si la capacité du canal X->Z est supérieure à 0,5 Sh/symb. C’est bien le cas puisque C est le max de I(X,Z) (sur toutes les entrées possibles X) et donc C ≥ 0.64 Sh/symb. En fait on peut vérifier que pour ce canal C est précisément égal à 0.64 Sh/symb.

5) Codage par répétition tel que le symbole de la source « 0 » (respectivement « 1 ») soit codé par le mot-code X = 00 (respectivement X = 11).

• règle de décision du décodeur pour les mot reçus possibles : mots reçus possibles Z: 00 0ε ε0 ε ε ε1 1 ε 11 décision (dures) pour X : 0 0 0 0 1 1 1 note : les mots reçu « 01 » et « 10 » sont impossibles

• probabilité d’erreur binaire après décodage Ped : en fait seulement le mot reçu εε peut amener à une erreur de décision sur le bit, si c’était en réalité un « 1 » à la source, d’où : Ped = Pr( X = 11 ; Z = ε ε) = Pr( Z = ε ε / X = 11 ) . Pr(Pr( X = 11). = p’ 2 . ½ = (0,36)2 . ½ = 6.5 % Si on n’avait pas fait de codage à l’émission, et en décidant « 0 » pour Z = 0 ou Z = ε à la

réception, et en décidant « 1 » pour Z = 1 reçu, on aurait la probabilité binaire d’erreur : Pe = Pr (Z = ε ; X = 1) = Pr (Z = ε / X = 1).Pr( X = 1) = p’.1/2 = 18%.

5

6) Question subsidiaire : dans le cas général où q serait non nul :

• en reprenant le calcul matriciel de 3) pour q non nul, on obtient : P(Z /X) = P(Y/X) . P(Z/Y)

ZX

0 1 εεεε

0 (1-p)2 + pq pq p(1-p)+ p(1-2q)

1 pq (1-p)2 + pq p(1-p)+ p(1-2q)

soit avec p = 0,2 :

ZX

0 1 εεεε

0 0,64 +0,2q 0,2q 0,36 – 0,4q

1 0,2q 0,64 +0,2q 0,36 – 0,4q

• exprimer I(X,Z) :

En reprenant les calculs : p(z0) = p(z1) = 0,32 +0,2q et p(z2) = 0,36 – 0,4q +H(Z) = - ∑i p(zi).lb(p(zi)) = -2(0,32 +0,2q)lb(0,32 +0,2q) – (0,36-0,4q)lb(0,36-0,4q) et -H(Z/X) = (0,64 +0,2q)lb(0,64+0,2q) + 0,2qlb(0,2q) + (0,36-0,4q)lb(0,36-0,4q)

Donc pour I(X,Z) = H(Z) – H(Z/X), on a l’évolution suivante :

La quantité d’information bien transmise diminue lorsque les états parasites en entrée du 2° canal peuvent de plus en plus se transformer en sortie en état logique « 0 » ou « 1 », créant davantage d’ambiguïté H(X/Z).