Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de...

46
Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise - CNRS UMR 8051 F-95000 Cergy-Pontoise Cedex, France

Transcript of Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de...

Page 1: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Codes LDPC non-binaires pour le codage desource

Anne SAVARDEncadrant : Claudio WEIDMANN

ETIS / ENSEA - Université de Cergy-Pontoise - CNRS UMR 8051F-95000 Cergy-Pontoise Cedex, France

Page 2: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Plan

1 Contexte : Information adjecente compressée

2 Définitions

3 Algorithme RBP

4 Algorithme ABP

5 Scheduling

6 Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 2 / 38

Page 3: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Contexte

Plan

1 Contexte : Information adjecentecompressée

2 Définitions

3 Algorithme RBP

4 Algorithme ABP

5 Scheduling

6 Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 3 / 38

Page 4: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Contexte

Information adjacente compressée : région de rendementsatteignables

Ahlswede et Körner :{

RX ≥ H (X |U)

RY ≥ I (Y ;U)avec X − Y − U une chaine de Markov 1

1. R. Ahlswede and J. Körner, "Source coding with side information and a converse for degraded broadcast chan-nels", IEEE Transactions on Information Theory, vol. : 21, pp. 629–637, 1975

EX D

EY

X

Y

X

Rx

Ry

H(X)

H(X) H(Y )

H(X |Y )

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 4 / 38

Page 5: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Contexte

Compression de sources binaires

Critère : distance de Hamming 1

Pour les codes linéaires : problème NP-complet

Difficulté des méthodes itératives : converger pour toutes les séquences source

Compression avec des codes NB-LDPC 2

1. G. WeiHsin, R. Koetter, M. Effros and T. Ho, "On source coding with coded side information for a binary source withbinary side informations", ISIT 2007, Nice, France, June 24 - June 29, pp. 1456-1460, 2007

2. A. Braunstein, F. Kayhan and R. Zecchina, "Efficient LDPC codes over GF(q) for lossy data compression", ISIT 2009,Seoul, Korea, June 28 - July 3, pp. 1978-1982, 2009

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 5 / 38

Page 6: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Objectifs

Objectifs

Étude de différentes perturbations de l’algorithme de propagation de croyance(BP)

Amélioration de ces algorithmes

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 6 / 38

Page 7: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Définitions

Plan

1 Contexte : Information adjecentecompressée

2 DéfinitionsB Codes LDPCB US-LDPC codes and b-reductionB Belief propagation decoderB Compression

3 Algorithme RBP

4 Algorithme ABP

5 Scheduling

6 Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 7 / 38

Page 8: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Définitions Codes LDPC

Encodeur

C : u ∈ Fkq 7−→ x ∈ Fn

q avec{

u vecteur de symbole d’information de taille kx mot de code de taille n

Mot de codec mot de code ssi H · ct = 0

Codes binaires et non-binairesCodes binaires : composantes de H dans F2

Codes non-binaires : composantes de H dans Fq , q = 2r

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 8 / 38

Page 9: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Définitions US-LDPC codes and b-reduction

Graphe de TannerNoeuds de variable : symboles d’unmot de code

Noeuds de parité : équations deparité du code

Connexions : symboles intervenantdans les équations de parité

US-LDPC codesDegré des noeuds de variable : 2

b-réductionSuppression aléatoire de b noeuds deparité

GirthLongeur du plus petit cycle

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 9 / 38

Page 10: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Définitions Belief propagation decoder

Décodeur Belief Propagation (BP)Passage de messages le long du graphe de Tanner

Messages échangés : probabilités

Ordre de la mise à jour des messages : ordonnancement (scheduling)

Calcul des a posteriori probabilities (APP) pour la prise de décision

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 10 / 38

Page 11: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Définitions Compression

PrincipePour une séquence d’entrée, converger vers un mot de code

Compression : transmettre uniquement les k symboles d’information

Pouvoir reconstruire le mot de code

Identification des k symboles d’informationAvec b-réduction : Leaf-removal algorithm

Sans b-réduction : encodage classique

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 11 / 38

Page 12: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP

Plan

1 Contexte : Information adjecentecompressée

2 Définitions

3 Algorithme RBPB PrincipeB Mise à jour des messagesB SimulationsB RésultatsB Conclusion

4 Algorithme ABP

5 Scheduling

6 Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 12 / 38

Page 13: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Principe

Reinforced Belief Propagation, proposé par Braunstein et al. 1

1. A. Braunstein, F. Kayhan and R. Zecchina, "Efficient LDPC codes over GF(q) for lossy data compression", ISIT 2009,Seoul, Korea, June 28 - July 3, pp. 1978-1982, 2009

Notations :y mot source à compresser

Initialisation : ∀a ∈ [0, q − 1] , µ(1)vj(a) ∝ exp(−LdH(yj , a)) avec{

L paramètre à fixerdH distance de Hamming

ReinforcementModifie l’information reçue pour converger vers des séquence plus probables aposteriori

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 13 / 38

Page 14: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Mise à jour des messages

Messages

µv→c =

P(v = 0|{µci→v}i=1,...,d )P(v = 1|{µci→v}i=1,...,d )

...P(v = q − 1|{µci→v}i=1,...,d)

v h c

h1

hd

c1

cd

µv→c

µc1→v

µcd→v

b

b

b

Équations

µ(l+1)v→c (a) = (g(l)

v (a))1−γ0γl1µ1

v (a)d∏

ci 6=c

µ(l)ci→v (a)

APP : g(l)v (a) = µ

(1)v (a)

d+1∏i=1

µ(l−1)ci→v (a)

γ0 , γ1 ∈ [0, 1]

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 14 / 38

Page 15: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Mise à jour des messages

Messagesµc→v =

P(c = 0 if v = 0|{µvi→c}i=1,...,d)P(c = 0 if v = 1|{µvi→c}i=1,...,d)

...P(c = 0 if v = q − 1|{µvi→c}i=1,...,d )

c h v

h1

hd

v1

vd

µc→v

µv1→c

µvd→c

b

b

b

Équations

µc→v = F−1

(d∏

vi 6=v

F (µvi→c)

)F , F−1 : transformée de Fourier et inverse sur Fq

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 15 / 38

Page 16: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Mise à jour des messages

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Rate

Dis

tors

ion

Rate−distorsion

rate−distorsion boundGF(2)GF(16)GF(64)

FIGURE: n=1000, 50 samples, L=2, γ0 = 0.92, γ1 = 1, b=2

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 16 / 38

Page 17: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Simulations

Cadre choisiCode linéaire : mot de code nul transmis

Augmenter la probabilité d’erreur

”Bonne” réponse du décodeur : mot de code nul

Convergence de l’algorithme RBPVers un mot de code :

Vers le mot de code nul ou vers un mot de code plus proche de yque le mot de code nul : SuccèsVers un autre mot : Autre

Stabilisation des messages µ(t+1)c→v = µ

(t)c→v sur une séquence qui n’est pas un

mot de code : Pseudo-convergence

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 17 / 38

Page 18: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Résultats

Influence de γ0

0.88 0.89 0.9 0.91 0.92 0.93 0.94 0.95 0.960.186

0.187

0.188

0.189

0.19

0.191

0.192

γ0

Dis

tors

ion

0.88 0.89 0.9 0.91 0.92 0.93 0.94 0.95 0.960

5

10

15

20

25

30

35

40

45

50

γ0

Num

ber

of fa

ilure

in th

e co

nver

genc

eFIGURE: n=1600, rate=0.33, b=5, q=16, 50 samples

γopt0 = 0.9

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 18 / 38

Page 19: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Résultats

Influence de L et b

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

10

20

30

40

50

60

70

80

90

100

Error probability

Num

ber

of s

ucce

sses

Influence of L on the convergence

L=0.7, b=0L=1.1, b=0L=1.7, b=0L=0.7, b=3L=1.1, b=3L=1.7, b=3

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

10

20

30

40

50

60

70

Error probability

Num

ber

of fa

ilure

Influence of L on the convergence

L=0.7, b=0L=1.1, b=0L=1.7, b=0L=0.7, b=3L=1.1, b=3L=1.7, b=3

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

1

2

3

4

5

6

7

8

9

10

Error probability

Num

ber

of c

onve

rgen

ce to

ano

ther

cod

ewor

d th

an z

ero

Influence of L on the convergence

L=0.7, b=0L=1.1, b=0L=1.7, b=0L=0.7, b=3L=1.1, b=3L=1.7, b=3

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

10

20

30

40

50

60

70

80

90

100

Error probability

Num

ber

of p

seud

o−co

nver

genc

e

Influence of L on the convergence

L=0.7, b=0L=1.1, b=0L=1.7, b=0L=0.7, b=3L=1.1, b=3L=1.7, b=3

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 19 / 38

Page 20: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme RBP Conclusion

ConclusionsRôle des différents paramètres de l’algorithme RBP

Influence de L :{L < 1 : Pseudo-convergenceL > 1 : Convergence possible vers des mots de code

Influence de b :b > 0 : Convergence possible vers des autres mots de code(augmenter b revient à augmenter le nombre de mots de code)Influence de γ0 :Existence d’un γ0 optimal (minimum d’échec dans la convergence)

Nécessité du scheduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 20 / 38

Page 21: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP

Plan

1 Contexte : Information adjecentecompressée

2 Définitions

3 Algorithme RBP

4 Algorithme ABPB Agorithme ABP binaireB Algorithme ABP non-binaireB RésultatsB Conclusion

5 Scheduling

6 Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 21 / 38

Page 22: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP

ABPAugmented Belief Propagation, proposé par Varnica et al. 1

Proposé dans le cas binaire

Étendu au cas non binaire

1. N. Varnica,M. P.C. Fossorier and A. Kavcic, "Augmented belief propagation decoding of low-density parity checkcodes", IEEE Transactions on Communications, vol. 55,pp. 1308-1317, 2007

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 22 / 38

Page 23: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 23 / 38

Page 24: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

C(L)S

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 23 / 38

Page 25: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

V (L)S

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 23 / 38

Page 26: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

G(L)S

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 23 / 38

Page 27: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

1 1 1 1 1 1 2

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 23 / 38

Page 28: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

Smaxv

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 23 / 38

Page 29: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

Principe généralPerturbation de l’algorithme BP encas d’échec

Sélection d’un noeud

Saturation de son LLR :LLR(x) = log

(p(xi=1|yi )p(xi=0|yi )

)à ±∞

Nouvelle tentative de l’algorithme BP

j=1 j=2 j=3

M(0)

M(1)

M(1)

M(2)

M(2)

M(2)

M(2)

1

+S

2

+S 3 +S

4 −S

5

−S

6 +S

7 −S

8

−S

9

+S 10 +S

11 −S

12

−S

13 +S

14 −S

b

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 24 / 38

Page 30: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

Sélection d’un noeudObservations :

dGS (v) élevé : forte probabilité que v soit en erreur|LLR(v)| faible : forte probabilité que v soit en erreur

Sélectionner vp tel que vp = arg minv∈Smax

v

|LLR(v)|

Interprétationvp = arg min

v∈Smaxv

|LLR(v)| : revient à sélectionner le noeud de variable tel que

P(vp = 0) ' P(vp = 1)

Saturation du LLR du noeud : forcer ce noeud à être 0 ou 1

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 25 / 38

Page 31: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Agorithme ABP binaire

0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.50

10

20

30

40

50

60

70

80

90

100

Eb/N

0[dB]

Suc

cess

ABP algorithm versus BP algorithm

ABPBP

FIGURE: Nombre de succès, 1024× 2048 (3,6)-regular LDPC code, 100samples

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 26 / 38

Page 32: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Algorithme ABP non-binaire

Extension du cas binaire au cas non-binaire

Même définitions pour C(L)S , V (L)

S , G(L)S , dGS (v), Smax

v

Sélectionner le noeud de variable dans V (L)S ayant ses probabilités symbole les

plus uniformes

Saturer le message initial arrivant à ce noeud

ProblèmesDomaine des probabilités vs domaine des LLR ?

Saturation d’un bit, de plusieurs bits ?

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 27 / 38

Page 33: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Résultats

Saturation d’un seul bitCalculer les probabilitésmarginales bits à partir des APP

En chercher le maximum

Saturer l’une des probabilités bitmarginales

Saturation de plusieurs bitsCalculer les probabilitésmarginales bits à partir des APP

Identifier les bits tels que|Pbin − 0.5| < seuil

Saturer les probabilités bitmarginales correspondantes

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

5

10

15

20

25

30

35

40

45

50

Error probability

Num

ber

of c

onve

rgen

ce to

a c

odew

ord

Comparison betwenn BP, RBP, ABP algorithm n=1000, L=2, γ0=0.92, 50 samples

bpabprbp b=0arbp b=0

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

5

10

15

20

25

30

35

40

45

50

Error probability

Num

ber

of c

onve

rgen

ce to

a c

odew

ord

Comparison betwenn BP, RBP, ABP algorithm n=1000, L=2, γ0=0.92, 50 samples

bpabprbp b=0arbp b=0

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 28 / 38

Page 34: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Algorithme ABP Conclusion

ConclusionsMéthode efficace

Peut s’utiliser sur le RBP et améliore les performances

Inconvénient : Ralentissement du décodeur à cause de la procédure desélection et de saturation

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 29 / 38

Page 35: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Scheduling

Plan

1 Contexte : Information adjecentecompressée

2 Définitions

3 Algorithme RBP

4 Algorithme ABP

5 SchedulingB Scheduling proposéB Scheduling proposé parBeermann et al.B Conclusion

6 Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 30 / 38

Page 36: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Scheduling Scheduling proposé

SchedulingTirage aléatoire d’un noeud de parité

Calcul de V = v ∈ N (c)

Mise à jour des messagesµc→v , ∀v ∈ V

Mise à jour des messagesµv→c , ∀v ∈ V

Calcul de C = c ∈ N (v) , ∀v ∈ V

Tirage aléatoire d’un noeud de paritédans C

0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.10

5

10

15

20

25

30

35

40

45

50

Error probabilityN

umbe

r of

con

verg

ence

to a

cod

ewor

d

RBP with scheduling, n=1000, γ0=0.92, 50 samples

RBPRBP with scheduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 31 / 38

Page 37: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Scheduling Scheduling proposé par Beermann et al.

SchedulingProposé par Beermann et al. (basé sur les travaux de Mao, Zhang et Sharon) 1

Calcul du girth local gn et du plus long cycle dans le graphe gmax

Calcul de p[g]n = gn

gmax

1. M. Beermann, L. Schmalen and P. Vary, "Improved decoding of binary and non-binary LDPC codes by probabilisticshuffled belief propagation", Communications ICC, IEEE International Conference on, pp. 1-5, 2011

Algorithm 1 Scheduling1: Compute p[g]

n2: for i → maxiter do3: for n→ N do4: ∀c ∈ N (vn), µ

(i)vn→c = µ

(i−1)vn→c with probability 1−p[g]

n

5: ∀c ∈ N (vn), µ(i)c→vn = µ

(i−1)c→vn with probability 1−p[g]

n6: end for7: for n→ N do8: Compute all missing incoming messages to vn9: Compute all missing outgoing messages from vn

10: end for11: end for

0 0.05 0.1 0.15 0.20

5

10

15

20

25

30

Error probability

Co

nve

rge

nce

To a codeword

Pseudo−convergence

With scgeduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 32 / 38

Page 38: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Scheduling Conclusion

ConclusionsMéthode performante

Méthode pouvant être utilisée pour tout décodeur itératif

Deuxième scheduling très efficace mais calcul des girths et du cycle max trèslent

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 33 / 38

Page 39: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives

Plan

1 Contexte : Information adjecentecompressée

2 Définitions

3 Algorithme RBP

4 Algorithme ABP

5 Scheduling

6 Conclusion et perspectivesB Comparaison des méthodesproposéesB Conclusion et perspectives

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 34 / 38

Page 40: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives Comparaison des méthodes proposées

Paramètres de simulationN = 1000, rate = 1/2, q = 16RBP : itermax = 300, γ0 = 0.92, γ1 = 1, b = 0, nbtrials = 5ABP : nbiter/step = 30

Error probability 0.08 0.09 0.1Nb success BP 33 8 2

Nb success ABP 42 13 0Nb iter ABP 73.88 72.2 max

Nb success RBP 31 7 1Nb success ARBP 43 12 0

Nb iter ARBP 76.81 80.2 max

TABLE: Comparaison BP/ABP, RBP/ARBP

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 35 / 38

Page 41: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives Comparaison des méthodes proposées

Paramètres de simulationN = 1000, rate = 1/2, q = 16RBP : itermax = 300, γ0 = 0.92, γ1 = 1, b = 0, nbtrials = 5ABP : nbiter/step = 30

Error probability 0.08 0.09 0.1 0.12 0.14 0.16 0.18Nb of success 23 5 0 0 0 0 0

Nb iter success (RBP) 24.52 33.4 max max max max max

Nb of pseudo-convergence 4 4 10 8 12 10 9Nb iter pseudo (RBP) 162 178.5 151.6 143.25 172.5 167 164.88

Nb of success with scheduling1 26 7 0 0 0 0 0Nb iter scheduling1 (RBP) 149.66 47 max max max max max

Nb trials 3.33 2.5 max max max max max

Nb of success with scheduling2 30 30 30 30 18 3 0Nb iter scheduling2 (RBP) 1222 1286.4 1527.6 2029.9 3210.8 5061 max

Nb trials 2 2 2 2 2.11 2.33 max

TABLE: Comparaison entre les deux scheduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 36 / 38

Page 42: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives Comparaison des méthodes proposées

Paramètres de simulationN = 1000, rate = 1/2, q = 16RBP : itermax = 300, γ0 = 0.92, γ1 = 1, b = 0, nbtrials = 5ABP : nbiter/step = 30

Error probability 0.08 0.09 0.1 0.12 0.14 0.16 0.18Nb of success 23 5 0 0 0 0 0

Nb iter success (RBP) 24.52 33.4 max max max max max

Nb of pseudo-convergence 4 4 10 8 12 10 9Nb iter pseudo (RBP) 162 178.5 151.6 143.25 172.5 167 164.88

Nb of success with scheduling1 26 7 0 0 0 0 0Nb iter scheduling1 (RBP) 149.66 47 max max max max max

Nb trials 3.33 2.5 max max max max max

Nb of success with scheduling2 30 30 30 30 18 3 0Nb iter scheduling2 (RBP) 1222 1286.4 1527.6 2029.9 3210.8 5061 max

Nb trials 2 2 2 2 2.11 2.33 max

TABLE: Comparaison entre les deux scheduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 36 / 38

Page 43: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives Comparaison des méthodes proposées

Paramètres de simulationN = 1000, rate = 1/2, q = 16RBP : itermax = 300, γ0 = 0.92, γ1 = 1, b = 0, nbtrials = 5ABP : nbiter/step = 30

Error probability 0.08 0.09 0.1 0.12 0.14 0.16 0.18Nb of success 23 5 0 0 0 0 0

Nb iter success (RBP) 24.52 33.4 max max max max max

Nb of pseudo-convergence 4 4 10 8 12 10 9Nb iter pseudo (RBP) 162 178.5 151.6 143.25 172.5 167 164.88

Nb of success with scheduling1 26 7 0 0 0 0 0Nb iter scheduling1 (RBP) 149.66 47 max max max max max

Nb trials 3.33 2.5 max max max max max

Nb of success with scheduling2 30 30 30 30 18 3 0Nb iter scheduling2 (RBP) 1222 1286.4 1527.6 2029.9 3210.8 5061 max

Nb trials 2 2 2 2 2.11 2.33 max

TABLE: Comparaison entre les deux scheduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 36 / 38

Page 44: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives Comparaison des méthodes proposées

Paramètres de simulationN = 1000, rate = 1/2, q = 16RBP : itermax = 300, γ0 = 0.92, γ1 = 1, b = 0, nbtrials = 5ABP : nbiter/step = 30

Error probability 0.08 0.09 0.1 0.12 0.14 0.16 0.18Nb of success 23 5 0 0 0 0 0

Nb iter success (RBP) 24.52 33.4 max max max max max

Nb of pseudo-convergence 4 4 10 8 12 10 9Nb iter pseudo (RBP) 162 178.5 151.6 143.25 172.5 167 164.88

Nb of success with scheduling1 26 7 0 0 0 0 0Nb iter scheduling1 (RBP) 149.66 47 max max max max max

Nb trials 3.33 2.5 max max max max max

Nb of success with scheduling2 30 30 30 30 18 3 0Nb iter scheduling2 (RBP) 1222 1286.4 1527.6 2029.9 3210.8 5061 max

Nb trials 2 2 2 2 2.11 2.33 max

TABLE: Comparaison entre les deux scheduling

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 36 / 38

Page 45: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives Conclusion et perspectives

ConclusionCompression possible avec des codes LDPC et décodage itératif

Importance de rajouter de l’aléatoire dans les processus itératif

ContributionsÉtude de l’influence des paramètres du RBP sur la convergence

Adaptation du ABP au cas non binaire

Efficacité du scheduling basé sur le graphe de Tanner

PerspectivesIntégrer ces méthodes aux systèmes avec information adjacente compressée

Identifier comment utiliser au mieux l’information adjacente

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 37 / 38

Page 46: Codes LDPC non-binaires pour le codage de source · Codes LDPC non-binaires pour le codage de source Anne SAVARD Encadrant : Claudio WEIDMANN ETIS / ENSEA - Université de Cergy-Pontoise

Conclusion et perspectives

Merci de votre attention.Questions ?

Codes LDPC non-binaires pour le codage de source | A.SAVARD | 8 octobre 2012 38 / 38