ガウス信念伝搬法 - GaBP: Gaussian Belief...

ガウス信念伝搬法GaBP: Gaussian Belief Propagation

衣斐信介，高橋拓海[email protected]

大阪大学大学院工学研究科SITA2018: 第 41回情報理論とその応用シンポジウム

2018年 12月 19日

S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 1 / 64

目次

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP

5 適応スケールビリーフ

6 多値変調


信号モデル (1)

MIMO通信路

y = Hx + z (1)

送信 (未知)ベクトル: x = [x1, . . . , xM]T

受信 (観測)ベクトル: y =[y1, . . . , yN

]T雑音（誤差）ベクトル: z = [z1, . . . , zN]T

通信路（写像）行列:

H =

h1,1 . . . h1,M...

. . ....

hN,1 . . . hN,M


信号モデル (2)

送信 (未知)ベクトル送信シンボル xm: 集合 X = {χ0, · · · , χq, · · · , χQ−1}の内，一つの要素を等確率（1/Q）でとる送信ベクトル x: 直積集合 XM = {χ0, · · · ,χ j, · · · ,χQM−1}の内，一つの要素を等確率（1/QM）でとる各要素 xm は独立に生起

雑音 (誤差)ベクトル確率密度関数（PDF）は平均ベクトル µ，共分散行列 Ωの N 次元ガウス分布に従う

p (z|µ,Ω) = 1πN |Ω| exp

[−(z − µ)HΩ−1(z − µ)

](2)


信号モデル (3)

受信（観測）ベクトル平均ベクトル µ = Hχ j，共分散行列 Ω = N0IN を仮定通信路行列 Hと雑音分散 N0 の推定は完全（確定値）確率密度関数（PDF）は

py|x(y|χ j

)=

1(πN0)N

exp[−|z − Hχ j|2

N0

](3)

マルチユーザ検出（MUD: Multi-User Detection）受信ベクトル yを観測した上で，送信ベクトル xが何であったかを知りたい！

Given y,H, N0Find x (4)


目次

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP


6 多値変調


最大事後確率（MAP）検出

事後確率（a-posteriori probability）Px|y[χ j|y

]受信ベクトル yを観測した上での，送信ベクトル xが候補ベクトル χ j に一致する確率

例えば，QPSK (X = {χ0, χ1, χ2, χ3})で送信アンテナ数 M が 2本のとき，J = |X|M = 16の候補ベクトルに対する事後確率が存在

最大事後確率 (MAP: Maximum A-posteriori Probability)検出受信機における信号検出の判定誤り率最小化の最適解

x̂ = arg maxχ j∈XM

Px|y[χ j | y

](5)


最尤（ML）検出

ベイズの定理

Px|y[χ j | y

]=

py|x(y | χ j

)Px[χq]

py (y)∝ py|x

(y | χ j

)Px[χ j] (6)

※確率密度関数 py (y)は xに依存しないため定数

最尤検出生起確率 Px[χ j]が等確率の場合：


py|x(y|χ j

)(7)

※対数関数 lnが単調増加関数であることに着目すると，最小ユークリッド距離を探索する問題


ln py|x(y|χ j

)= arg max

χ j∈XM

−∣∣∣y − Hχ j∣∣∣2

N0

= arg minχ j∈XM ∣∣∣y − Hχ j∣∣∣2S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 8 / 64

線形推定

最尤検出の問題点事後確率の全探索の場合，Qと M の値が大きいと，探索数 J = |X|M = QM が膨大なものに

線形空間フィルタ

x̃ =WHy =WHHx +WH z ≜ Ξx + v (8)

フィルタ出力の等価通信路行列は，Ξ =WHH雑音成分の共分散行列は，Ω = Ez{vvH} = N0WWH

MF (Matched Filter)推定： WH = HH

ZF (Zero Forcing)推定： WH =[HHH

]−1HH

MMSE (Minimum MSE)推定： WH = HH[HHH + N0IN

]−1S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 9 / 64

線形推定+最尤検出（1）線形推定ベクトルに基づく最尤検出


px̃|x(x̃|χ j

)= arg min

χ j∈XM

(x̃ − Ξχ j

)HΩ−1

(x̃ − Ξχ j

)(= arg min

χ j∈XM

∣∣∣y − Hχ j∣∣∣2) (9)※上式を用いたとしても，最尤検出の演算量が減るわけではない

近似: Ξ と Ωの非対角成分を無視x̂ = arg min

χ j∈XM

(x̃ − ΞDχ j

)H (ΩD

)−1 (x̃ − ΞDχ j

)= arg min

χ j∈XM

M∑m=1

∣∣∣∣x̃m − ξm,m [χ j]m∣∣∣∣2 (10)x̂m = arg min

χq∈X

∣∣∣x̃m − ξm,mχq∣∣∣2 (総探索数 : MQ) (11)S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 10 / 64

線形推定+最尤検出（2）※確率密度関数を式変形

px̃|x(x̃|χ j

)∝ exp

[−(x̃ − Ξχ j)HΩ−1(x̃ − Ξχ j)

]∝ exp

[2ℜ

{x̃HΩ−1Ξχ j

}− χHj ΞHΩ−1Ξχ j

]≜ exp

[2ℜ

{x̃HΨχ j

}− χHj Υχ j

]ただし，

Φ = Ω−1Ξ, Υ = ΞHΩ−1Ξ (12)

MF

Φ = IM/N0, Υ = HHH/N0 (13)

ZF

Φ = HHH/N0, Υ = HHH/N0 (14)S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 11 / 64

線形推定+最尤検出（3）

特別な場合PSK信号： |xm|2 = EsΥ = HHH/N0 が対角行列

χHj Υχ j = const.

p(x̃|χ j

)∝ exp

[2ℜ

{x̃HΦχ j

}− χHj Υχ j

]∝ exp

[2ℜ

{x̃HΦχ j

}]Φ = HHH/N0 (ZF), Ψ = IM (MF)なので，

PSK信号でかつ G = HHHが対角行列のとき，x̂m = arg min

χq∈Xℜ

{−ϕm,m x̃∗mχq

}(15)


大システム極限 (チャネル硬化効果)

圧縮率 ρ = N/M が定数，hn,m ∼ CN(0, 1)のとき

limN→∞

HHHN= IM (16)


ビット誤り率 (1)

シミュレーション諸元変調方式 QPSK

送信アンテナ数 2, 4, 8, 16受信アンテナ数 128

通信路レイリー通信路推定完全同期完全

MLと ZFの特性が同等：多受信アンテナ数は，演算量低減に有効

圧縮率 N/M が低いと，MF特性は MLと比べて劣化：N が無限大ではない場合，厳密にはグラム行列 HHH が単位行列ではない



送信アンテナ数（空間多重数）が 10以下であれば，ZFの利用が妥当

受信アンテナ数が複数あるのであれば，将来的には，もう少し送信アンテナ数（空間多重数）を増やしたい！！ =>確率伝搬法による多次元信号検出が有効



送信アンテナ数（空間多重数）が 10以下であれば，ZFの利用が妥当受信アンテナ数が複数あるのであれば，将来的には，もう少し送信アンテナ数（空間多重数）を増やしたい！！ =>確率伝搬法による多次元信号検出が有効対数尤度比（LLR）に基づく繰り返し信号処理である PDA（繰り返し 8回）と GaBP（繰り返し 16回）が有効S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 16 / 64

目次

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP


6 多値変調


LLR-GaBPの構成

入力：受信シンボル yn1 SC:ソフトキャンセラ2 LG: LLR生成器3 BG:ビリーフ生成器4 SG:ソフトシンボル生成器

出力：結合 LLR βm

ビットと事前ビリーフ（LLR）

c =[lT1 , . . . , c

Tm, . . . , cTM

]T，　 cm =

[cm,1, . . . , cm,i, . . . , cm,I

]Tln =

[lTn,1, . . . , l

Tn,m, . . . , lTn,M

]T，ln,m =

[ln,m,1, . . . , ln,m,i, . . . , ln,m,I

]TS.IBI (Osaka Univ.) GaBP 2018年 12月 19日 18 / 64

SC:ソフト干渉キャンセラ

受信シンボル

yn = hnx + zn, hn =[hn,1, . . . , hn,m, . . . , hn,M

](17)

ソフト干渉キャンセル

ỹn,m = yn − hn x̌n,m (18)

送信ベクトル xの条件付き期待値（確定値）

x̌n =[x̌n,1, . . . , x̌n,m, . . . , x̌n,M

]T= Ex|ln=ln{x}

=∑χ j∈XM

χ jPx|ln[χ j|ln] (19)

x̌n,m =[x̌n,1, . . . , x̌n,m−1, 0, x̌n,m+1 . . . , x̌n,M

]T (20)S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 19 / 64

LG: LLR生成 (2)

確率密度関数 pỹn,m|xm(ỹn,m | χq

)ソフト干渉キャンセラ出力をガウス近似：ỹn,m = hn,mxm + νn,m

pỹn,m |xm(ỹn,m | χq

)=

1πψn,m

exp[−|ỹn,m − hn,mxm|

2

ψn,m

](24)

ただし，

νn,m = yn − hn x̌n,m = hn(xm − x̌n,m

)+ zn (25)

ψn,m = Exm |ln=ln{Ezn

{|νn,m|2

}}= hn∆n,mhHn + N0 (26)

∆n,m = diag[δn,1, . . . , δn,m−1, 0, δn,m+1, . . . , δn,M

](27)

δn,m = Exm |ln=ln{|xm|2

}− |x̌n,m|2 (= Es − |x̌n,m|2 : PSK) (28)


BG:事前ビリーフ生成 (1)

グレイ符号化 QPSKの場合αn,m,1 = ωn,mℜ

{h∗n,mỹn,m

}(31)

αn,m,2 = ωn,mℑ{h∗n,mỹn,m

}(32)

ωn,m =2√

2Eshn∆n,mhHn + N0

(33)

結合 LLR（受信ダイバーシチ合成）

βm,i =

N∑n=1

αn,m,i (34)

無符号化： βm,i を硬判定して，ビットの検出値 ĉm,i を得る符号化： βm,i を通信路復号器に入力



SID (Self Iterative Detection)外部ビリーフ

λn,m,i = βm,i − αn,m,i (35)ダンピング（制振）処理

ln,m,i = ηλ(k)n,m,i + (1 − η)λ

(k−1)n,m,i , (0 < η ≤ 1) (36)

ただし，λ(k)n,m,i は繰り返し数 k 回目で得られる λn,m,i

IDD (Iterative Detection and Decoding)βm,i の結合 LLR系列を通信路復号器に入力し，その出力であるLLRを SIDの βm,i に置き換えて，SIDと同様の処理


SG:ソフトシンボル（条件付き期待値）生成

演算量（QM）そもそも演算量が MLDと同等

x̌n = Ex|ln=ln{x} =∑χ j∈XM

χ jPx|ln[χ j|ln] (37)

仮定：グレイ符号 QPSKを利用事前 LLR ln,m,1, ln,m,2 のランダム成分が独立一貫性条件を満たすガウス分布： ln,m,i = µn,m(2cm,i − 1) + νn,m（νn,m の分散が 2µn,m）

計算量 (MN)

x̌n,m =

√Es2

(tanh

[ln,m,1

2

]+ j tanh

[ln,m,2

2

])(38)


目次

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP


6 多値変調


MF-GaBPの構成

問題点そもそも大システム極限が成り立たない場合，GaBPで用いた近似が成り立たない...LLRを頑張って求めたとしても，恩恵が得られるか？

代替策LLRの代わりに，整合フィルタ出力を使う

1 SC:ソフトキャンセラ2 MF:整合フィルタ3 BG:ビリーフ生成器4 SG:ソフトシンボル生成器


MF:整合フィルタ，BG:事前ビリーフ生成 (1)

MFビリーフ (確率のようなガウス性の信念)

αn,m = h∗n,mỹn,m, βm =N∑

n=1

αn,m (39)

βm を硬判定することで，送信シンボルの検出値 x̂m を得るβm の尤度関数から LLRを算出し，通信路復号器へ入力する

事前ビリーフ生成

ln,m = βm − αn,m (40)

　外部値を用いることで，繰り返し検出の収束特性が改善可能



事前ビリーフベクトル

ln =[βn,1, . . . , βn,m, . . . , βn,M

]T= (Θn − Γn) x + ϕn (41)

ただし，Θn =

N∑i=1,i,n

hHi hi = HHH − hHn hn, (42)

Γn =N∑

i=1,i,n

Λi∆i (43)

※ Λi は hHi hi の対角成分を 0と置いた，非対角成分のみを持つ行列∆n = diag

[x̌n,1x1, . . . ,

x̌n,mxm

, . . . ,x̌n,MxM

](44)

ϕn =N∑

i=1,i,n

hHi zi (45)


BG:事前ビリーフ生成 (3)等価雑音成分の共分散行列：

E{ϕnϕ

Hn

}= N0

N∑i=1,i,n

hHi hi = N0Θn (46)

確率密度関数

pln |x(ln|χ j) ∝ exp[2ℜ

{lHn Ξnχ j

}− χHj Φnχ j

](47)

ただし， Ξn =1

N0Θ−1n (Θn − Γn) (48)

Φn = ΞHn (Θn − Γn) (49)

x̌n = 0のとき， Ξn =1

N0IM, Φn =

1N0Θn (50)

x̌n = xのとき，Ξn =1

N0Θ−1n Θ

Dn , Φn = Ξ

Hn Θ

Dn (51)

※ ΘDn は Θn の対角成分のみを抽出した対角行列S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 30 / 64

SG:ソフトシンボル生成 (1)

大システム極限

limN→∞

{Θn

N − 1

}= lim

N→∞

{HHH − hHn hn

N − 1

}= IM (52)

この対角化効果により，

Ξn ≈1

N0IM, Φn ≈

N − 1N0

IM (53)

その結果，

ソフトシンボル生成

x̌n =∑χ j∈XM

χ jexp

[2

N0ℜ

{lHn χ j

}]∑χ′j∈XM exp

[2

N0ℜ

{lHn χ′j

}] (54)S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 31 / 64

SG:ソフトシンボル生成 (2)

ソフトシンボル（低演算量）

x̌n,m =

√Es2

(tanh

[l′In,m

]+ j tanh

[l′Qn,m

])(55)

l′In,m =√

2EsN0ℜ {ln,m} , l′Qn,m = √2EsN0 ℑ {ln,m} (56)

注意Θの対角近似精度が十分であれば式（56）を利用可能Θが完全に対角行列であれば，もはや GaBPの必要はなく MF推定で十分GaBPを用いることで，ある程度の非対角成分を許容可能


目次

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP


6 多値変調


ビリーフのモデル誤差と外れ値

GaBPの問題点受信アンテナ素子数の減少およびフェージング相関による通信路硬化効果の弱化

ビリーフのモデル誤差に起因して生成関数でつくったソフトシンボルレプリカが条件付き期待値から乖離

影響緩和にはビリーフのダンピング，スケーリング，ノード選択が有効S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 34 / 64

適応スケールビリーフ (ASB: adaptively scaled belief) (1)

事前ビリーフのガウス信号表現

l′n,m = l′In,m + jl

′Qn,m = ωn,mxm + κn,m (57)

利得 ωn,m =√

2EsN0

∑Ni=1,i,n |hi,m|2,雑音 κn,m =

√2EsN0

∑Ni=1,i,n h

∗i,mνi,m

雑音 κn,m の異常強調が発生 ->誤った硬判定レプリカ

ビリーフスケーリング典型的なスケーリング：

l′′n,m = b · l′n,m = bωn,m ·[xm + ϕn,m

], ϕn,m =

κn,m

ωn,m(58)

適応スケーリング：Hによるランダム変動を正規化により安定化した後に aによりスケーリング

l′′n,m =a

cωn,m· l′n,m =

ac· [xm + ϕn,m] , c = √Es (59)


適応スケールビリーフ (2)

シンボルレプリカとスケーリングパラメータ aの関係性



パラメータ aの動的設定

a = f (k) = 1 +kK

(60)

K: 繰り返し回数k : 繰り返しインデックス


ノード選択法

通信路行列が有相関 MIMOの場合には，

β(k′−1 ,t)

n,m =∑

i∈At\{n}α(k

′−1)i,m +

∑j∈Bt\{n}

α(k′)

j,m (61)

At: 未更新ノードインデックスの集合Bt: 更新済みノードインデックスの集合

ビリーフ更新のスケジューリング各セット内の空間相関の影響が小さくなるように分類し，そのセットごとにビリーフを順次更新することで空間相関の影響を緩和


シミュレーション諸元

Parameter ValuesMIMO antenna configuration (M,N) = ( 25, 25 ), ( 36, 36 )

Modulation Gray-coded QPSKChannel code Not utilized

Num. of GaBP iterations 16Channel model Quasi-Static Rayleigh Channel

( ρ = 0.5 )Channel estimation Perfect

※有相関通信路にはクロネッカーモデルを用いる√N ×√

N の正方配置隣り合うアンテナ素子間の相関係数は ρ=0.5相関強度は距離に対して指数的に減少


ビット誤り率特性

※青：25 × 25，橙 36 × 36

MMSE:ベースライン

Expectation Propagation (EP) :逆行列演算を用いる強力なBP(ただし，ダンピング無し)



※青：25 × 25，橙 36 × 36



従来の MF-GaBP



※青：25 × 25，橙 36 × 36



MF-GaBP

GaBP w/ Typical scaling :従来の SNRごとに最適化した固定スケーリング手法を適用



※青：25 × 25，橙 36 × 36



MF-GaBP

GaBP w/ Typical scaling :従来の SNRごとに最適化した固定スケーリング手法を適用

GaBP w/ ASB: ASBを適用


BER=10−5を満たすための所要 Es/N0

MMSE :ベースライン



GaBP: GaBP w/o ASB



GaBP w/ ASB (a = 1.5): スケーリングパラメータを固定した場合の ASB



GaBP w/ ASB ( linear ): 動的な線形基準でパラメータを変化させた場合の ASB


計算量

MF-GaBPはEPの約 1～2%程度の演算量にもかかわらず，ASBを適用することで EPより良好な特性を達成できる


目次

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP


6 多値変調


高多値変調（LLR-GaBP）

問題点：ビット間相関による対角近似精度の低下周波数利用効率の向上には 16QAM以上の多値変調は必須1つの送信シンボルに含まれるビット間でビリーフに強い相関が生じる (ビット間相関)

送信ベクトルx = AbA: 変調行列b: 両極性ビット受信ベクトルy = HAb + z≜ H′b + z

H′: 等価通信路行列


シンボル尤度伝搬（2）

問題点ガウス近似の精度が十分でない場合，ビリーフに深刻なモデル誤差が生じ，検出性能が低下（このままの形では ASBを適用できない）

ソフトシンボル生成の演算量が Qに伴い指数的に増加


事前ビリーフの再定義

BG:事前ビリーフ βn,m(χq)

pln,m |Xm(ln,m|χq

)∝ exp

− N∑i=1, i,n

∣∣∣ỹi,m − hi,mχq∣∣∣2ψi,m

∝ exp [βn,m(χq)](66)に基づき，

βn,m(χq) =N∑

i=1, i,n

2ℜ{χ∗qh

∗i,mỹi,m

}− |hi,m|2|χq|2

ψi,m(67)

SG:ソフトシンボル生成

x̌n,m =∑χq∈X

χqexp

[βn,m(χq)

]∑χ′q∈X exp

[βn,m(χ′q)

] (68)再定義事前ビリーフ βn,m(χq)を介して信念伝搬法を動作していると解釈


適応スケールビリーフ

BG:適応スケールビリーフ事前ビリーフのガウス信号表現

βn,m(χq) = χq

[(xm −

12χq

)ωn,m + κn,m

], ωn,m =

N∑i=1, i,n

2|hi,m|2ψi,m

(69)

瞬時通信路状態に応じたスケーリング

β′n,m(χq) =a

c2ωn,m· βn,m(χq)(70)

c =√

Es/10 (16QAM)

パラメータ aの更新


シミュレーション諸元

Parameter ValuesMIMO antenna configuration (M,N) = ( 16, 32 )

Modulation Gray-coded X-QAM(X = 16, 64, 256)

Channel code Not utilizedNum. of GaBP iterations 32

Channel model Quasi-Static Rayleigh ChannelChannel estimation PerfectScaling parameter a Optimized at BER = 10−6



シンボル尤度 GaBP (ASB適用なし) :外れ値に起因してエラーフロアが発生



シンボル尤度 GaBP (ASB適用)



シンボル尤度 GaBP (ASB適用) + tanhに基づくソフトシンボル近似生成関数


まとめ: AMPとどこが違う？ (1)

AMPの更新式

x̂t+1 = ηt(x̂t + HHut

)(71)

ut = y − Hx̂t + 1ρ⟨η′t−1

(HHut−1 + x̂t−1

)⟩ut−1 (72)

ただし，　ここでの通信路係数は hn,m ∼ CN(0, 1/N)また，初期値 x̂0 = 0, u−1 = 0

圧縮率 ρ = N/Mηt(·): 判定関数x̂t ∈ CM: xの仮判定値ut ∈ CM：干渉残留成分



例えば，Onsager項を無視すると

x̂t+1 = ηt(xt + HHut

)(73)

ut = y − Hx̂t (74)

式変形

x̂t+1 = ηt(xt + HH

(y − Hx̂t))

= ηt(xt + HHy − HHHx̂t

)= ηt

(HHy −

(HHH − IM

)x̂t)

(75)

なんとなく，外部ビリーフではなく事後ビリーフを事前ビリーフとしている GaBPに見える?当然，性能は悪い．S.IBI (Osaka Univ.) GaBP 2018年 12月 19日 62 / 64


例えば，大システム極限が成立しない状況（中規模）Onsager項は何らかのダンピングに見える？

x̂t+1 = ηt(xt + HHut

)(76)

ut = y − Hx̂t + atut−1 (77)

AMPと GaBPの直感的な違いAMPの Onsager項の役割を，GaBPでは外部ビリーフ生成とダンピングが担っている

一般的な AMPでは繰り返し毎に 1つのベクトルを返すのに対し，GaBPでは各受信アンテナに異なるビリーフを与える（ノード選択法の適用が可能）

ASB-GaBPは判定関数を繰り返しの度に更新


まとめ

1 信号モデル

2 信号検出

3 LLR-GaBP

4 MF-GaBP


6 多値変調

*5 T.Takahashi, S. Ibi, S. Sampei "Design of Criterion for AdaptivelyScaled Belief in Iterative Large MIMO Detection," IEICE Trans onCommun., Vol.E102-B,No.2, Feb. 2019.*6 T.Takahashi, S. Ibi, S. Sampei "Design of Adaptively Scaled Belief inMulti-Dimensional Signal Detection for Higher-Order Modulation," IEEETransactions on Communications (Early Access).


信号モデル信号検出LLR-GaBPMF-GaBP適応スケールビリーフ多値変調

ガウス信念伝搬法 - GaBP: Gaussian Belief...

Documents

Transcript of ガウス信念伝搬法 - GaBP: Gaussian Belief...