GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と最近の成果...

グラフ信号処理の基礎理論と最近の成果

田中雄一東京農工大学大学院工学研究院科学技術振興機構さきがけ

[email protected]

電子情報通信学会情報理論研究会（若手研究者のための講演会）

Y. Tanaka (TUAT/JST PRESTO): Graph signal processing

Outline★ 背景と目的 ★ グラフとグラフ信号，グラフフーリエ変換 ★ グラフ信号のサンプリング ★ グラフ信号のフィルタリング・グラフウェーブレット ★ Hot topic・まとめ

2



3


背景★ 現代社会は信号情報処理技術なしに存在できない

★ 鍵：周波数を基準としたスパース（疎）表現 ★ データ（＝信号）は「滑らか」であるという知識 ★ できるだけ少数の基底（辞書）でデータをうまく表したい

4

FFT（高速フーリエ変換）

JPEG・MPEG

圧縮センシングKLT (PCA)

ブラインド音源分離

DFT

IDFT空間（時間）領域周波数領域

適応フィルタMIMO ウェーブレット変換超解像

ノイズ除去


背景★ 時間―周波数変換の仮定

ディジタル信号の各要素は格子点上に存在する＝サンプリング周期が一定

★ ex. 音声，画像… ★ 複雑な構造を持つデータの遍在

★ センサネットワーク（IoT） ★ ソーシャル・交通・電力・神経ネットワーク ★ コンピュータビジョン・グラフィックス ★ 分子構造 ★ 機械学習

5

★ 仮定がなりたたない ★ データが大規模なことが多い


背景★ 信号情報処理の課題

6

Frequency index0 100 200 300 400 500

DFT

spe

ctru

m

0

5

10

15

20

25

DFT

IDFT

空間領域（センサデータ）

周波数領域：スパースにならない！

そのままではできないので，センサのインデックス順に信号を整列させてDFT

複雑な構造を持つ大規模データを，人間やAIによる意思決定に資するクオリティにするには？

→雑音・欠損・劣化への対処


背景★ 信号情報処理の課題

6

Frequency index0 100 200 300 400 500

DFT

spe

ctru

m

0

5

10

15

20

25

DFT

IDFT

空間領域（センサデータ）

周波数領域：スパースにならない！

そのままではできないので，センサのインデックス順に信号を整列させてDFT

複雑な構造を持つ大規模データを，人間やAIによる意思決定に資するクオリティにするには？

→雑音・欠損・劣化への対処

センサ（ビッグ）データのための信号情報処理技術の必要性


目的

★ 信号処理の立場からセンサビッグデータを捉える ★ 従来の信号（音声，画像 etc.）との違い

★ センサ/ユーザ間の複雑な関係，莫大なデータ量 ★ ネットワーク上のデータからの特徴抽出・知識発見

★ 計算機科学分野が中心

7

自然言語処理機械学習パターン認識最適化

→グラフ信号処理センサ（人・モノ）と情報をつなぐための信号処理理論


目的

★ 信号処理の立場からセンサビッグデータを捉える ★ 従来の信号（音声，画像 etc.）との違い

★ センサ/ユーザ間の複雑な関係，莫大なデータ量 ★ ネットワーク上のデータからの特徴抽出・知識発見

★ 計算機科学分野が中心

7

自然言語処理機械学習パターン認識最適化

→グラフ信号処理センサ（人・モノ）と情報をつなぐための信号処理理論

頂点領域（センサデータ）

Graph frequency (eigenvalue)0 5 10 15

GFT

spe

ctru

m

0

0.2

0.4

0.6

0.8

1 グラフ周波数領域：スパースにできる！

グラフ信号処理：信号の構造を考慮に入れた周波数解析

グラフフーリエ変換

逆グラフフーリエ変換


信号処理とビッグデータ解析★ 複雑・高次元データの頂点―周波数解析

8

ビッグデータのための信号処理

巨大テンソル分解

グラフ信号処理確率的最適化

スパースフーリエ変換

圧縮センシング

基礎理論

応用生体

センサネットワーク

ソーシャルWeb

サンプリング定理信号処理と制御の融合

不確定性原理

グラフ変換・辞書信号処理情報理論

スペクトルグラフ理論

制御調和解析

防災・減災

疫学・医療



9


グラフ★ 頂点（ノード）と辺（エッジ）の集合

★ データの構造を表す ★ グラフの例

★ 交通網（飛行機，鉄道，道路…） ★ ハイパーリンク ★ 電気回路 ★ 対人関係（Facebook, Twitter, Instagram…） ★ 神経網 ★ 電力網 ★ 蛋白質/ゲノム構造

★ 分野 ★ 通信，制御，機械学習，データマイニング，バイオインフォマティクス，コンピュータビジョン・グラフィックス…

10


グラフ信号★ グラフ＋信号

★ 信号値（解析したいもの）＋信号の構造

★ 要素：グラフの頂点 i に対応付けられたスカラー

11

：頂点集合：辺集合

ディジタル信号処理グラフ理論・ネットワーク解析

→ 信号が「滑らか」かどうかが信号値だけで決定できない

滑らかなグラフ信号滑らかでないグラフ信号

信号値が同じでも，構造によって滑らかさが異なる


グラフ信号の例

12

交通網空港の乗降客数＋運航路線交差点の歩行者/自動車数＋道路網

神経網脳波信号＋脳機能領域間ネットワーク

スマートグリッドPMUの指示値＋電力網

インターネットレビューサイトのスコア＋友人関係

学習特徴量＋データ間類似度

CV・CG画素値/座標値＋輪郭・テクスチャ

制御エージェントの状態＋エージェント間ネットワーク


グラフの行列表現★ グラフのスペクトル* の計算に必要 ★ 代表的な行列

★ 隣接行列 (adjacency matrix)

★ 度数行列 (degree matrix)

★ グラフラプラシアン

13

* グラフフーリエ変換（後述）に用いる


グラフの行列表現★ 例

14

グラフの図 (すべての辺の重みは1)


グラフラプラシアン★ グラフ信号処理でよく用いられる

★ 無向グラフ（辺に方向がない関係）を表す ★ 特徴

★ 実対称行列 ⇒ 正規直交行列で対角化可能，実固有値 ★ 固有値が非負*：の行の和が0 → ★ 固有値0の数＝連結グラフの数

★ グラフラプラシアンの固有値分解

15

* は半正定値行列：


グラフフーリエ変換★ おさらい：連続信号に対するフーリエ変換

★ 1次元ラプラス作用素の固有関数によるの展開 ★

★ 固有値：周波数

16

小固有値（周波数）大緩やかに振動固有関数激しく振動


グラフフーリエ変換★ グラフ信号の滑らかさをどのように測るか？

★ グラフラプラシアンの固有ベクトルによる信号の展開 → 固有値：グラフ周波数 → 固有ベクトル：フーリエ基底

17

小固有値（グラフ周波数）大緩やかに振動固有ベクトル激しく振動


グラフフーリエ変換★ グラフフーリエ変換 [Hammond+ ACHA 2011 etc.]

★ グラフ信号と固有ベクトルの内積 ★ 固有ベクトル行列を使うと

★ 逆グラフフーリエ変換

★ 固有ベクトル行列を使うと

18


グラフフーリエ変換

19

Frequency index0 100 200 300 400 500

DFT

spe

ctru

m0

5

10

15

20

25

Graph frequency (eigenvalue)0 5 10 15

GFT

spe

ctru

m

0

0.2

0.4

0.6

0.8

1

グラフフーリ

エ変換

逆グラフフー

リエ変換

離散フーリエ変換逆離散フーリエ変換

頂点領域

グラフ周波数領域

周波数領域


グラフフーリエ変換★ 通常の信号処理との対応

20

通常の信号処理

グラフ信号処理

信号：複雑な構造信号：規則的な構造

対　応

時間（空間）領域

周波数領域

フーリエ変換



グラフフーリエ変換★ グラフフーリエ変換と離散フーリエ変換との関係

★ Ex. Ring graph のグラフラプラシアン

★ 固有ベクトル行列 = DFT行列 ★ 固有値

21

頂点に繋がっている辺の数 (-1) x 辺の重み


グラフフーリエ変換★ GFTと離散コサイン変換との関係

★ Path graph の固有ベクトル: 離散コサイン変換

★ 固有ベクトル：DCT（タイプII）

22



23


グラフ信号のサンプリング★ サンプリング

★ ディジタル信号処理の基本ツール ★ 間引き (decimation) と補間 (interpolation)

★ 間引き＝低域通過フィルタ → ダウンサンプリング

★ 補間＝アップサンプリング → 低域通過フィルタ

★ 低域通過フィルタ：エイリアシングとイメージングを防ぐ

24

低域通過フィルタダウンサンプリング信号

低域通過フィルタアップサンプリング信号


グラフ信号のサンプリング★ おさらい：通常の信号処理でのサンプリング

★ 周波数領域で見ると…

25

LPF D/S入力 U/S LPF 出力(a)

(a)

(b)

(b) (c) (d)

(c)

(d)


グラフ信号のサンプリング★ 時間領域信号のサンプリング：3種類の定義

★ 出てくる信号はすべて同じ

26

時間領域

周波数領域（離散時間フーリエ変換）

周波数領域（DFT）

等間隔にサンプリング

サンプル数 → ∞


グラフ信号のサンプリング★ 簡単のためダウンサンプリングを考える ★ 従来の信号処理と何が違う？

★ 信号数の削減 ★ グラフの縮小

★ グラフの縮小 (graph reduction) ★ 頂点数の削減＋辺の再接続：一意ではない！

★ どの信号値を抽出してどう繋げるか ★ グラフ理論・回路等での研究

★ Graph coarsening ★ Graph coarse-graining

27

を同時に行う必要性


グラフ信号のサンプリング★ Graph reduction で求められる特性（の一部）

28

★ 接続性の保存 ★ 原グラフの構造の保存 ★ 原グラフに存在する辺の保存

★ 縮小したグラフから原グラフが復元可能

★ 効率的に計算可能 ★ 原グラフと縮小グラフの固有ベクトルに関係がある

★ Graph reduction の例 ★ Kron reduction [Dörfler+ 2013] ★ 隣接行列の2乗 [Narang+ 2010] ★ Clustering + reweighting


グラフ信号のサンプリング★ 信号数の削減

★ こちらが通常の信号処理のサンプリングに対応 ★ 頂点領域でのダウンサンプリング

★ 残す頂点上の信号は保存 ★ 残さない頂点上の信号は破棄

29

: 単位行列の部分行列（残す頂点番号に対応する行のみを抜き出す）

cf. 通常の信号処理の場合，

GD1


グラフ信号のサンプリング★ GD1 ~ 時間領域のダウンサンプリング

30


グラフ信号のサンプリング★ グラフ周波数領域でのダウンサンプリング

★ 周波数領域で求められる信号の特性を実現

★ 周波数領域のGFT係数を折り畳んで足し込む

31

GD2

D/S: 帯域幅の拡大 U/S: 帯域幅の縮小 + スペクトルの繰り返し

: 原グラフラプラシアンの固有ベクトル行列 : 縮小グラフラプラシアンの固有ベクトル行列

[T ArXiv 2017]


グラフ信号のサンプリング★ GD2 ~ DFT領域のダウンサンプリング

32

GFT

Fold & add Warpingspectrum


ダウンサンプリングの例

33

0 0.5 1 1.5 2 2.5 3 3.5 4λ

-1

-0.5

0

0.5

1

1.5S

pe

ctru

mDownsampling by two, path graph (N = 100 to 50)

OriginalGD1GD2GD3Eigenvalues of the original graphEigenvalues of the reduced-size graph


ダウンサンプリングの例

34

0 2 4 6 8 10 12 14 16 18λ

-1

-0.5

0

0.5

1

1.5

2S

pe

ctru

mDownsampling by two, random regular graph (N = 100 to 50)

OriginalGD1GD2GD3Eigenvalues of the original graphEigenvalues of the downsampled graph

応用：ラプラシアンピラミッド

35

Analysis

Synthesis

グラフラプラシアンピラミッド★ Synthetic signal

★ Minnesota Traffic Graph (N = 2642) ★ Piecewise smooth

36

-1

-0.5

0

0.5

1

1.5

グラフラプラシアンピラミッド

37

P. E. level: 0

-1

-0.5

0

0.5

1

P. E. level: 1

-1

-0.5

0

0.5

1

P. E. level: 2

-1

-0.5

0

0.5

C. A. level: 0

-1

-0.5

0

0.5

1

1.5

C. A. level: 1

-1

-0.5

0

0.5

1

1.5

C. A. level: 2

-1

-0.5

0

0.5

1

1.5

C. A. level: 3

-1

-0.5

0

0.5

1

1.5

P. E. level: 0

-1

-0.5

0

0.5

1

P. E. level: 1

-1

0

1

2

P. E. level: 2

-2

-1

0

1

2

3

C. A. level: 0

-1

-0.5

0

0.5

1

1.5

C. A. level: 1

-2

-1

0

1

2

C. A. level: 2

-3

-2

-1

0

1

2

3

C. A. level: 3

-4

-2

0

2

4

GLP w/ vertexdomain sampling

GLP w/ spectraldomain sampling

Level 0 1 2 3

P. E.

C. A.

P. E.

C. A.

グラフラプラシアンピラミッド★ Nonlinear approximation

★ Nkept/N = 0.2

38

-1

-0.5

0

0.5

1

1.5

-1

-0.5

0

0.5

1

1.5

GLP w/ vertexdomain sampling

GLP w/ spectraldomain sampling



39


グラフ信号のフィルタリング★ おさらい：フィルタリング＝畳込み

→ 信号のシフトが必要 ★ グラフ信号のシフト：問題点

★ 近隣インデックス ≠ 隣接頂点 ★ 頂点によって接続されている辺の数が異なる

★ 畳込み ★ 通常の信号処理：周波数領域の信号同士の積（のIDFT）

★ グラフ信号処理：グラフ周波数領域の信号同士の積（のIGFT）

40

滑らかなグラフ信号滑らかでないグラフ信号


グラフ信号のフィルタリング★ グラフ周波数領域でのフィルタリング

41

：射影行列：フィルタカーネル


グラフ信号のフィルタリング★ フィルタカーネル

★ で定義された連続関数 ★ 通常のディジタルフィルタに対応 ★ 注意：グラフによってが異なる

42

Eigenvalue0 1 2 3 4 5 6 7

GFT

Spe

ctru

m

-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

4

フィルタカーネル


グラフ信号のフィルタリング★ 例

43

GFT IGFT

LPF


GFT

Spe

ctru

m

0

2

4

6

8

10


GFT

Spe

ctru

m

0

2

4

6

8

10


グラフ信号のフィルタリング★ 例

43

GFT IGFT

LPF


GFT

Spe

ctru

m

0

2

4

6

8

10


GFT

Spe

ctru

m

0

2

4

6

8

10頂点ごとにフィルタ係数が異なる


グラフウェーブレット・フィルタバンク★ 基底/フレームによるグラフ信号の分析・合成 ★ 代表的なグラフウェーブレット・フィルタバンク

★ 非間引き型グラフフィルタバンク（サンプリングなし） ★ Spectral graph wavelets (SGWT) [Hammond+ 2011] ★ Tight graph wavelets [Leonardi+ 2013], [Shuman+ 2014]

★ 最大間引き型グラフフィルタバンク（サンプリングあり） ★ 2分割グラフウェーブレット [Narang+ 2012, 2013]

★ 過完備型グラフフィルタバンク（サンプリングあり，過完備） ★ M分割グラフフィルタバンク [Tanaka+ 2014]

44


グラフウェーブレット・フィルタバンク★ 求められる条件

★ 完全再構成 ★ 何も変換係数に処理をしない場合

★ 固有値分布や最大周波数によらず，信号を適切に変換できる ★ 通常の信号処理： , グラフ信号処理：

★ 分割側と合成側の構造が対称であること ★ 通常の信号処理との違い

★ サンプリングが一意ではない（前述） ★ 最大グラフ周波数がグラフによって異なる

45


グラフフィルタバンク★ 例

46

0 2 4 6 8 10 120

0.5

1

1.5

2

2.5

λ

|Hk(λ

)|

Ideal Characteristic: SGWT

0 2 4 6 8 10 120

0.2

0.4

0.6

0.8

1

1.2

1.4

λ

|Hk(λ

)|

Ideal Characteristic: Tight−Meyer

[Hammond et al. 2011] Spectral graph wavelet with cubic splines

[Leonardi et al. 2013] Tight graph wavelet with Meyer- like kernels


2分割グラフウェーブレット★ graph-QMF

★ 直交フィルタ

47

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2−0.5

0

0.5

1

1.5

2

2.5

λ

Hk(λ)

(a) graph−QMF

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2−0.5

0

0.5

1

1.5

2

2.5

λ

Hk(λ)

(b) graphBior

★ graphBior ★ 双直交フィルタ


周波数領域→グラフ周波数領域★ 今までの方法

★ グラフ信号処理のために定式化→フィルタ設計 ★ めんどくさい！ ★ これまでの信号処理の知見（＝フィルタバンク）を活かせないか

★ フィルタバンクの「転換」[Sakiyama+ 2016] ★ 周波数領域のフィルタをグラフ周波数領域へ ★ グラフ周波数特性が正弦波の和：多項式近似しやすい

48

離散時間フーリエ変換

変調実数化

フィルタ係数（時間領域）

グラフフィルタ


周波数領域→グラフ周波数領域★ 例：最大間引き型

★ サブバンド信号数＝原信号数

49

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

0.5

1

1.5

2

2.5

λ0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

0

0.5

1

1.5

2

2.5

λ


周波数領域→グラフ周波数領域★ 例：非間引き型

★ サブバンド信号数＝原信号数×M

50

0 2 4 6 8 10 120

0.2

0.4

0.6

0.8

1

1.2

1.4

λ

|Hk(λ)|

Ideal Characteristic: DCT−GFB

0 2 4 6 8 10 120

0.2

0.4

0.6

0.8

1

1.2

1.4

λ

|Hk(λ)|

Ideal Characteristic: LOT−GFB


周波数領域→グラフ周波数領域★ グラフ信号の分解

51

頂点領域



周波数領域→グラフ周波数領域★ 分解結果

52


周波数領域→グラフ周波数領域★ ノイズ除去

53

SAKIYAMA et al.: SPECTRAL GRAPH WAVELETS AND FILTER BANKS WITH LOW APPROXIMATION ERROR 13

Fig. 10. Original graph signals. (a) Minnesota Traffic Graph (Example 1). The signal was reproduced from the MATLAB code by Narang and Ortega [32].(b) Minnesota Traffic Graph (Example 2). The signal is obtained by dividing nodes into three clusters and calculating the signal so that each cluster contains thegraph spectrum [0.06, 0.08], [0.3, 0.5], [3.2, 3.7], respectively, as in [30]. (c) Yale Coat of Arms. The signals of Figs. (c) and (d) were created by using SGWTtoolbox [13]. (d) Swiss Roll.

TABLE VDENOISED RESULTS (AVERAGE OF TEN EXECUTIONS): SNR (DB)

Fig. 11. Coins image.

C. Non-Linear Approximation

In the non-linear approximation, we compared the CS-9/7-FCand CS-5/3-FC with CDF 9/7 DWT for regular signals, CS-QMF[32], and CS-SF with (5,5)-taps [33]. The original signals of theMinnesota Traffic Graph (Examples 1 and 2) and the Coinsimage are shown in Figs. 10(a), (b) and 11. All graph-based

transforms had a filter length of p = 10, for a fair comparisonof filter performance, and used edge-aware image graphs forthe Coins image [67]. Note that the CDF 9/7 for regular sig-nals is not an edge-aware transform. After a four-level (for theCoins image) or one-level decomposition11 (for the MinnesotaTraffic Graph), the input signal was reconstructed from all low-pass coefficients and some fraction of the highpass coefficients.Table VI shows PSNR and SNR together with the fraction ofhighpass coefficients. The table shows that the proposed criti-cally sampled spectral graph wavelet transforms outperformedthe other methods on all signals. Since the CS-5/3-FCs canbe exactly approximated at low order, it is very localized in

11Since the edge-aware image graphs and the Minnesota Traffic Graph arefour-colorable and three-colorable graphs, respectively, they can be decomposedinto two bipartite subgraphs before applying the two-dimensional criticallysampled spectral graph wavelet transforms [32], [61].


















フィルタバンク＋グラフ周波数領域でのサンプリング★ 2分割グラフウェーブレット

★ 従来の構造 [Narang+ 2012, 2013], [Sakiyama+ 2016], [Tay+ 2017], etc.

★ 新しい構造 [Watanabe+ 2017]

54

Analysis bank Synthesis bank Analysis bank Synthesis bank

Fig. 3. CS graph filter banks. Left: Graph filter bank with vertex domain sampling. Right: Graph filter bank with spectral domain sampling.

vertices in G are divided into two disjoint sets L and H. We callthe vertices in L the lowpass channel and those in H the highpasschannel, for the sake of convenience. The number of signals in eachchannel is determined on the basis of the graph-coloring result. Fig.3 illustrates the entire transformation for one bipartite graph.

Similar to the regular signals, the downsampling and upsamplingoperators can be defined as follows:

Sd,0 = IL 2 {0, 1}|L|⇥N , Su,0 = S>d,0

Sd,1 = IH 2 {0, 1}|H|⇥N , Su,1 = S>d,1

(5)

where IL (IH) is a submatrix of IN whose rows correspond to theindices of L (H). Sampled signal can be represented as fd,0 =Sd,0f and so on.

The CS graph filter banks with vertex domain sampling [14, 15]are designed to satisfy the following perfect reconstruction condi-tion:

Tv = G0Su,0Sd,0H0 +G1Su,1Sd,1H1

= G0H0 +G1H1 � (G0Su,1Sd,1H0 +G1Su,0Sd,0H1)

= c2IN . (6)

where c is an arbitrary real number, Hk = UHk(⇤)U> is the kthfilter in the analysis bank, and Gk = UGk(⇤)U> is one in thesynthesis bank, in which

Hk(⇤) = diag(Hk(�0), Hk(�1), . . . , Hk(�N�1))

Gk(⇤) = diag(Gk(�0), Gk(�1), . . . , Gk(�N�1)).(7)

For perfect reconstruction, the spectral folding term in (6) must bezero. As a result, the CS graph filter bank with the vertex domainsampling must satisfy the following conditions:

G0(�)H0(�) +G1(�)H1(�) = c2

G0(�)H0(2� �)�G1(�)H1(2� �) = 0.(8)

Based on this perfect reconstruction condition, several methods foryielding (near) perfect reconstruction graph filter banks have beenproposed [14, 15, 21, 25, 30].

4. CS GRAPH FILTER BANKS WITH SPECTRAL DOMAINSAMPLING

4.1. Framework

The proposed CSSGFB is shown in Fig. 3. As in the graph filterbanks for bipartite graphs [14,15], it contains analysis and synthesisfilters, downsampling, and upsampling. It is also similar to its clas-sical signal processing counterpart. However, the definitions of sam-pling are different from the conventional approach, i.e., our methodis fully designed in the graph spectral domain. Additionally, we do

not make any assumptions on the graph used and the normalizedgraph Laplacian does not have to be used.

Sampling matrices in the spectral domain are defined as

eSd,0 =⇥IN/2 JN/2

⇤>, eSu,0 = eS>

d,0

eSd,1 =⇥IN/2 �JN/2

⇤>, eSu,1 = eS>

d,1.(9)

The downsampling and upsampling matrices for the lowpass branchare the same as the original spectral domain sampling (GD2) and(GU2) introduced in Section 2.2, whereas those in the highpassbranch are their modulated versions. As a result, signals after theanalysis and synthesis transforms are, respectively, represented asfollows.

fk = U1,keSd,kHk(⇤)U>

0 f

bfk = U0Gk(⇤)eSu,kU>1,kfk,

(10)

where U1,k is an arbitrary eigenvector matrix for the kth subband.Since our framework is fully designed in the spectral domain, U1,k

is usually not required. Additionally, for multi-level transform, thetransformed coefficients are not required to transform back into thevertex domain in each level. This is because the inverse GFT of theprevious level and the GFT in the current level is cancelled. If oneneeds the vertex domain coefficients in each branch, they can be ob-tained by appropriately defining the graph (and the graph Laplacian)of the corresponding size.

4.2. Perfect Reconstruction Condition

From the above structure, the perfect reconstruction condition is ex-pressed as follows.

Theorem 1. The two-channel CSSGFB defined in the previous sub-section is a perfect reconstruction transform, i.e., bf = c2f wherec is an arbitrary real number, if the graph spectral responses of thefilters satisfy the following relationship for all i.

G0(�i)H0(�i) +G1(�i)H1(�i) = c2 (11)G0(�i)H0(�N�i�1)�G1(�i)H1(�N�i�1) = 0. (12)

Proof. From the definition, bf can be written as:

bf =U0G0(⇤)eSu,0eSd,0H0(⇤)U>

0 f

+U0G1(⇤)eSu,1eSd,1H1(⇤)U>

0 f .(13)

Since U0 is an orthogonal matrix, if the transfer matrix

Ts := G0(⇤)eSu,0eSd,0H0(⇤) +G1(⇤)eSu,1

eSd,1H1(⇤) (14)

is the identity matrix (up to scaling factor), the whole transform isperfect reconstruction. By substituting (9) into (14), Ts is rewritten

Analysis bank Synthesis bank Analysis bank Synthesis bank

Fig. 3. CS graph filter banks. Left: Graph filter bank with vertex domain sampling. Right: Graph filter bank with spectral domain sampling.

vertices in G are divided into two disjoint sets L and H. We callthe vertices in L the lowpass channel and those in H the highpasschannel, for the sake of convenience. The number of signals in eachchannel is determined on the basis of the graph-coloring result. Fig.3 illustrates the entire transformation for one bipartite graph.

Similar to the regular signals, the downsampling and upsamplingoperators can be defined as follows:

Sd,0 = IL 2 {0, 1}|L|⇥N , Su,0 = S>d,0

Sd,1 = IH 2 {0, 1}|H|⇥N , Su,1 = S>d,1

(5)

where IL (IH) is a submatrix of IN whose rows correspond to theindices of L (H). Sampled signal can be represented as fd,0 =Sd,0f and so on.

The CS graph filter banks with vertex domain sampling [14, 15]are designed to satisfy the following perfect reconstruction condi-tion:

Tv = G0Su,0Sd,0H0 +G1Su,1Sd,1H1

= G0H0 +G1H1 � (G0Su,1Sd,1H0 +G1Su,0Sd,0H1)

= c2IN . (6)

where c is an arbitrary real number, Hk = UHk(⇤)U> is the kthfilter in the analysis bank, and Gk = UGk(⇤)U> is one in thesynthesis bank, in which

Hk(⇤) = diag(Hk(�0), Hk(�1), . . . , Hk(�N�1))

Gk(⇤) = diag(Gk(�0), Gk(�1), . . . , Gk(�N�1)).(7)

For perfect reconstruction, the spectral folding term in (6) must bezero. As a result, the CS graph filter bank with the vertex domainsampling must satisfy the following conditions:

G0(�)H0(�) +G1(�)H1(�) = c2

G0(�)H0(2� �)�G1(�)H1(2� �) = 0.(8)

Based on this perfect reconstruction condition, several methods foryielding (near) perfect reconstruction graph filter banks have beenproposed [14, 15, 21, 25, 30].

4. CS GRAPH FILTER BANKS WITH SPECTRAL DOMAINSAMPLING

4.1. Framework

The proposed CSSGFB is shown in Fig. 3. As in the graph filterbanks for bipartite graphs [14,15], it contains analysis and synthesisfilters, downsampling, and upsampling. It is also similar to its clas-sical signal processing counterpart. However, the definitions of sam-pling are different from the conventional approach, i.e., our methodis fully designed in the graph spectral domain. Additionally, we do

not make any assumptions on the graph used and the normalizedgraph Laplacian does not have to be used.

Sampling matrices in the spectral domain are defined as

eSd,0 =⇥IN/2 JN/2

⇤>, eSu,0 = eS>

d,0

eSd,1 =⇥IN/2 �JN/2

⇤>, eSu,1 = eS>

d,1.(9)

The downsampling and upsampling matrices for the lowpass branchare the same as the original spectral domain sampling (GD2) and(GU2) introduced in Section 2.2, whereas those in the highpassbranch are their modulated versions. As a result, signals after theanalysis and synthesis transforms are, respectively, represented asfollows.

fk = U1,keSd,kHk(⇤)U>

0 f

bfk = U0Gk(⇤)eSu,kU>1,kfk,

(10)

where U1,k is an arbitrary eigenvector matrix for the kth subband.Since our framework is fully designed in the spectral domain, U1,k

is usually not required. Additionally, for multi-level transform, thetransformed coefficients are not required to transform back into thevertex domain in each level. This is because the inverse GFT of theprevious level and the GFT in the current level is cancelled. If oneneeds the vertex domain coefficients in each branch, they can be ob-tained by appropriately defining the graph (and the graph Laplacian)of the corresponding size.

4.2. Perfect Reconstruction Condition

From the above structure, the perfect reconstruction condition is ex-pressed as follows.

Theorem 1. The two-channel CSSGFB defined in the previous sub-section is a perfect reconstruction transform, i.e., bf = c2f wherec is an arbitrary real number, if the graph spectral responses of thefilters satisfy the following relationship for all i.

G0(�i)H0(�i) +G1(�i)H1(�i) = c2 (11)G0(�i)H0(�N�i�1)�G1(�i)H1(�N�i�1) = 0. (12)

Proof. From the definition, bf can be written as:

bf =U0G0(⇤)eSu,0eSd,0H0(⇤)U>

0 f

+U0G1(⇤)eSu,1eSd,1H1(⇤)U>

0 f .(13)

Since U0 is an orthogonal matrix, if the transfer matrix

Ts := G0(⇤)eSu,0eSd,0H0(⇤) +G1(⇤)eSu,1

eSd,1H1(⇤) (14)

is the identity matrix (up to scaling factor), the whole transform isperfect reconstruction. By substituting (9) into (14), Ts is rewritten

サンプリングの位置が違う


フィルタバンク＋グラフ周波数領域でのサンプリング★ 今までできなかったシステムを実現

★ 最大間引き ★ 対称的な構造で完全再構成可能 ★ どのグラフでもOK

55

0 0.1 0.2 0.3 0.4 0.5 0.6

Fraction of coeffs.

0

5

10

15

20

25

30

SN

R [dB

]

GraphBior

Meyer-CSSGFB (normalized)

Meyer-CSSGFB (combinatorial)

Haar-CSSGFB (normalized)

Haar-CSSGFB (combinatorial)

Ideal-CSSGFB (normalized)

Ideal-CSSGFB (combinatorial)

非線形近似（～圧縮）

0 10 20 30

λ

-0.5

0

0.5

1

Coeffs.

頂点領域




56


その他の理論的発展★ グラフ信号のサンプリング定理 [Chen+ TSP 2015, Anis+ TSP 2016 etc.] ★ グラフ信号の部分集合から原グラフ信号を復元 ★ グラフ信号（離散）から対応する連続信号を復元できる？

★ 理論的にはいくつか検討はあるが… [Pesenson TAMS 2000, Int J Geomath 2015]

★ 不確定性原理 [Agaskar+ TIT 2013, Tsitsvero+ TSP 2016, Perraudin+ ArXiv 2016 etc.] ★ 頂点―グラフ周波数での localization ★ 両領域で信号が localize する場合も（通常の信号処理との違い）

★ 信号値からのグラフの推定 [Dong+ TSP 2016, Egilmez+ JSTSP 2017, Mei+ ICASSP 2015, Kolofolias+ ICASSP 2017, Pasdeloup+ arXiv 2016, Seggara+ arXiv 2016, etc.] ★ 静的/動的グラフの推定

57


応用★ 深層学習 [Bronstein+ SPM 2017, Defferrard+ NIPS 2016, Bruna+ ICLR 2013, etc.]

★ ネットワーク解析，推薦システム，CG/CV・素粒子物理学・分子設計化学・医用画像処理

★ 多チャネル脳波信号処理 [Higashi+ JSTSP 2016, Leonardi+ TSP 2013, etc.] ★ グラフスペクトル領域での制約による特徴抽出

★ センサ配置問題 [Sakiyama+ ICASSP 2016/2017] ★ グラフサンプリング定理

★ 画像処理 [Thanou+ TIP 2016, Hu+ TIP 2015, Zhang+ TIP 2017, Liu+ TIP 2017, etc.] ★ 圧縮，復元，セグメンテーション，フィルタリング

58


まとめ★ 課題

★ 有向グラフのスペクトルとグラフ信号処理との関連 ★ フィルタリング [Sakiyama+ GlobalSIP 2017]・有向グラフのスペクトルグラフ理論 [Yoshida WSDM 2016]…

★ スペクトル領域サンプリング [Tanaka arXiv 2017, Watanabe+ SIPシンポジウム 2017, Shimizu+ SIPシンポジウム 2017]

★ グラフ信号処理に対応する連続領域での信号処理 ★ ネットワーク上での制御理論等，関連領域との理論的繋がり ★ 高速化，大規模データでの実応用

★ データがあれば解析可能：実際の問題にアルゴリズムを調整 ★ 機械学習（含深層学習） ★ 低SNR＋少数データの解析（スモールデータ処理）

59


まとめ★ グラフ信号処理

★ ネットワーク上の信号処理 ★ グラフフーリエ変換により，複雑データを周波数成分へ分解 ★ 基本的な処理・アルゴリズムは揃いつつある

★ フィルタリング（ウェーブレット）・ノイズ除去・補間… ★ 実データを用いた（産業的）応用へ

★ 多業界とのコラボレーション ★ ツールボックス（MATLAB / Python）

★ GSP Toolbox (https://lts2.epfl.ch/gsp/)

60

随時募集中！

GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と最近の成果...

Documents

Transcript of GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と最近の成果...

GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と 最近の成果...

Documents

Transcript of GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と 最近の成果...

GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と最近の成果...

Transcript of GSP SITA2017 websita/forum/article/2018/...グラフ信号処理の基礎理論と最近の成果...