Réseaux et signal : des outils de traitement du signal...

Reseaux et signal : des outils de traitement dusignal pour l’analyse des reseaux

Nicolas Tremblaysous la direction de Pierre Borgnat

Prix de these, GRETSI 2015

Introduction Traitement du signal sur graphe Ondelettes et communautes Analyse multi-echelle Perspectives

Collaborateurs-trices

Mon directeur de these ! : Pierre Borgnat.

ENS Lyon : Patrice Abry, Benjamin Audit, Rasha Boulos, PatrickFlandrin, Benjamin Girault, Paulo Goncalves, Ronan Hamon, PabloJensen, Jean-Francois Pinton, Stephane Roux.

CPT Marseille : Alain Barrat.

Japon : Hiroshi Esaki, Romain Fontugne, Kensuke Fukuda.

Etats-Unis : Arnaud Delorme, Cary Forest, Mark Nornberg.

Etudiants co-encadres : Reda Alami, Remi Menaut,Nathanael Willaime.

N. Tremblay Reseaux et traitement du signal GRETSI, le 9 septembre 2015 1 / 43

Qu’est-ce qu’unreseau ?

Pourquoianalyser des

reseaux ?

Reseauxinformatiques :

lien entre structureet vulnerabilite

reseaux ?

Reseauxbiologiques :

lien entre structure etfonction biologique

reseaux ?

Reseaux dedistribution :

lien entre structureet efficacite

reseaux ?

Reseaux detransport :

lien entre structureet flux de passagers

reseaux ?

Reseaux detransport :

lien entre structureet flux de passagers

Reseaux sociaux :lien entre structure et

vitesse de diffusion(d’une rumeur, d’une

maladie...)

reseaux ?

Premiere etape :modeliser sous forme

de graphes

Commentanalyser un

reseau ?

de graphes

Deuxieme etape :analyser les graphes

obtenus

Commentanalyser un

reseau ?

de graphes

obtenus

Commentanalyser un

reseau ?

. Alice, Bob, et Charlottesont amis.

. Bob et David sontamis.

. Alice, Bob, et Charlottesont amis.

. Bob et David sontamis.

. Alice, Bob, et Charlottese connaissent.

. Bob et David sont tresbons amis.

monde reel monde modelise

reseau : ensemble decomposants interconnectes

graphe : ensemble de nœudsconnectes par des liens

AliceBob

CharlotteDavid

interconnectes

{composants

nœuds

reseau : ensemble decomposants interconnectes

graphe : ensemble de nœudsconnectes par des liens

AliceBob

CharlotteDavid

interconnectes

{composants nœuds

de graphes

obtenus

Commentanalyser un

reseau ?

obtenus

Du signal “classique” au signal sur graphe

J F M A M J J A S O N D−20

0 5 10 15 205

Contributions methodologiques :

• Detection multiechelle decomunautes

• Analyse multi-echelle• Bootstrap de sous-graphes

contraints• EMD sur graphe

Contributions experimentales :

Deploiement Sociopatterns dans deuxcontextes :• une conference scientifique. 342

participants. Une semaine• le laboratoire de Physique de

l’ENS. 100 participants. Deuxsemaines.

Contributions applicatives :

• Sociologie : analyse de reseauxSociopatterns [Phys Rev E ’13],

• Energie : detection automatiqued’anomalies de consommationd’energie [ICASSP ’13, IPSN ’13],

• Biologie : point de vue “reseau”des matrices d’interactionschromosomiques [GRETSI ’15],

• Histoire de l’art : classification detexture de papier photo [SPMAG

’15, GRETSI ’15]

Traitement du signal

Analyse des graphes

Transformée de Fourier sur graphe

Ondelettes sur graphe

Détection multiéchelle

de communautés

Analyse multi-échelle sur graphe

Trois matrices utiles

La matrice d’adjacence : La matrice des forces :

La matrice laplacienne :

0 1 1 01 0 1 11 1 0 00 1 0 0

2 0 0 00 3 0 00 0 2 00 0 0 1

L = S−W =

2 −1 −1 0−1 3 −1 −1−1 −1 2 00 −1 0 1

0 .5 .5 0.5 0 .5 4.5 .5 0 00 4 0 0

1 0 0 00 5 0 00 0 1 00 0 0 4

L = S−W =

1 −.5 −.5 0−.5 5 −.5 −4−.5 −.5 1 0

0 −4 0 4

0 1 0 0 ··· 0 11 0 1 0 ··· 0 00 1 0 1 ··· 0 0...

......

...0 0 0 0 ··· 0 11 0 0 0 ··· 1 0

2 0 0 0 ··· 0 00 2 0 0 ··· 0 00 0 2 0 ··· 0 0...

......

...0 0 0 0 ··· 2 00 0 0 0 ··· 0 2

L = S−W =

2 −1 0 0 ··· 0 −1−1 2 −1 0 ··· 0 00 −1 2 −1 ··· 0 0...

......

...0 0 0 0 ··· 2 −1−1 0 0 0 ··· −1 2

Theoreme classique

Toute matrice circulante de MN(C) estdiagonalisable par la matrice de Fourier classique F :

F =1√N

1 1 1 1 ··· 11 ω ω2 ω3 ··· ωN−1

1 ω2 ω4 ω6 ··· ω2(N−1)

1 ω3 ω6 ω9 ··· ω3(N−1)

......

...1 ωN−1 ω2(N−1) ω3(N−1) ··· ω(N−1)(N−1)

avec ω = exp(−2iπ

N ) la racine n-ieme de l’unite.

id est :les modes de Fourier classiques (les colonnes de F)sont vecteurs propres de toute matrice circulante.

Comment definir une matrice de Fourier sur graphe ?[Sandryhaila, Moura ’13]

Le cas classique :

0 1 0 0 ··· 0 11 0 1 0 ··· 0 00 1 0 1 ··· 0 0...

......

...0 0 0 0 ··· 0 11 0 0 0 ··· 1 0

Par le theoreme : les modes deFourier classiques sont lesvecteurs propres de Wcl

Le cas d’un graphequelconque :

Par analogie : les modes deFourier sont les vecteurs propres

de la matrice d’adjacence W.

Comment definir une matrice de Fourier sur graphe ?[Sandryhaila, Moura ’13]

Le cas classique :

0 1 0 0 ··· 0 11 0 1 0 ··· 0 00 1 0 1 ··· 0 0...

......

...0 0 0 0 ··· 0 11 0 0 0 ··· 1 0

Par le theoreme : les modes deFourier classiques sont lesvecteurs propres de Wcl

de la matrice d’adjacence W.

Comment definir une matrice de Fourier sur graphe ?[Hammond, Shuman, Vandergheynst ’11]

Le cas classique :

2 −1 0 ··· 0 −1−1 2 −1 ··· 0 0...

......

0 0 0 ··· 2 −1−1 0 0 ··· −1 2

Par le theoreme : les modes deFourier classiques sont les

vecteurs propres de Lcl

de la matrice laplacienne L.

Comment definir une matrice de Fourier sur graphe ?[Hammond, Shuman, Vandergheynst ’11]

Le cas classique :

2 −1 0 ··· 0 −1−1 2 −1 ··· 0 0...

......

0 0 0 ··· 2 −1−1 0 0 ··· −1 2

Par le theoreme : les modes deFourier classiques sont les

vecteurs propres de Lcl

de la matrice laplacienne L.

L’analogie choisie

L = IN − S−1/2WS−1/2

Les vecteurs propres :

χ = (χ1|χ2| · · · |χN)

representent une matrice(orthonormee) de Fourier du

graphe.

Les valeurs propres :

0 = λ1 ≤ λ2 ≤ · · · ≤ λN ≤ 2

representent les frequences aucarre de chaque mode de

Fourier χi .

Illustration

Basse Frequence : Haute Frequence :

Phenomene de localisation

Graphe boucle :

0.08 0.33 1.1 1.5 1.97

−0.3

−0.2

−0.1

Graphe comete :

0.02 0.53 1.24 1.28 1.89

13−0.4

−0.2

Phenomene de localisation

Graphe boucle :

0.08 0.33 1.1 1.5 1.97

−0.3

−0.2

−0.1

Graphe comete :

0.02 0.53 1.24 1.28 1.89

13−0.4

−0.2

La transformee de Fourier

• soit f ∈ RN un signal sur un graphe de taille N.

• f est obtenue en decomposant f sur les vecteurs propres χi :

< χ1, f >< χ2, f >< χ3, f >

...< χN , f >

, i.e. f = χ> f

• Reciproquement, la transformee de Fourier inverse s’ecrit :

f = χ f

• Le theoreme de Parseval reste valide : ∀(g , h) < g , h >=< g , h >

Filtrage

Soit une fonction filtre g definiedans l’espace de Fourier.

Dans l’espace de Fourier, le signal filtre par g s’ecrit :

f (1) g(λ1)

f (2) g(λ2)

f (3) g(λ3)...

f (N) g(λN)

= G f avec G =

g(λ1) 0 0 ... 00 g(λ2) 0 ... 00 0 g(λ3) ... 0... ... ... ... ...0 0 0 ... g(λN)

Dans l’espace des nœuds, le signal filtre f g s’ecrit donc :

f g = χ Gχ> f

Les ondelettes classiques

• Classiquement, une ondelette ψest une fonction de carresommable, oscillante et demoyenne nulle.

• Par translation de a et dilatationde s de l’ondelette-mere ψ, onobtient la famille d’ondelettesfilles ψs,a.

Decomposer un signal sur une famille d’ondelettes a desapplications en analyse (singularites, etc. . .), en compression de

donnees (format JPEG, etc. . .), . . .

Les ondelettes classiques

� Une ondelette-fille ψs,a est une translation de a et une dilatationde s de l’ondelette-mere ψ � :

ψs,a(x) =1

(x − a

)⇔ ψs,a(x) =

∫∞−∞ ψ(sω)δa(ω) expiωx dω

• ψ(sω) agit comme un banc de filtres defini en dilatant par unfacteur s le noyau de filtre ψ(ω).

• Le noyau de filtre ψ(ω) est necessairement passe-bande :

• ψ(0) = 0 : la moyenne de ψ est nulle• limω→+∞

ψ(ω) = 0 : ψ est de carre sommable.

Ondelettes classiquespar analogie−−−−−−→ Ondelettes sur graphe

[Hammond et al. ’11]

Monde classique Monde des graphes

Variable reelle x nœud a

Variable de Fourier ω val. propres λi

Noyau de filtre ψ(ω) g(λi)⇔ G

Banc de filtres ψ(sω) g(sλi)⇔ Gs

Modes de Fourier exp−iωx vec. propres χi

Transf. Fourier de f∫∞−∞ f (x) exp−iωx dx χ> f

L’ondelette a l’echelle s centree autour d’un nœud a s’ecrit :

ψs,a(x) =∫∞−∞ ψ(sω)δa(ω) expiωx dω ⇒

ψs,a = χGs δa = χGsχ>δa

Ondelettes classiquespar analogie−−−−−−→ Ondelettes sur graphe

[Hammond et al. ’11]

Monde classique Monde des graphes

Variable reelle x nœud a

Variable de Fourier ω val. propres λi

Noyau de filtre ψ(ω) g(λi)⇔ G

Banc de filtres ψ(sω) g(sλi)⇔ Gs

Modes de Fourier exp−iωx vec. propres χi

Transf. Fourier de f∫∞−∞ f (x) exp−iωx dx χ> f

L’ondelette a l’echelle s centree autour d’un nœud a s’ecrit :

ψs,a(x) =∫∞−∞ ψ(sω)δa(ω) expiωx dω ⇒ ψs,a = χGs δa = χGsχ

Illustration d’ondelettes sur graphe

Une ondelette :

Translatee : Dilatee :

En resume

Matrice de Fourierdu graphe

Transformee de Fouriersur graphe :

f = χ>f

Filtrage sur graphe :

f g = χ Gχ> f

Banc de filtres :

0 1 20

Ondelettes surgraphe :

En resume

f = χ>f

f g = χ Gχ> f

Banc de filtres :

0 1 20

En resume

f = χ>f

f g = χ Gχ> f

Banc de filtres :

0 1 20

En resume

f = χ>f

f g = χ Gχ> f

Banc de filtres :

0 1 20

En resume

f = χ>f

f g = χ Gχ> f

Banc de filtres :

0 1 20

But de la detection de communautes

someone

ei Π=−1

1) Simplifier la lecture :

ei Π=−1

2) Nous donner de l’intuition :

ei Π=−1 ?

someone

ei Π=−1

ei Π=−1 ?

someone

ei Π=−1

ei Π=−1 ?

someone

ei Π=−1

ei Π=−1 ?

La detection de communautes classique [Fortunato ’10]

Communaute : groupe de nœuds plus connectes entre eux qu’avecle reste du graphe.Detection de communautes : trouver une partition qui separe legraphe en communautes.

Quelques methodes classiques :

• [Newman et al. ’04] Optimisation de la fonction de modularite :

Q = 12N

[Aij −

didj2N

]δ(ci , cj).

• [Donath et al. ’73] Clustering spectral : utilise les premiersvecteurs propres du laplacien.

• [Zhou et al. ’04] Approches de marches aleatoires.

• [Rosvall et al. ’08] Approches via la theorie de l’information.

Trois exemples de detection de communautes

• (A) Topologie non-uniforme

• (B) Reseau de contacts dans une ecole primaire [Stehle et al. ’11]

• (C) Modele de graphe hierarchique [Sales-Pardo et al. ’07]

But de la detection multiechelle de communautes

Nœud A :

Nœud B :

Coef.Corr. :

Resultat :

A petite echelle :

Communautesdifferentes

A plus grandeechelle :

Meme communaute

Nœud A :

Nœud B :

Coef.Corr. :

Resultat :

A petite echelle :

Communautesdifferentes

A plus grandeechelle :

Meme communaute

Algorithme [EUSIPCO ’13]

1. Soit un graphe G et une echelle s ∈ R∗.2. Calculer les ondelettes Ψs .

3. Calculer la matrice de distance decorrelation Ds :

Ds(a, b) = 1− ψ>s,aψs,b

||ψs,a||2 ||ψs,b||2.

4. A partir de Ds , generer undendrogramme a l’aide d’un algorithmede clustering hierarchique.

5. Couper le dendrogramme au niveau deson plus grand saut pour obtenir lapartition a l’echelle s.

tion d

||ψs,a||2 ||ψs,b||2.

tion d

||ψs,a||2 ||ψs,b||2.

tion d

La transformee en ondelettesrapide [Shuman et al. ’11] :

Soit l’approximation polynomiale de g :

g(sλ) 'm∑i=1

αiλi , i.e. Gs '

m∑i=1

αiΛi .

Soit un signal f , sa T.O. s’ecrit :

χGsχ>f '

m∑i=1

αiχΛiχ>f =m∑i=1

αiLi f .

⇒ plus besoin de diagonaliser L !

FWT s f =m∑i=1

αiLi f

Calcul rapide de Ds :[GLOBALSIP ’13]

1. Generer une matrice aleatoiregaussienne de moyenne nulle etde variance 1 :

R = (r1|r2| . . . |rη) ∈ RN×η

2. Calculer la T.O de chacun desvecteurs aleatoires ri :

FWT sR = [f>s,1|f>s,2| · · · |f

>s,N ]>

3. On peut montrer que :

Ds(a, b) ' 1− Corr(fs,a, fs,b)

La transformee en ondelettesrapide [Shuman et al. ’11] :

Soit l’approximation polynomiale de g :

g(sλ) 'm∑i=1

αiλi , i.e. Gs '

m∑i=1

αiΛi .

Soit un signal f , sa T.O. s’ecrit :

χGsχ>f '

m∑i=1

αiχΛiχ>f =m∑i=1

αiLi f .

⇒ plus besoin de diagonaliser L !

FWT s f =m∑i=1

αiLi f

Calcul rapide de Ds :[GLOBALSIP ’13]

1. Generer une matrice aleatoiregaussienne de moyenne nulle etde variance 1 :

R = (r1|r2| . . . |rη) ∈ RN×η

2. Calculer la T.O de chacun desvecteurs aleatoires ri :

FWT sR = [f>s,1|f>s,2| · · · |f

>s,N ]>

3. On peut montrer que :

Ds(a, b) ' 1− Corr(fs,a, fs,b)

L’interet des vecteurs aleatoires

• Gain de temps de calcul significatif

• Empiriquement, on trouve qu’ilsuffit de c vecteurs aleatoires pourcorrectement detecter unestructure a c communautes. Lienavec l’acquisition comprimee ?

• L’algorithme devient stochastique.Soit J realisations, definissons unestabilite a l’echelle s : [GRETSI ’13]

γa(s) = 2J(J−1)

∑(i,j)∈J,i 6=j

simi(P is ,P

20 40 60 80 100

3.23.43.63.8

20 40 60 80 1000

LS Recall

MS Recall

SS Recall

Ondelettes et communautés multiéchelles

"acquisition comprimée" à l'aide de la T.O. de vecteurs aléatoires

mesure de stabilité

test statistique pour extraire les

échelles pertinentes

performance proche de l'état de l'art

généralisation de méthodes existantes

dans un même formalisme

design de filtres d'ondelettes adaptés

[IEEE TSP ’14]

Traitement du signal

Analyse des graphes

Analyse multi-échelle sur graphe

Analyse multi-echelle d’un signal sur graphe

Un banc defiltres classique :

2approx.

details

Quels equivalents (pour les graphes) des operateurs de decimation ?

1D classique :

2D classique :

[Narang et al. ’12] :

1 2 3 4 5

[Shuman et al. ’13] :

2approx.

details

1D classique :

2D classique :

1 2 3 4 5

2approx.

details

1D classique :

2D classique :

1 2 3 4 5

2approx.

details

1D classique :

2D classique :

1 2 3 4 5

2approx.

details

1D classique :

2D classique :

1 2 3 4 5

Gardons, non plus “unnœud par paire”, mais “unnœud par communaute” :

x1(j-1)

A1(j-1)

on : x1(j)

level (j-1) level (j)

With one connected subgraph

decomposition

With another connected subgraph

decomposition

(x, A)

Analysis block (1)

(xN1, AN1)~ ~(1)

(x2, A2)(1)

(x1, A1)(1)

(x3, A3)(1)

Synthesis block (1)

(x, A)

Approximation:

Details:

(x, A)Analysisblock(1)

(xN1, AN1)~ ~(1)

(x2, A2)(1)

(x1, A1)(1)

Analysisblock(2)

(xN2, AN2)~ ~(2)

(x2, A2)(2)

(x1, A1)(2)

Analysisblock(3)

(xN3, AN3)~ ~(3)

(x2, A2)(3)

(x1, A1)(3)

x1(j-1)

A1(j-1)

on : x1(j)

decomposition

(x, A)

Analysis block (1)

(xN1, AN1)~ ~(1)

(x2, A2)(1)

(x1, A1)(1)

(x3, A3)(1)

Synthesis block (1)

(x, A)

Approximation:

Details:

(xN1, AN1)~ ~(1)

(x2, A2)(1)

(x1, A1)(1)

Analysisblock(2)

(xN2, AN2)~ ~(2)

(x2, A2)(2)

(x1, A1)(2)

Analysisblock(3)

(xN3, AN3)~ ~(3)

(x2, A2)(3)

(x1, A1)(3)

x1(j-1)

A1(j-1)

on : x1(j)

decomposition

(x, A)

Analysis block (1)

(xN1, AN1)~ ~(1)

(x2, A2)(1)

(x1, A1)(1)

(x3, A3)(1)

Synthesis block (1)

(x, A)

Approximation:

Details:

(xN1, AN1)~ ~(1)

(x2, A2)(1)

(x1, A1)(1)

Analysisblock(2)

(xN2, AN2)~ ~(2)

(x2, A2)(2)

(x1, A1)(2)

Analysisblock(3)

(xN3, AN3)~ ~(3)

(x2, A2)(3)

(x1, A1)(3)

Application (entre autres...) au debruitageSignal sur graphe

original :

Signal bruite :(σ = 1/4)

SNR=12

B. de filtre de[Narang et al. ’13] :

SNR=13.3

B. de filtre bases surles communautes :

SNR=16.8

B. de filtre bases sur lescommunautes (avec“edge-awareness”) :

SNR=23.3

[soumis a IEEE TSP]

original :

SNR=12

SNR=13.3

SNR=16.8

SNR=23.3

[soumis a IEEE TSP]

original :

SNR=12

SNR=13.3

SNR=16.8

SNR=23.3

[soumis a IEEE TSP]

original :

SNR=12

SNR=13.3

SNR=16.8

SNR=23.3

[soumis a IEEE TSP]

Perspectives

Ondelettes et communautes :

• Strategie distribuee ?

• Optimisation filtresd’ondelettes ?

• Communautes recouvrantes ?

Analyse multiechelle :

• Compression conjointe de lastructure d’un graphe et dusignal defini dessus ?

• Transformees (e.g. de Fourier)sur graphe rapide ?

Perspectives

Ondelettes et communautes :

• Strategie distribuee ?

• Optimisation filtresd’ondelettes ?

• Communautes recouvrantes ?

Analyse multiechelle :

• Compression conjointe de lastructure d’un graphe et dusignal defini dessus ?

• Transformees (e.g. de Fourier)sur graphe rapide ?

Perspectives

Graphes dynamiques ?

• Signal dynamique sur graphestatique : video sur graphe ?

• Signal dynamique sur graphedynamique ?

• Approches tensorielles ?• Ondelettes : marqueur de la

deformation topologiquelocale

Ou va-t-on ?

• Analyse des graphes vs.traitement du signal sur graphes

• Reduit aux signaux classiques 1ou 2D le TSG ne fait pas mieuxque l’etat de l’art.

• Collaboration necessaire avectous les domaines d’application

Perspectives

Graphes dynamiques ?

• Signal dynamique sur graphestatique : video sur graphe ?

• Signal dynamique sur graphedynamique ?

• Approches tensorielles ?• Ondelettes : marqueur de la

deformation topologiquelocale

Ou va-t-on ?

• Analyse des graphes vs.traitement du signal sur graphes

• Reduit aux signaux classiques 1ou 2D le TSG ne fait pas mieuxque l’etat de l’art.

• Collaboration necessaire avectous les domaines d’application

Réseaux et signal : des outils de traitement du signal...

Documents

Transcript of Réseaux et signal : des outils de traitement du signal...