Graphes, noyaux et cartes de Kohonen

Post on 11-May-2015

193 views 2 download

description

Journée FREMIT, Université Toulouse III, Toulouse, France 16 octobre 2007

Transcript of Graphes, noyaux et cartes de Kohonen

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Journée FREMIT

Nathalie Villa-VialaneixProjet I(M+RI)T en collaboration avec T. Dkaki, J.M. Inglebert &

S. Gadat

Institut de Mathématiques de Toulouse, France -nathalie.villa@math.univ-toulouse.fr

16 octobre 2007

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Sommaire

1 Les graphes

2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM

3 Perspectives

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Sommaire

1 Les graphes

2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM

3 Perspectives

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Graphes et réseaux sociaux (ANRT Graphes-Comp)

Graphe construit à partir d’un corpus d’archives médiévales

À partir de 1000 contrats agraires(1250-1350), on construit un graphe pondéré :

sommets : les paysans trouvés dans les contrats ;

poids : nombre de contrats où deux paysans sont citéssimultanément.

Grand graphe :

Nombre de sommets : 615Nombre d’arêtes : 4193Somme des poids : 40 329Diamètre : 10Densité : 2,2%

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Graphes et réseaux sociaux (ANRT Graphes-Comp)

Graphe construit à partir d’un corpus d’archives médiévales

À partir de 1000 contrats agraires(1250-1350), on construit un graphe pondéré :

sommets : les paysans trouvés dans les contrats ;

poids : nombre de contrats où deux paysans sont citéssimultanément.

Grand graphe :

Nombre de sommets : 615Nombre d’arêtes : 4193Somme des poids : 40 329Diamètre : 10Densité : 2,2%

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Autres domaines d’application

Web :

Graphes de protéines :

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Autres domaines d’application

Graphes de protéines :

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Problématique

Deux objectifs :1 Trouver des sous-groupes homogènes (classification) ;2 Représenter le graphe dans sa globalité, de manière lisible

(visualisation).

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Sommaire

1 Les graphes

2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM

3 Perspectives

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Laplacien d’un graphe

Pour un graphe

de sommets V = {x1, . . . , xn}

pondérés par (wi,j)i,j=1,...,n (positifs) tels que, pour touti, j = 1, . . . , n, wi,j = wj,i et di =

∑nj=1 wi,j

on résume le graphe par son Laplacian, L = (Li,j)i,j=1,...,n :

Li,j =

{−wi,j if i , jdi if i = j

;

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Propriétés du Laplacien I [von Luxburg, 2007]

Composantes connexesLe noyau de la matrice L est engendré par les indicatricesIA1 , . . . , IAk des sommets des k composantes connexes du graphe.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Propriétés du Laplacien II [Villa et al., 2007]

Communauté parfaite : Sous-graphe complet (clique) dont tousles sommets ont les mêmes voisins à l’extérieur de la clique.

Détermination de communautés parfaitesLes communautés parfaites d’un graphe non pondérécorrespondent à des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mêmes coordonnéesnulles.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Propriétés du Laplacien III [von Luxburg, 2007]

Problème de la coupe optimaleSupposons maintenant que notre graphe soit connexe.Le problème (optimisation discrète) de trouver une partition dugraphe en k groupes de sommets, A1, . . . ,Ak qui minimise

12

k∑i=1

∑j∈Ai ,j′<Ai

wj,j′

est approché par le problème d’optimisation continue suivant

minH∈Rn×k

Tr(HT LH

)subject to HT H = I

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Spectral clustering

Méthode

1 Déterminer les k derniers vecteurs propres,u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;

2 Utiliser un algorithme de classification(typiquement k-means) pour classer les lignesde U en k groupes.

Limites du spectral clustering

N’utilise pas la totalité du spectre de LNe tient pas compte du poids des vecteurs propres.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Spectral clustering

Méthode

1 Déterminer les k derniers vecteurs propres,u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;

2 Utiliser un algorithme de classification(typiquement k-means) pour classer les lignesde U en k groupes.

Limites du spectral clustering

N’utilise pas la totalité du spectre de LNe tient pas compte du poids des vecteurs propres.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Une version régularisée de L

Régularisation : la matrice de diffusion : pour β > 0,Kβ = e−βL =

∑+∞k=1

(−βL)k

k ! .⇒

k β : V × V → R

(xi , xj) → Kβi,j

noyau de diffusion (ou noyau de la chaleur).

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Interprétation intuitive

k β(i, j) peut être interprétée comme l’énergie accumulée en ilorsque l’énergie a été injectée en j au temps 0 et que l’énergiecircule de manière continue dans les arêtes du graphe selon unefraction qui dépend de β.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Noyau de la chaleur et RKHS

Principe

Graphe ↪→ Espace de Hilbert de grande dimension(H , 〈., .〉)

Dans (H , 〈., .〉), pratiquer un algorithme de classification ou cartede Kohonen (SOM).

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Resultats pour une grille 7 × 7

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Resultats pour une grille 7 × 7

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

LaplacienNoyau de la chaleurKernel SOM

Comparaison avec le « Spectral Clustering »

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Sommaire

1 Les graphes

2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM

3 Perspectives

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Quelques pistes

1 Visualisation globale du graphe sur la carte

2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.

3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation

de connaissances.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Quelques pistes

1 Visualisation globale du graphe sur la carte

2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.

3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation

de connaissances.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Quelques pistes

1 Visualisation globale du graphe sur la carte

2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.

3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation

de connaissances.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Quelques pistes

1 Visualisation globale du graphe sur la carte

2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.

3 Travail sur les très grands graphes.

4 Application en recherche d’informations, en confrontationde connaissances.

Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Quelques pistes

1 Visualisation globale du graphe sur la carte

2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.

3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation

de connaissances.Nathalie Villa FREMIT - 16 oct 07

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

References

Villa, N., Boulet, R., Rossi, F. & Jouve, B. (2007).Batch kernel SOM and related Laplacian methods for graphmining. Application to a medieval social network.Neurocomputing.To appear.

von Luxburg, U. (2007).A tutorial on spectral clustering.Technical Report TR-149, Max Planck Institut für biologischeKybernetik.Avaliable at http://www.kyb.mpg.de/publications/attachments/luxburg06_TR_v2_4139%5B1%5D.pdf.

Nathalie Villa FREMIT - 16 oct 07