Graphes, noyaux et cartes de Kohonen

Les graphesClassification de sommets, noyau et cartes de Kohonen

PerspectivesReferences

Journée FREMIT

Nathalie Villa-VialaneixProjet I(M+RI)T en collaboration avec T. Dkaki, J.M. Inglebert &

S. Gadat

Institut de Mathématiques de Toulouse, France [email protected]

16 octobre 2007

Nathalie Villa FREMIT - 16 oct 07



Sommaire

1 Les graphes

2 Classification de sommets, noyau et cartes de KohonenLaplacienNoyau de la chaleurKernel SOM

3 Perspectives




Sommaire

1 Les graphes


3 Perspectives




Graphes et réseaux sociaux (ANRT Graphes-Comp)

Graphe construit à partir d’un corpus d’archives médiévales

À partir de 1000 contrats agraires(1250-1350), on construit un graphe pondéré :

sommets : les paysans trouvés dans les contrats ;

poids : nombre de contrats où deux paysans sont citéssimultanément.

Grand graphe :

Nombre de sommets : 615Nombre d’arêtes : 4193Somme des poids : 40 329Diamètre : 10Densité : 2,2%




Graphes et réseaux sociaux (ANRT Graphes-Comp)

Graphe construit à partir d’un corpus d’archives médiévales

À partir de 1000 contrats agraires(1250-1350), on construit un graphe pondéré :

sommets : les paysans trouvés dans les contrats ;

poids : nombre de contrats où deux paysans sont citéssimultanément.

Grand graphe :

Nombre de sommets : 615Nombre d’arêtes : 4193Somme des poids : 40 329Diamètre : 10Densité : 2,2%




Autres domaines d’application

Web :

Graphes de protéines :




Autres domaines d’application

Graphes de protéines :




Problématique

Deux objectifs :1 Trouver des sous-groupes homogènes (classification) ;2 Représenter le graphe dans sa globalité, de manière lisible

(visualisation).




LaplacienNoyau de la chaleurKernel SOM

Sommaire

1 Les graphes


3 Perspectives





Laplacien d’un graphe

Pour un graphe

de sommets V = {x1, . . . , xn}

pondérés par (wi,j)i,j=1,...,n (positifs) tels que, pour touti, j = 1, . . . , n, wi,j = wj,i et di =

∑nj=1 wi,j

on résume le graphe par son Laplacian, L = (Li,j)i,j=1,...,n :

Li,j =

{−wi,j if i , jdi if i = j

;





Propriétés du Laplacien I [von Luxburg, 2007]

Composantes connexesLe noyau de la matrice L est engendré par les indicatricesIA1 , . . . , IAk des sommets des k composantes connexes du graphe.





Propriétés du Laplacien II [Villa et al., 2007]

Communauté parfaite : Sous-graphe complet (clique) dont tousles sommets ont les mêmes voisins à l’extérieur de la clique.

Détermination de communautés parfaitesLes communautés parfaites d’un graphe non pondérécorrespondent à des groupes de m sommets pour lesquels ilexiste m vecteurs propres ayant les mêmes coordonnéesnulles.





Propriétés du Laplacien III [von Luxburg, 2007]

Problème de la coupe optimaleSupposons maintenant que notre graphe soit connexe.Le problème (optimisation discrète) de trouver une partition dugraphe en k groupes de sommets, A1, . . . ,Ak qui minimise

12

k∑i=1

∑j∈Ai ,j′<Ai

wj,j′

est approché par le problème d’optimisation continue suivant

minH∈Rn×k

Tr(HT LH

)subject to HT H = I





Spectral clustering

Méthode

1 Déterminer les k derniers vecteurs propres,u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;

2 Utiliser un algorithme de classification(typiquement k-means) pour classer les lignesde U en k groupes.

Limites du spectral clustering

N’utilise pas la totalité du spectre de LNe tient pas compte du poids des vecteurs propres.





Spectral clustering

Méthode

1 Déterminer les k derniers vecteurs propres,u1, . . . , uk de L et poser U = [u1, . . . , uk ] ;

2 Utiliser un algorithme de classification(typiquement k-means) pour classer les lignesde U en k groupes.

Limites du spectral clustering

N’utilise pas la totalité du spectre de LNe tient pas compte du poids des vecteurs propres.





Une version régularisée de L

Régularisation : la matrice de diffusion : pour β > 0,Kβ = e−βL =

∑+∞k=1

(−βL)k

k ! .⇒

k β : V × V → R

(xi , xj) → Kβi,j

noyau de diffusion (ou noyau de la chaleur).





Interprétation intuitive

k β(i, j) peut être interprétée comme l’énergie accumulée en ilorsque l’énergie a été injectée en j au temps 0 et que l’énergiecircule de manière continue dans les arêtes du graphe selon unefraction qui dépend de β.





Noyau de la chaleur et RKHS

Principe

Graphe ↪→ Espace de Hilbert de grande dimension(H , 〈., .〉)

Dans (H , 〈., .〉), pratiquer un algorithme de classification ou cartede Kohonen (SOM).





Resultats pour une grille 7 × 7





Resultats pour une grille 7 × 7





Comparaison avec le « Spectral Clustering »




Sommaire

1 Les graphes


3 Perspectives




Quelques pistes

1 Visualisation globale du graphe sur la carte

2 Généralisation de la méthode pour les graphes orientés, lacomparaison de graphes.

3 Travail sur les très grands graphes.4 Application en recherche d’informations, en confrontation

de connaissances.




Quelques pistes




de connaissances.




Quelques pistes




de connaissances.




Quelques pistes



3 Travail sur les très grands graphes.

4 Application en recherche d’informations, en confrontationde connaissances.




Quelques pistes




de connaissances.Nathalie Villa FREMIT - 16 oct 07



References

Villa, N., Boulet, R., Rossi, F. & Jouve, B. (2007).Batch kernel SOM and related Laplacian methods for graphmining. Application to a medieval social network.Neurocomputing.To appear.

von Luxburg, U. (2007).A tutorial on spectral clustering.Technical Report TR-149, Max Planck Institut für biologischeKybernetik.Avaliable at http://www.kyb.mpg.de/publications/attachments/luxburg06_TR_v2_4139%5B1%5D.pdf.


http://www.kyb.mpg.de/publications/attachments/luxburg06_TR_v2_4139%5B1%5D.pdf

http://www.kyb.mpg.de/publications/attachments/luxburg06_TR_v2_4139%5B1%5D.pdf

Graphes, noyaux et cartes de Kohonen

Science