MÉTHODES

DE

CLASSIFICATION

Pierre-Louis GONZALEZ

2

MÉTHODES DE CLASSIFICATION

Objet Opérer des regroupements en classes homogènes d’un

ensemble d’individus.

Données Les données se présentent en général sous la forme d’un

tableau individus × variables.

1. Ayant défini un critère de distance (dissemblance) ou

dissimilarité (pas nécessairement d’inégalité triangulaire)

entre les individus, on procède au regroupement des

individus.

2. Ce regroupement nécessite une stratégie de

classification : critère de classification.

3

MÉTHODES

• NON HIERARCHIQUES

Partition en k classes

Exemples : Centres mobiles

Nuées dynamiques

Avantages : Permettent la classification d’ensembles volumineux.

Inconvénients : On impose au départ le nombre de classes.

4

• HIÉRARCHIQUES : suites de partitions emboîtées

a b c d e

a, b, c, d, eab, c, d, eabc, deabcde

OU

Avantages : La lecture de l’arbre permet de déterminer le nombre

optimal de classes.

Inconvénients : Coûteux en temps de calcul.

5

Éléments de vocabulaire

→ classification automatique

→ classification non supervisée

→ apprentissage sans professeur

Le terme « classification » en anglais fait référence à l’affectation d’un

individu à une classe (existant a priori) dans le cadre de l’analyse

discriminante. Il se traduit en français par le terme classement.

L’équivalent en anglais de « classification automatique » est « cluster

analysis ».

6

Éléments de vocabulaire

E : ensemble des n objets à classer

Dissimilarité : ( ) ( )d i j d j i, ,=

( )d i i, = 0

( )d i j, ≥ 0

Similarité : ( ) ( )s i j s j i, ,=

( )s i j, ≥ 0

( ) ( )s i i s i j, ,≥

7

I. MÉTHODES DE PARTITIONNEMENT

1. Considérations combinatoires

• Pn k, = nombre de partitions en k classes de n individus

Pn k, = P k Pn k n k− − −+1 1 1, , (récurrence)

(nombre de Stirling de 2ème espèce)

Ex : P12 5 1 379 400, =

• Pn = nombre total de partitions

(nombres de Bell)

Ex : P12 4 213 597=

⇒ Nécessité d’algorithmes pour trouver une bonne partition.

Comment définir la qualité d’une partition ?

8

2. Inertie intra-classe et Inertie inter-classe

n points dans un espace euclidien

( )d i i2 , ′ distance euclidienne

Soit une partition en k classes de poids Pi

g g gk1 2, ... centres de gravité

I I Ik1 2, ... inerties associées

I PIW i i= ∑ inertie intra

( )I Pd g gB i i= ∑ 2 , inertie inter

I I IB W+ = g = centre de gravité des n individus

g1 g2

gk

g

x x

x

xx

x

xx x

x

x

xx

x

x

x

xx

x

xx

xx

x

xx

xx

xx

xx

x

x

x

x

x

x x

x

x

xx x

x

x

9

Comparaison de deux partitions en k classes : La meilleure est celle

qui a l’inertie IW la plus faible (ou l’inertie IB la plus forte).

Remarque : Ce critère ne permet pas de comparer des partitions à

nombres différents de classe.

3. Méthode des centres mobiles

xx

xx

x

x

xx x

x

xc1

xx

x

x

x x

x

x

x

x

x

x x

x x

x

x

xx

xx

x

xx

x

x x

x

xc2

c3x

1ère étape : choix de centres ci et partition associée (les ci sont

choisis au hasard).

La classe Eci est formée de tous les points plus proches de ci

que de tout autre centre.

10

2ème étape : calcul des centres de gravité de chaque classe

→ définition d’une nouvelle partition.

x x x

x

x

xx

x x

x x x

x

x

x x

x x

x

x

x x

x

x x

x

x

x

xx

x

( )g12

( )g32

( )g22

x

x

+ itérations successives

x

RÉSULTAT FONDAMENTAL

L’inertie intra-classe diminue à chaque étape.

Démonstration :

Soit Egi la classe obtenue en remplaçant ci par ( )gi

2 centre de

gravité de Eci.

D’après le théorème de Konig-Huygens, gi n’étant pas le centre de

gravité de Egi

( )1 2

1n d gE

ii

k

gi

∈=∑∑

⎡

⎣⎢

⎤

⎦⎥, est supérieur à l’inertie intra-classe de la

partition Egi.

11

Il suffit de montrer alors que :

( )1 12

1 1n d j g nj Ei

i

k

i

k

ci

∈= =∑∑ ∑

⎡

⎣⎢

⎤

⎦⎥ ≥, ⎡

⎣⎢d

Egi

2

∈∑ )( , gi

⎤⎦⎥

Or, si on considère un point quelconque, il figurera dans le membre

de droite avec son carré de distance au gi qui sera le plus proche de

lui par construction des Egi, tandis que dans le membre de gauche,

il figurera avec sa distance à un gi qui ne sera pas forcément le plus

proche de lui, mais qui sera seulement son centre de gravité dans la

partition Eci.

Le nuage étant fini, l’algorithme converge.

L’expérience montre que le nombre d’itérations nécessaires est en

général faible.

12

EXEMPLE : Méthode des Centres Mobiles

Etape 0

c1 c2

Etape 1

⎧⎨⎪

⎩⎪

Calcul des centres de gravitédes classes formées à l étape

g g

2 1

1 2

'⎧⎨⎪

⎩⎪

Etape 2

+ ⎧⎨⎩

D éfin itio n d e n o u v e lle s c lassesau tou r d es cen tres d e g rav ité

Etape 3

Calcul des centres de gravitédes classes formées à l étapeNouvelle définition des classesautour de ces centres

' .2

→

Choix des centres

Constitution de classes autour des centres c1 et c2

Classe 1 : points plus proches de c1 que de c2

Classe 2 : points plus proches de c2 que de c1

STABILITE

x xx

xx

xx

x x xx x x

c1

c2

x xx

xx

xx

x x xx x x

c1

c2

( )g12

x xx

xx

xx

x x xx x x

( )g22

( )g13

x xx

xx

x x

x x xx x x

( )g23

⇒ FIN de l’algorithme

13

4. Généralisation : nuées dynamiques

L’idée est d’associer à une classe un représentant différent de son centre

de gravité.

Par exemple :

→ un ensemble d’individus (noyau formé de q points appelés les

étalons)

→ une droite

→ une loi de probabilité

Algorithme - Principe

Il faut faire décroître le critère U mesurant l’adéquation entre les

classes et leurs représentants.

14

→ Initialisation

Deux possibilités :

1. Soit on se donne au départ une fonction d’affectation qui

génère une partition ( )Q Q k= 1 ... Q sur E. Les noyaux pour

chaque classe sont calculés.

2. Soit on se donne k noyaux.

→ Étape d’affectation

Pour chaque individu, déterminer la classe à laquelle on doit

l’affecter (nécessité d’avoir défini une distance entre un point et

un noyau, ou un groupe de points).

→ Étape de représentation

Pour chaque classe définie, calculer le nouveau noyau.

15

La convergence vers un minimum local est obtenue si chaque étape fait

décroître le critère U.

ARRÊT DE L’ALGORITHME quand la décroissance atteint un seuil fixé a

priori.

Pratique de la méthode

Comme la partition finale peut dépendre de l’initialisation, on

recommence s fois (exemple : s tirages aléatoires de noyaux).

→ Formes fortes

Ensemble d’éléments ayant toujours été regroupés lors de la

partition finale.

16

Exemples :

113

30

38 35 40

5 25 030 8 53 2

4340 35

Première partition

partition-produit

Deuxièmepartition

Trois partitions de base en 6 classes :

Partition 1 127 188 229 245 151 60

Partition 2 232 182 213 149 114 110

Partition 3 44 198 325 99 130 204

Ces trois partitions sont ensuite croisées entre elles

→ 6 2163 = classes

Groupements stables rangés par effectifs décroissants :

168 114 110 107 88 83 78 26 22 16

15 14 12 12 12 11 10 7 7 7

7 formes fortes d’effectifs importants

1000 individus

17

5. Variantes des méthodes « centres mobiles »

K-means (Mac Queen 1967)

On effectue un recentrage dès qu’un objet change de classe.

Isodata (Ball et Hall 1965)

Un certain nombre de contraintes sont imposées pour

empêcher la formation de classes d’effectifs trop faibles ou de

diamètre trop grand.

18

II. LA CLASSIFICATION HIÉRARCHIQUE

Elle consiste à fournir un ensemble de partitions de E en classes de

moins en moins fines obtenues par regroupements successifs de parties.

edcba

Arbre de classificationou dendrogramme

Démarche : Cet arbre est obtenu dans la plupart des méthodes de

manière ascendante :

• On regroupe d’abord les deux individus les plus proches qui

forment un « sommet »

• Il ne reste plus que (n-1) objets et on itère le processus jusqu’à

un regroupement complet.

Un des problèmes consiste à définir une mesure de dissimilarité entre

classes.

Remarque : Les méthodes descendantes ou algorithmes divisifs

sont pratiquement inutilisées.

19

1. Stratégies d’agrégation sur dissimilarités

Le problème est de définir la dissimilarité entre la réunion de deux

éléments et un troisième :

( )d a b,c − . A chaque solution correspond une ultramétrique

différente.

x x

xx x

x

x

x

x

A

cd (A, c) ?

a. Le saut minimum

Cette méthode (connue sous le nom de « single linkage » en

anglais ») consiste à écrire que :

( ) ( ){ }d a b,c d a c d b,c ( ) inf , ;− =

x x

x

xx

xx x

x

xx

x

x

x

xx

x

x

x

xx

xx

x

x

x

xx

x x

x

La distance entre parties est donc la plus petite distance entre

éléments des deux parties.

20

b. Le diamètre (« complete linkage »)

On prend ici comme distances entre parties la plus grande

distance entre deux éléments.

( )[ ] ( ) ( )[ ]d a b c d a c d b c , ; sup , , ,=

x x

x

xx

xx x

x

xx

x

x

x

xx

x

x

x

xx

xx

x

x

x

xx

x x

x

21

2. Stratégies diverses

• saut minimum (plus proche)

• diamètre

• moyenne des distances

• médiane des distances

• distance au centre de gravité.

A

Indice i(A)

L’indice ou niveau d’agrégation est le niveau auquel on trouve agrégés

pour la première fois tous les constituants de A.

22

3. La méthode de Ward pour distance Euclidienne

Si on peut considérer E comme un nuage d’un espace Rp, on agrège les

individus qui font le moins varier l’inertie intra-classe.

A chaque pas, on cherche à obtenir un minimum local de l’inertie intra-

classe ou un maximum de l’inertie inter-classe.

L’indice de dissimilarité entre deux classes (ou niveau d’agrégation de ces

deux classes) est alors égal à la perte d’inertie inter-classe résultant de leur

regroupement.

Calculons cette perte d’inertie :

gA = centre de gravité de la classe A (poids pA )

gB = centre de gravité de la classe B (poids pB )

gAB = centre de gravité de leur réunion

gAB = p g p gp p

A A B B

A B

++

23

L’intertie inter-classe étant la moyenne des carrés des distances des

centres de gravité des classes au centre de gravité total, la variation

d’inertie inter-classe, lors du regroupement de A et B est égale à :

( ) ( ) ( ) ( )p d g g p d g g p p d g gA A B B A B AB

2 2 2, , ,+ − +

Elle vaut :

( ) ( )δ A B p pp p d g gA B

A BA B, ,= +

2

Remarque : Cette méthode entre dans le cadre de la formule de Lance

et Williams généralisée :

( )[ ] ( ) ( ) ( ) ( ) ( )δ

δ δ δA B C

p p A C p p B C p A Bp p p

A C B C C

A B C, ;

, , ,

=

+ + + −+ +

On peut donc utiliser l’algorithme général.

On notera que la somme des niveaux d’agrégation des différents noeuds

de l’arbre doit être égale à l’inertie totale du nuage, puisque la somme des

pertes d’inertie est égale à l’inertie totale.

Cette méthode est donc complémentaire de l’analyse en composantes

principales et repose sur un critère d’optimisation assez naturel.

Elle constitue à notre avis la meilleure méthode de classification

hiérarchique sur données euclidiennes.

Il ne faut pas oublier cependant que le choix de la métrique dans l’espace

des individus conditionne également les résultats.

24

III. LA PRATIQUE DE LA CLASSIFICATION

1. Les méthodes mixtes

En présence d’un grand nombre d’individus (>103), il est impossible

d’utiliser directement les méthodes de classification hiérarchique.

On combine les techniques non hiérarchiques et hiérarchiques.

→ Etape 1 : Méthode « centres mobiles » ou « nuées dynamiques ». On

forme par exemple 50 classes.

→ Etape 2 : Construction d’un arbre à partir des k classes formées à

l’étape 1. Coupure de l’arbre en un nombre judicieux de

classes.

→ Etape 3 : Consolidation de la partition obtenue à l’étape 2

(méthode de type « centres mobiles »).

25

2. Interprétation d’une partition

2-1. Utilisation des outils de base de la statistique Pour chaque variable :

• Calcul de paramètres caractéristiques de chaque classe

(moyenne, écart-type, min, max...)

• Représentations graphiques : boîtes à moustaches, intervalle de

confiance pour les moyennes.

• Analyse de la variance à un facteur pour chaque variable (on

peut ainsi « classer » les variables par ordre de contribution à la

création des classes).

2-2. En liaison avec une analyse factorielle (A.C.P.

dans le cas de variables quantitatives)

• On peut repérer les classes formées dans le plan des individus.

• Projeter les points moyens représentant chaque classe.

• Utiliser les valeurs-tests pour chaque classe sur les axes

interprétés.

2-3. Les deux approches sont complémentaires, la

première approche peut être longue à mettre en oeuvre si le nombre

de variables est élevé.

26

IV. LA CLASSIFICATION DE DONNÉES QUALITATIVES

1. Les n individus à classer sont décrits par des variables qualitatives

a. Données de présence - absence

On utilise un des indices de dissimilarité déduit des indices de

similarité proposés qui combinent de diverses manières les quatre

nombres suivants associés à un couple d’individus.

a = nombre de caractéristiques communes

b = nombre de caractéristiques possédées par i et pas par j

c = nombre de caractéristiques possédées par j et pas par i

d = nombre de caractéristiques que ne possèdent ni i, ni j.

Les indices compris entre 0 et 1 sont aisément transformables en

dissimilarité par complémentation à 1.

Jaccard aa b c+ +

Dice ou Czekanowski 22

aa b c+ +

Ochiaï ( ) ( )

aa b a c+ +

Russel et Rao aa b c d+ + +

Rogers et Tanimoto ( )a d

a d b c+

+ + +2

27

b. Individus décrits par des variables qualitatives à m1

m2 ... mp modalités

→ On utilise la représentation disjonctive complète et la

distance du χ2 entre lignes du tableau.

( )d i i npn

x xpj

ij i j

jχ22

2

, ′ =−⎛

⎝⎜⎞⎠⎟⋅

′∑

(Elle traduit le fait que deux individus ayant en commun une

modalité rare sont plus proches que deux individus ayant en

commun une modalité fréquente).

On utilise alors la méthode de Ward (puisque la distance du χ2

est euclidienne) sur le tableau des distances.

→ Autre solution : Classification hiérarchique sur le tableau

des coordonnées factorielles des n individus après A.C.M. de X.

Les deux approches sont équivalentes si on utilise tous les

facteurs de l’A.C.M. soit m pi −∑ , en conservant la

normalisation de chaque axe à μ .

28

2. Classification hiérarchique des lignes (ou des colonnes) d’un tableau de contingence

Elle s’effectue avec la méthode de Ward et la distance du χ2 entre lignes

(ou entre colonnes).

Cette méthode revient à regrouper les catégories d’une variable

qualitative de la façon suivante : à chaque étape, on réunit les deux

catégories (en sommant les effectifs) qui font diminuer le moins possible

le φ2 puisque l’inertie totale est ici égale à χ2

n .