République Algérienne Démocratique et Populaire.

Université des Sciences et de la Technologie d’Oran USTO M.B.

Faculté des sciences. Département d’informatique. 2ème année Master

RFIA.

Réseau de Kohonen « les Carte Auto-Organisatrices »

Présenter par : Kouadri Boudjelthia Mohamed.

2011-2012

Sous la direction du : Pr. BENYETTOU Mohamed.

Table des Matières

I. Introduction ……………………………………….. 01

a. Model Biologique …………………………………… 01

II. Historique …………………………………………. 02

III. Quelques mots sur le neurone formel …………… 03

IV. Modèle de Kohonen ………………………………. 03

a. L’origine ……………………………………………. 03

b. Leur utilisation ……………………………………... 05

V. Architecture du réseau …………………………… 05

VI. Algorithme d'apprentissage ……………………… 07

a. Principe …………………………………………….. 07

b. Formalisation mathématique ……………………… 08

c. Sur la notion de voisinage …………………... 08

VII. Propriétés …………………………………………. 09

VIII. Avantages et inconvénients des cartes auto

adaptatives ………………………………………… 10

IX. Conclusion ………………………………………… 10

I. Introduction :

Les réseaux de neurones sont composés d’éléments simples (ou neurones)

fonctionnant en parallèle. Ces éléments ont été fortement inspirés par le système

nerveux biologique. Comme dans la nature, le fonctionnement du réseau (de

neurone) est fortement influencé par la connections des éléments entre eux. On

peut entraîner un réseau de neurone pour une tâche spécifique (reconnaissance

de caractères par exemple) en ajustant les valeurs des connections (ou poids)

entre les éléments (neurone).

L’apprentissage permet aux réseaux de neurones de réaliser des taches

complexes dans différents types d’application (classification, identification,

reconnaissance de caractères, de la voix, vision, système de contrôle…). Ces

réseaux de neurones peuvent souvent apporter une solution simple à des

problèmes encore trop complexes ne pouvant être résolus rapidement par les

ordinateurs actuels (puissance de calcul insuffisante) ou par notre manque de

connaissances.

La méthode d’apprentissage dite supervisé est souvent utilisée mais des

techniques d’apprentissage non supervisé existent pour des réseaux de neurones

spécifiques. Ces réseaux peuvent, par exemple, problèmes de classification

(réseaux de Kohonen).

Model Biologique :

• Les neurones reçoivent des signaux (impulsions électriques) par les dendrites

et envoient l’information par les axones.

• Les contacts entre deux neurones (entre axone et dendrite) se font par

l’intermédiaire des synapses.

• Les signaux n’opèrent pas de manière linéaire : effet de seuil.

II. Historique :

-Début en 1943 : par W. MCCulloch et W. Pitts du neurone formel qui est une

abstraction du neurone physiologique.

-En 1949, D. Hebb présente dans son ouvrage "The Organization of Behavior"

une

règle d'apprentissage. De nombreux modèles de réseaux aujourd'hui s'inpirent

encore de la règle de Hebb.

-En 1958, F. Rosenblatt développe le modèle du Perceptron. C'est un réseau de

neurones inspiré du système visuel. Il posséde deux couches de neurones : une

couche de perception et une couche lié à la prise de décision. C'est le premier

système artificiel capable d'apprendre par expérience.

-Dans la même période, L'Adaline (ADAptive LINar Element) a été présenté par

B.Widrow, chercheur américain à Stanford. base des réseaux multi-couches.

-En 1969, M.Minsky et S.Papert publient une critique des propriétés du

Perceptron. Cela va avoir une grande incidence sur la recherche dans ce

domaine. Elle va fortement diminuer jusqu'en 1972, où T.Kohonen présente ses

travaux sur les

mémoires associatives. et propose des applications à la reconnaissance de

formes.

-C'est en 1982 que J. Hopfield présente son étude d'un réseau complétement

rebouclé, dont il analyse la dynamique.

Aujourd'hui, les réseaux neuronaux sont utilisés dans de nombreux domaines

(entre

autres, vie artificielle et intelligence artificielle) à cause de leur propriété en

particulier, leur capacité d'apprentissage, et qu'ils soient des systèmes

dynamiques.

III. Quelques mots sur le neurone formel :

Le fonctionnement d'un Neurone Formel (par exemple : le Perceptron) est très

simple : il fonctionne de manière itérative et, à chaque itération, calcule sa sortie

en fonction de ses entrées.

IV. Modèle de Kohonen :

L’origine :

Les neurones sont modélisés de la façon la plus simple possible, on recherche ici

un modèle de neurone proche de la réalité.

Ces réseaux sont inspirés des observations biologiques du fonctionnement des

systèmes nerveux de perception des mammifères.

En effet, il existe des zones du cerveau (dans le cortex visuel par exemple) qui

présentent la même topologie que les capteurs sensoriels. C'est à dire deux zones

proches dans le cortex visuel correspondent à deux zones proches dans la rétine.

Ces propriétés se retrouvent avec le bulbe olfactif, ou l'appareil auditif. Il est

intéressant de souligner que ces dispositions au sein du cerveau ne sont pas

génétiques, mais sont dues à un apprentissage.

A la suite de ces observations, Kohonen proposa un modèle de carte topologique

auto-adaptative. Seules les entrées modifient le processus, l'apprentissage est

donc non-supervisé.

Il s'agit de reproduire le principe neuronal du cerveau des vertébrés : des stimuli

de même nature excitent une région du cerveau bien particulière. Les neurones

sont organisés dans le cortex de façon à interpréter tous les types de stimuli

imaginables. De la même manière, la carte auto adaptative se déploie de façon à

représenter un ensemble des données, et chaque neurone se spécialise pour

représenter un groupe bien particulier des données selon les points communs qui

les rassemblent. Elle permet une visualisation en dimension multiple de données

croisées.

Techniquement, la carte réalise une quantification vectorielle de l'espace de

données. Cela signifie discrétiser l'espace ; c'est-à-dire le diviser en zones, et

assigner à chaque zone un point significatif dit vecteur référent

Architecture des cartes auto-organisatrices. L'espace d'entrée V est divisé

en plusieurs zones. wr représente un vecteur référent associé à une petite

zone de l'espace et r(2,3) représente son neurone associé dans la grille A.

Chaque zone peut être adressée facilement par les index des neurones dans

la grille.

Leur utilisation :

Les cartes de Kohonen peuvent être utilisées dans le cadre de la projection de

données multi-variées, d'approximation de densité ou de classification.

Elles ont été utilisées avec succès en reconnaissance de la parole, classification

et traitement d'images, robotique, contrôle de processus, l'aide à la décision et

l'optimisation. Les paramètres à définir dans ce cas sont :

la dimension des tableaux de cellules.

le nombre de cellules dans chaque dimension.

la forme du voisinage.

l'échéancier de réduction de la taille du voisinage.

le coefficient d'apprentissage.

EDF a mis en oeuvre ce type de réseau pour procéder à une classification de

séries de consommations d'énergie. Cette classification a pour objet d'améliorer

les modèles de consommations, en les adaptant spécifiquement à chaque classe

de séries homogènes.

V. Architecture du réseau :

D'un point de vue architectural, les « cartes auto-organisatrices de Kohonen »

sont constituées d'une grille (le plus souvent uni- ou bidimensionnelle). Dans

chaque nœud de la grille se trouve un « neurone ». Chaque neurone est lié à un

vecteur référent, responsable d'une zone dans l'espace des données (appelé

encore espace d'entrée).

Dans une carte auto-organisatrice, les vecteurs référents fournissent une

représentation discrète de l'espace d'entrée. Ils sont positionnés de telle façon

qu'ils conservent la forme topologique de l'espace d'entrée. En gardant les

relations de voisinage dans la grille, ils permettent une indexation facile (via les

coordonnées dans la grille).

Ceci s'avère utile dans divers domaines, comme la classification de textures,

l'interpolation entre des données, la visualisation des données

multidimensionnelles.

Soit A la grille neuronale rectangulaire d'une carte auto-organisatrice. Une carte

de neurones assigne à chaque vecteur d'entrée un neurone désigné

par son vecteur de position , tel que le vecteur référent wr est le plus proche de

v.

Mathématiquement, on exprime cette association par une fonction:

Cette fonction permet de définir les applications de la carte.

quantificateur vectoriel: on approxime chaque point dans l'espace d'entrée

par le vecteur référent le plus proche par

classificateur en utilisant la fonction r = ϕw(v)

on assigne à chaque neurone de la grille une étiquette correspondante à une

classe; tous les points de l'espace d'entrée qui se projettent sur un même neurone

appartiennent à la même classe. Une même classe peut être associée à plusieurs

neurones.

VI. Algorithme d'apprentissage :

Principe :

Après une initialisation aléatoire des valeurs de chaque neurones on soumet une

à une les données à la carte auto adaptative. Selon les valeurs des neurones, il y

en a un qui répondra le mieux au stimulus. Celui dont la valeur sera la plus

proche de la donnée présentée. Alors ce neurone sera gratifié d'un changement

de valeur pour qu'il réponde encore mieux à un autre stimulus de même nature

que le précédent. Par là même, on gratifie aussi un peu aussi les neurones

voisins du gagnant avec un facteur multiplicatif du gain inférieur à un. Ainsi,

c'est toute la région de la carte autour du neurone gagnant qui se spécialise. En

fin d'algorithme, lorsque les neurones ne bougent plus, ou très peu, à chaque

itération, la carte auto organisatrice recouvre toute la topologie des données.

Représentation de l'algorithme d'auto-organisation pour le modèle de

Kohonen. Chaque neurone a un vecteur référent qui le représente dans

l'espace d'entrée. Un vecteur d'entrée v est présenté. v sélectionne le

neurone vainqueur s, le plus proche dans l'espace d'entrée. Le vecteur

référent du vainqueur ws est rapproché de v. Les vecteurs référents des

autres neurones sont aussi déplacés vers v, mais avec une amplitude moins

importante.

Formalisation mathématique

La cartographie de l'espace d'entrée est réalisée en adaptant les vecteurs

référents wr. L'adaptation est faite par un algorithme d'apprentissage dont la

puissance réside dans la compétition entre neurones et dans l'importance donnée

à la notion de voisinage.

Une séquence aléatoire de vecteurs d'entrée est présentée pendant

l'apprentissage. Avec chaque vecteur, un nouveau cycle d'adaptation est

démarré. Pour chaque vecteur v dans la séquence, on détermine le neurone

vainqueur, c'est-à-dire le neurone dont le vecteur référent approche v le mieux

possible:

Le neurone vainqueur s et ses voisins (définis par une fonction d'appartenance

au voisinage) déplacent leurs vecteurs référents vers le vecteur d'entrée

avec

où représente le coefficient d'apprentissage et h = h(r,s,t) la fonction qui

définit l'appartenance au voisinage.

Le coefficient d'apprentissage définit l'amplitude du déplacement global de la

carte.

Sur la notion de voisinage

Tout comme dans le cortex, les neurones sont reliés les uns aux autres, c'est la

topologie de la carte. La forme de la carte définie les voisinages des neurones et

donc les liaisons entre neurones.

La fonction de voisinage décrit comment les neurones dans la proximité du

vainqueur s sont entraînés dans le mouvement de correction. On utilise en

général :

où σ s'appelle coefficient de voisinage. Son rôle est de déterminer un rayon de

voisinage autour du neurone vainqueur.

La fonction de voisinage h force les neurones qui se trouvent dans le voisinage

de s à rapprocher leurs vecteurs référents du vecteur d'entrée v. Moins un

neurone est proche du vainqueur dans la grille, moins son déplacement est

important.

La correction de vecteurs référents est pondérée par les distances dans la grille.

Cela fait apparaître, dans l'espace d'entrée, les relations d'ordre dans la grille.

Pendant l'apprentissage la carte décrite par les vecteurs référents du réseau

évolue d'un état aléatoire vers un état de stabilité dans lequel elle décrit la

topologie de l'espace d'entrée tout en respectant les relations d'ordre dans la

grille.

VII. Propriétés

Similitude des densités dans l'espace d'entrée :

La carte reflète la distribution des points dans l'espace d'entrée. Les zones

dans lesquelles les vecteurs d'entraînement v sont tirés avec une grande

probabilité d'occurrence sont cartographiées avec une meilleure résolution

que les zones dans lesquelles les vecteurs d'entraînement v sont tirés avec

une petite probabilité d'occurrence.

Préservation des relations topologiques :

Des neurones voisins dans la grille occupent des positions voisines dans

l'espace d'entrée (préservation des voisinages de la grille) ; et des points

proches dans l'espace d'entrée se projettent sur des neurones voisins dans

la grille (préservation de la topologie de l'espace d'entrée). Les neurones

ont tendance à discrétiser l'espace de façon ordonnée.

VIII. Avantages et inconvénients des cartes auto adaptatives :

Les ancêtres des cartes auto-organisatrices, les algorithmes comme "k-

moyennes", réalisent la discrétisation de l'espace d'entrée en ne modifiant à

chaque cycle d'adaptation qu'un seul vecteur référent. Leur processus

d'apprentissage est donc très long.

L'algorithme de Kohonen profite des relations de voisinage dans la grille pour

réaliser une discrétisation dans un temps très court. On suppose que l'espace

n'est pas constitué de zones isolées, mais de sous-ensembles compacts.

Donc en déplaçant un vecteur référent vers une zone, on peut se dire qu'il y a

probablement d'autres zones dans la même direction qui doivent être

représentées par des vecteurs référents. Cela justifie le fait de déplacer les

neurones proches du vainqueur dans la grille dans cette même direction, avec

une amplitude de déplacement moins importante. L'algorithme présente des

opérations simples ; il est donc très léger en termes de coût de calculs.

Le voisinage dans les cartes auto adaptatives est malheureusement fixe, et une

liaison entre neurones ne peut être cassée même pour mieux représenter des

données discontinues. Les Growing Cell Structure, ou Growing Neural Gas sont

la solution à ce problème. Des neurones et les liaisons entre neurones peuvent y

être supprimées ou ajoutées quand le besoin s'en fait sentir.

IX. Conclusion :

Contrairement aux méthodes classiques qui ont montré leurs limites, les réseaux

de neurones ont montré leurs tendances à s’adapter à des problèmes complexes

grâce à leur grande capacité de calcul et d’apprentissage. Ils sont l’objet

d’utilisation dans les différents domaines tels que : La reconnaissance des

formes et le traitement des images.

Le grand avantage caractérisé dans les réseaux de neurones de Kohonen est que

ces derniers sont léger en cout et en calcule et sont portable dans différents

domaines, ce qui les rend les plus simples à utiliser et les plus rapides.

Références

T. Kohonen, Self-Organized Formation of Topologically Correct

Feature Maps, Biological Cybernetics, vol. 46, pp. 59–69, 1982.

T. Kohonen, Self-Organizing Maps, vol. 30, Springer Verlag,

1995.

H. J. Ritter, T. M. Martinetz, et K. J. Schulten, Neural

Computation and Self-Organizing Maps : An Introduction,

Addison–Wesley, 1992.