(Les réseaux de neurone RBF) - · PDF fileLes réseaux de neurone RBF Page 1 1....

Les réseaux de neurone RBF

1. Introduction

Partant d’un souhait initial de mieux comprendre le fonctionnement du cerveau, les

réseaux de neurones artificiels sont une classe de modèles ayant eu un impact

important dans le domaine de l’analyse et le traitement des données. L’inspiration

pour les réseaux de neurones provient cependant de la volonté de créer des systèmes

artificiels sophistiqués, voir intelligents, capables d’effectuer des opérations

semblables à celle que le cerveau humain effectue de manière routinière.

Les réseaux de neurones intéressent actuellement différents domaines tels que : la

médecine, l’électronique, l’informatique, l’automatique, la robotique, la classification,

le contrôle, le traitement des signaux, le traitement des images, etc [A. Coulon, 2006].

2. Les bases biologiques

Les cellules nerveuses, appelées neurones sont des éléments de base du système

nerveux central qui se compose d’environ 10 puissance12 neurones (mile milliards),

le neurone est une cellule composée de trois parties :

1-Un corps cellulaire ou en anglais « Cell body » qui contient le noyau et se charge

d’effectuer les transformations biochimiques essentielles à la synthèse des éléments

assurant la vie du neurone. 2-Les dendrites qui sont des ramifications du corps

cellulaire. Elles permettent au neurone de capter les signaux lui provenant de

l’extérieur.

3-L’axone généralement plus long que les dendrites, il se ramifie à son extrémité où il

communique avec les autres neurones. Il sert de moyen de transport pour les signaux

émis par le neurone.

Les connexions entre neurones sont réalisées au niveau des synapses, lieu de

proximité d’axone émetteur et dendrites réceptrices


Figure 4.1. : Un neurone biologique et ses principaux composants.

3. Du neurone biologique au neurone formel

Le neurone formel est une modélisation mathématique qui reprend les principes de

fonctionnement du neurone biologique.

Un neurone formel est constitué d’un noyau, d’une liaison synaptique de sortie et

des liaisons synaptiques d’entrée. A chaque liaison d’entrées est attachée un poids

appelé « poids synaptique ».

Les poids synaptiques : ce sont des coefficients numériques indiquant l’importance

de la connexion.

Sur le schéma suivant, le neurone a trois connexions en entrée le reliant à trois autres

neurones, il reçoit de l’information provenant de chacun de ces trois neurones.

Toutes les connexions n’ont pas d’une importance égale par rapport au neurone.

Certaines sont plus importantes que d’autres. En effet, tout se passe comme si le

neurone ne reçoit qu’une entrée E et que celle-ci prend la valeur une fois l’entrée

connue, le neurone effectue une opération qui dépend de E. cela revient à dire qu’il

applique une fonction f à la valeur E, cette fonction f est appelée fonction

d’activation (fonction de traitement des entrées fournissant la sortie du neurone).

Synapses


Figure 4.2 : Un neurone formel

Entrées (x1, x2, x3) +poids (w1, w2, w3)

E=w1*x1 + w2*x2 + w3*x3

Sortie S = f (E)

De façon générale, on définit un neurone formel par les cinq paramètres suivants :

1-La nature des entrées (booléenne ou réelle)

2-La fonction d’entrée totale, définissant le prétraitement effectué sur les entrées

3- La fonction d’activation du neurone définissant son état interne en fonction de la

somme pondérée de ses entrées.

4-La fonction de sortie calculant la sortie du neurone en fonction de son état

d’activation

5- La nature des sorties du neurone.

X1

X2

X3

S

Entrées Poids Fonction

d’activation

Sorties

f

W1

W2

W3

∑


4. Définition d’un réseau de neurone

Un réseau de neurone est un assemblage de neurone formel associé en couches

fonctionnant en parallèle.

Dans un réseau, chaque sous-groupe fait un traitement indépendant des autres et

transmet le résultat de son analyse au sous-groupe suivant. L’information donnée au

réseau va donc se propager couche par couche, de la couche d’entrée à la couche de

sortie, en passant soit par aucune, une ou plusieurs couches intermédiaires (couches

cachées). Excepter par les couches d’entrées et les couches de sorties, chaque neurone

de la dans une couche est connecté à tous les neurones de la couche suivante et de la

couche précédente.

Contrairement à chacune des fonctions d’activation f, la fonction g qui transforme les

valeurs d’entrée en valeurs de sortie à l’échelle du réseau ne peut pas être explicitée

facilement. Elle est en effet beaucoup plus compliquée puisqu’elle est constituée de la

superposition de toutes les fonctions f de chaque neurone.

Un réseau de neurones peut donc être représenté par les poids w des différents

neurones.

Ces poids peuvent varier au cours du temps, en fonction des entrées présentées E. ce

qui représente un vrai problème c’est comment modifier la valeurs de ces poids ( la

phase d’apprentissage).


5. Les réseaux de neurones à base radiale

Les réseaux de neurones à base radiale sont une classe particulière des réseaux de

neurones multicouches. [F.Yang, M.Paindavoine, 2005]

5.1. Présentation des réseaux RBF

L’idée générale des réseaux RBF dérive de la théorie d’approximation des fonctions,

ces réseaux sont une architecture Feedforward puissante. Ce type de réseaux a été

introduit pour la première fois par Hardy, et la théorie correspondante a été

développée par Powell, ensuite, ces réseaux ont pris le terme de réseaux de neurones

grâce a Broomhead et Lowe. Sans oublier les œuvres de MOODYet DARKEN (1989)

d’une part, et de POOGGIO et GIROSI (1990) d’autre part. La raison de son

application vient du fait que le réseau utilise des fonctions gaussiennes standard qui

sont à symétrie radiale. Son apprentissage est basé sur l’algorithme K-means et

l’algorithme des moindres carrées. [1]

Les réseaux de neurones RBFs, sont principalement utilisés pour résoudre des

problèmes d’approximation de fonctions dans des espaces de grandes dimensions.

Ils sont lus adaptés, en raison d’apprentissage local. Ce type d’apprentissage peut

rendre le processus d’entrainement bien plus rapide que dans le cas d’un MLP, qui

apprend de façon globale.

5.2. Architecture générale d’un réseau RBF:

Pour des raisons de simplicité, on a décidé de faire une petite dualité entre le réseau

RBF et le PMC, en précisant les ressemblances et les différences entre les deux types

des réseaux. Ce choix est justifié par la popularité des PMCs et leur vaste utilisation

dans les applications industrielles. Un réseau de neurone de type RBF est un PMC

spéciale, son architecture est identique a celle d’un PMC a une seule couche cachée

donc on peut dire qu’il prend toutes les caractéristiques d’un PMC simple sauf qu’il

différent en quelques points nous citons quelques uns :


Le nombre des couches cachées :

Un réseau RBF ne peut contenir qu’une seule couche cachée, son architecture est

fixée pour tous les problèmes à étudier.

La fonction d’activation :

Le réseau RBF utilise toujours une fonction dite a base radiale centrée d’un point et

munie d’un rayon.

Les poids synaptiques :

Les poids entre la couche d’entrée et la couche cachée dans les modèles neuronaux

de type RBF sont toujours d’une valeur d’unité, c’est-à-dire que l’information inscrite

sur la couche d’entrée sera retransmise sans distorsion vers les neurones de la couche

cachée.

En ce qui concerne les ressemblances entre un réseau RBF et un PMC, on peut

mentionner quelques points :

La fonction de sortie :

Généralement une simple fonction linéaire qui renvoie une sommation pondérée des

valeurs calculées par les neurones de la couche cachée. Bien sur, ce n’est pas toujours

le cas, parfois l’utilisation d’autres fonctions pourrait être plus adéquate dans un

problème donné.

Le sens des connexions :

Les connexions entre les couches suivent le même sens, on peut dire qu’elles ne sont

pas récurrentes, et chaque neurone est entièrement connecté vers les neurones de la

couche suivante.

L’apprentissage :

Pour calculer les poids de la couche de sortie, on utilise un apprentissage supervisé

pour les deux types de réseaux.


Figure 4.8. : Architecture d’un Réseau de Neurone RBF

5.3. La fonction à base radiale

Les fonctions à base radiale (ou RBF), sont apparus à la fin des années 80 comme de

nouvelles variantes des réseaux de neurones. Divers types de fonctions peuvent être

utilisées comme noyau ou fonction de base, la fonction gaussienne reste cependant la

plus utilisée. [A.Seghouane, G.Fleury, 2003],[2].

La fonction gaussienne ne répond qu’à une petite région de l’espace d’entrée, région

sur laquelle elle est centrée. Sa forme générale est donnée par :

H(y)=exp (-|y-c|²/2µ²)

Avec y est une entrée scalaire, et µ>0.

Les paramètres de cette fonction sont le centre C et le rayon noté par µ. La raison

essentielle du choix de la gaussienne comme fonction de base des RBFs est que cette

fonction est factorisable. En effet, on peut facilement démontrer que parmi toutes les

fonctions de base, la gaussienne est la seule fonction qui peut être décomposée en

produit de fonctions gaussiennes unidimensionnelles.

H(y)=̟i exp (-|y-c|²/2µ²)

Avec y= [yi] et C= [Ci].Cette particularité devient intéressante pour l’adéquation

biologique des réseaux de neurones artificiels.


Figure 4.9 : Quelques fonctions radiales

5.4. La phase d’apprentissage :

Plusieurs méthodes d’apprentissage ont été développées pour ces types de réseaux,

on dit souvent que l’apprentissage du réseau RBF est hybride : non supervisé pour

l’étape de construction du réseau, et supervisé pour la détermination des poids de la

couche de sortie. Lors de l’étape de construction du réseau, il y a quatre paramètres

principaux à régler :

Le nombre de neurones RBF.

La position des centres des gaussiennes de chacun des neurones.

La largeur de ces gaussiennes.

Le poids des connexions entre les neurones RBF et le(s) neurone(s) de sortie.

5.4.1. L’étape de construction du RBF :( non supervisé)

Toute modification d’un de ces paramètres entraîne directement un changement du comportement du réseau.

Le nombre de neurones RBF (N) et la position des gaussiennes sont deux paramètres intimement liés.

Nombre et position avec N<I :

N : le nombre de neurone.

I : le nombre d’exemple soumis au réseau.


Dans ce cas-ci, le nombre de neurones RBF devient un véritable paramètre. Il n’existe

pas de méthode pour le déterminer. Il s’agit donc de trouver le nombre

de centroïdes adéquat lié au problème donné. Une fois le nombre de centroïdes

choisi, il faut déterminer leur position. Pour ce faire, il existe aussi plusieurs

techniques parmi ces techniques on utilise la méthode k-means.

Une fois tous les centres Cj choisis, il faut déterminer la largeur (ß) des gaussiennes.

Une règle empirique consiste à prendre :

ß = avec M = nombre des centroïdes et d = max ||ci - cj||, 1≤ i, j ≤ M

Si on choisit un ß égal pour toutes les gaussiennes.

Mais rien n’impose de prendre la même valeur de ß pour chaque centroïde. Dans ce

cas, une autre règle nous dit : ßj = ||xi - cj||

5.4.2. L’étape de détermination des poids du RBF:( supervisé)

Une fois le nombre et la position des centroïdes et la largeur des gaussiennes fixés,

les poids de chacune des connexions (RBF-output) peuvent être calculé par

l’équation matricielle suivante : [1], [2]

Avec f(x) = EXP(x² / (2* ß²)), la gaussienne.

La matrice colonne Y, les outputs attendus

M, le nombre de centroïdes.

N, le nombre d’exemples dans la base d’apprentissage .

L’équation précédente est de la forme :AW=Y avec A est une matrice M*N.

Pour une première opération, on peut simplifier cette équation par :

M

d

∑=

N

iN 18

1

=

−−

−−−−

NMMNN

M

M

y

y

y

w

w

w

cxfcxf

cxfcxf

cxfcxf

......

||)(|| ... ||)(||

... ... ...

||)(|| ... ||)(||

||)(|| ... ||)(||

2

1

2

1

1

212

111


On est obligé de calculer l’inverse de la matrice A par la méthode classique.

Mais la plupart des cas rencontrés, cette matrice est inversable on recherche donc a

minimiser : ||AW-Y||

On n’a en général aucune certitude sur le conditionnement de la matrice A, et il vaut

donc mieux employer une méthode robuste d’estimation. La méthode la plus utilisé

est le calcul de la matrice pseudo inverse de a la méthode nommée SVD est

typiquement une bonne méthode pour ce genre de calcul.

On cherche la matrice la pseudo inverse de la matrice A[M*N].

Si A est une matrice M fois N, alors il existe deux matrices orthogonales U et V :

U= {u1, u2,u3,…….un}, v={v1,v2,v3,………vn}

Tel que :

Avec diag matrice diagonale et k=min (M, N).

Le pseudo inverse de A est alors donnée par :

L’algorithme de rétro-propagation du gradient

L’algorithme de rétro-propagation a été développé pour entrainer des perceptrons

multicouches. L’idée est d’entrainer un réseau en propageant les erreurs de sortis en

sens inverse du réseau a travers les couches. Ces erreurs servent alors à évaluer les

dérivés de la fonction d’erreur en fonction des poids qui peuvent ainsi être ajustés.

Le but de l’algorithme est de minimiser la fonction de cout suivante :

Avec les yn sont les sorties désirées pour chaque exemple d’apprentissage xi, et les ýn


sont les sorties réelles obtenues par le réseau, et S0 est l’ensemble des sorties.

La modification des poids de la connexion reliant le jème neurone de la couche cachée et le i eme neurone de la couche de sortie est donnée par :

N représente un petit nombre positif nommé le pas d’apprentissage .On calcule la

quantité suivante : [H.Robaye, 2006], [1]

On calcule le terme suivant a part :

Tel que f’(ai) représente la dérivée de la fonction d’activation au point ai,

Et .On définit la quantité suivante :

Et on écrit la variation du poids qui définit la règle d’apprentissage

Signalons enfin que le processus sera terminé lorsque le taux d’erreur est acceptable (inférieur a un seuil définit préalablement) après un nombre fini d’itérations.[2]


5.5. La phase de test :

Enfin, une fois l’apprentissage effectué, la partie test peut commencer. Elle se résume aussi en une équation matricielle :

Avec f(x) = EXP(x² / (2* ß ²)), la gaussienne.

La matrice colonne W, les poids des connexions (RBF-output), M, le nombre des centroïdes. ti, le ième élément de la ‘ base de test ’.

6. Avantages et inconvénients des réseaux RBF

Alors que l'on pouvait redouter d'avoir inventé un modèle aux belles propriétés

théoriques, mais inutilisable en raison de durées d'apprentissage prohibitives, c'est

tout le contraire qui se produit : la construction d'un réseau RBF est rapide et facile,

et c'est là le principal avantage de la technique [1],[2].

Mais cet avantage se paye par des performances qui ne peuvent être aussi bonnes

que celles de techniques plus sophistiquées (comme le Perceptron Multicouches). En

particulier, les réseaux RBF sont peu performants :

• Sur les données dans des espaces de grande dimension (beaucoup de

variables d'entrée). Cette faiblesse est propre à toutes les techniques locales.

• Sur des données très bruitées. La reconstruction locale de la fonction empêche

le réseau de "moyenner" le bruit sur tout l'espace (comparez avec

la Régression Linéaire, dont l'objectif est justement de moyenner le bruit sur

les données).

[ ] tOutput_tes ...||)(|| ... ||)(||1

1 =

−−

M

Mii

w

w

ctfctf


7. Conclusion

Nous venons de voir dans ce chapitre des différents modèles de réseaux de neurones,

c'est-à-dire une vue globale sur les réseaux de neurones.

Nous nous sommes intéressés ensuite à la description des réseaux de neurones à base

radiale RBF.

Contrairement aux méthodes classiques qui ont montré leurs limites, les réseaux de

neurones ont montré leurs tendances à s’adapter à des problèmes complexes grâce à

leur grande capacité de calcul et d’apprentissage. Ils sont l’objet d’utilisation dans les

différents domaines tels que : La reconnaissance des formes et le traitement des

images.

Le grand avantage caractérisé dans les réseaux de neurones à base radiale est que ces

derniers n’ont qu’une seule couche cachée, ce qui les rend les plus simples à utiliser

et les plus rapides.


Bibliographie :

-[01]réseaux de neurones gif-21140 et gif-6432 par Marc Parizeau 2004 université

laval

-[02]Borgi, A., Apprentissage supervise par génération de règles:le système

SUCRAGE, Thèse de l'université de Paris 6 ,1999.

-[03] Yohann BÉNÉDIC APPROCHE ANALYTIQUE POUR L’OPTIMISATION DE

RÉSEAUX

DE NEURONES ARTIFICIELS, Thèseprésentée pour l'obtention du Doctorat de

l'Université de Haute-Alsace(Discipline génie informatique)

-[04] Bishop C.M., Neural Networks for Pattern Recognition, Clarendon Press

OXFORD 1995.

-[05] http://eric.univ-lyon2.fr/~oteytaud/CONNEX/connex.html

-[06] http://www.scico.u-

bordeaux2.fr/~corsini/Pedagogie/ANN/main/node9.html

-[07] http://www.cogs.susx.ac.uk/users/jianfeng/RBF.ppt

-[08] http://www.web-datamining.net/publications/dossiers/neural/histor.asp

-[09] http://home.alex.tuxfamily.org/neuro/neurones.html

(Les réseaux de neurone RBF) - · PDF fileLes réseaux de neurone RBF Page 1 1....

Documents

Transcript of (Les réseaux de neurone RBF) - · PDF fileLes réseaux de neurone RBF Page 1 1....