Qu’est ce que vous voyez ?

Université de GhardaïaFaculté des Sciences et TechnologieDépartement des Mathématiques et InformatiqueSpécialité : Master 2 SIEC

PAR :

o Soumia Elyakote HERMAo Khadidja SAIFIA

DIRIGÉ PAR :

o M. OULEDMAHREZ Abdelkader

Exposé Réseaux des

Neurones

PLAN Introduction aux réseaux de neurones (RNs) Historique aux (RNs) Définitions (RNs)

Neurones biologie Réseau de neurone artificiel

Configurations de (RNs) Architecture de (RNs) Fonctionnement de (RNs)

Les fonctions de combinaison Les fonctions de transfert

Apprentissage et classement Algorithmes d’apprentissage conclusion

L’objectif des chercheurs était de construire une machine capable de reproduire certains aspects de l’intelligence humaine.

INTRODUCTION

Comment faitent-ils pour raisonner, parler, calculer, apprendre, ...? Comment s'y prendre pour créer une ou de l'intelligence artificielle ?

HISTORIQUE

• 1943: J. MCCULLOCH & W. PITTSproposent un modèle simple de neurone capable de produire une machine de Turing.

• 1948: D. HEBBpropose une règle d'apprentissage pour des réseaux de neurones .

• 1958: F. ROSENBLATTpropose le modèle du Perceptron et démontre son théorème de convergence.

• 1969: M. MINSKY & S. PAPERTdémontrent les limitations du modèle du Perceptron.

• 1985: APPRENTISSAGE PAR RÉTRO-PROPAGATION POUR LES RÉSEAUX MULTI-COUCHES.

RÉSEAUX DE NEURONES BIOLOGIQUE

Un neurone est une cellule capable de transmettre des informations à d’autres neurones au travers de ses différentes connexions (synapses).

Ils se décomposent en trois régions principales : • Le corps cellulaire• Les dendrites• L’axone

FONCTIONNEMENT DES NEURONES Les neurones reçoivent des signaux

(impulsions électriques) par les dendrites et envoient l ’information par les axones.

Les contacts entre deux neurones (entre axone et dendrite) se font par l ’intermédiaire des synapses.

LES RÉSEAUX DE NEURONES ARTIFICIELS(RNS)

Les réseaux de neurones artificiels sont un moyen de modéliser le mécanisme d'apprentissage et de traitement de l'information qui se produit dans le cerveau humain

DÉFINITION• Un réseau de neurones est un outil d’analyse

permettant de construire un modèle à partir de données, d’exemples.

• En informatique, on appelle réseau de neurones un ensemble d’entrés (les neurones) interconnectées. Dans la majorité des cas, les neurones sont des fonctions calcules par un programme informatique, mais ils sont parfois réalisés sur des circuits électronique.

* LES ÉLÉMENTS DE NEURONE ARTIFICIEL (LE MODEL FORMEL)

• Les entrées "E" du neurone proviennent soit d’autres éléments "processeurs", soit de l’environnement.

• Les poids "W" déterminent l’influence de chaque entrée.

• La fonction de combinaison "p" combine les entrées et les poids.

• La fonction de transfert calcule la sortie "S" du neurone en fonction de la combinaison en entrée.

COMPARUTION

Analogie biologie-artificiel

Biological Neuron

Artificial Neuron

corps cellulaire

neurone

Dendrites inputsAxone outputSynaps poids

APPRENTISSAGE ET CLASSEMENT

Pour un RNA, l'apprentissage peut être considéré comme le problème de la mise à jour des poids des connexions au sein du réseau, afin de réussir la tâche qui lui est demandée. L'apprentissage est la caractéristique principale des RNA et il peut se faire de différentes manières et selon différentes règles. On distingue les types d’apprentissage :

 

SUPERVISÉ :   Dans ce type d'apprentissage, le réseau s'adapte par comparaison entre le résultat qu'il a calculé, en fonction des entrées fournies, et la réponse attendue en sortie. Ainsi, le réseau va se modifier jusqu'a ce qu'il trouve la bonne sortie, c'est-à-dire celle attendue, correspondant à une entrée donnée.

LE RENFORCEMENT :   Le renforcement est en fait une sorte d'apprentissage supervisé et certains auteurs le classe d'ailleurs, dans la catégorie des modes supervisés. Dans cette approche le réseau doit apprendre la corrélation entrée/sortie via une estimation de son erreur, c'est-à-dire du rapport échec/succés. Le réseau va donc tendre à maximiser un index de performance qui lui est fourni, appelé signal de renforcement. Le système étant capable ici, de savoir si la réponse qu'il fournit est correcte ou non, mais il ne connait pas la bonne réponse.  

HYBRIDE :   LE MODE HYBRIDE REPREND EN FAIT LES DEUX AUTRES APPROCHES, PUISQUE UNE PARTIE DES POIDS VA ÊTRE DÉTERMINÉE PAR APPRENTISSAGE SUPERVISÉ ET L'AUTRE PARTIE PAR APPRENTISSAGE NON-SUPERVISÉ.

NON-SUPERVISÉ (OU AUTO-ORGANISATIONNEL) :

Dans ce cas, l'apprentissage est basé sur des probabilités. Le réseau va se modifier en fonction des régularités statistiques de l'entrée et établir des catégories, en attribuant et en optimisant une valeur de qualité, aux catégories reconnues.

CONFIGURATIONS DES RNS- Réseaux partiellement connectés: Chaque neurone est relié à quelques neurones localisés dans son périmètre.

- Réseaux à connexions complètes: Chaque neurone est lié à tous les autres neurones du réseau.

- Réseaux à couches: Tous les neurones d'une couche sont connectés aux neurones de la couche en aval.

ARCHITECTURE DES RNS Les réseaux non bouclés :(feedforward).

Réseaux bouclés : feedback network ou récurrent Network

LES FONCTIONS DE COMBINAISON

p = ∑ Wi Ei

• Wi : Poids de la connexion à l’entrée i.

• Ei : Signal de l’entrée i.

p

Σ f

E1

E2

E3

E4

En

S

w1

w2w3w4wn

FONCTION de COMBINAISON

LES FONCTIONS DE TRANSFERT

ALGORITHMES D’APPRENTISSAGEALGORITHME D’APPRENTISSAGE DU PERCEPTRON

Le perceptron est un modèle de réseau de neurones avec algorithme d'apprentissage créé par Frank Rosenblatt.

1. Initialisation des poids et du seuil à de petites valeurs aléatoires

2. Présenter un vecteur d’entrées x(μ) et calculer sa sortie3. Mettre à jour les poids en utilisant :

wj(t+1) = wj(t) + η (d- y) xj avec d la sortie désirée, w vecteur des poids η est une constante positive ,qui spécifie le pas de modification des

poids

ALGORITHMES D’APPRENTISSAGEALGORITHMES D’APPRENTISSAGE PAR CORRECTION D’ERREUR

Initialiser la matrice des poids au hasard Choisir un exemple en entrée Propager le calcul de cette entrée à travers le réseau Calculer la sortie de cette entrée Mesurer l'erreur de prédiction par différence entre sortie

réelle et sortie prévue Calculer la contribution d'un neurone à l'erreur à partir de

la sortie Déterminer le signe de modification du poids Corriger les poids des neurones pour diminuer l'erreur Le processus recommence ainsi, à partir du choix de

l'exemple en entrée, jusqu'à ce qu'un taux d'erreur minimal soit atteint.

il s'agit de calculer une erreur et d'essayer de minimiser cette erreur.

ALGORITHMES D’APPRENTISSAGEALGORITHMES D’APPRENTISSAGE PAR DESCENTE DE GRADIENT

L'algorithme de Widrow-Hoff est très souvent utilisé en pratique et donne de bons résultats. La convergence est, en général, plus rapide que par la méthode du gradient. Il est fréquent pour cet algorithme de faire diminuer la valeur de e en fonction du nombre d'itérations comme pour l'algorithme du gradient.

ALGORITHMES D’APPRENTISSAGEALGORITHMES D’APPRENTISSAGE WIDROW-HOFF (OU ADALINE)

DOMAINE D’APPLICATION Aujourd'hui, les réseaux de neurones ont de nombreuses

applications dans des domaines très variés : traitement d'image : compression d'images, reconnaissance de

caractères et de signatures, reconnaissance de formes et de motifs, cryptage, classification, ...

traitement du signal : traitement de la parole, identification de sources, filtrage, classification, ...

contrôle : diagnostic de pannes, commande de processus, contrôle qualité, robotique, ...

optimisation : allocation de ressources, planification, régulation de trafic, gestion, finance, ...

simulation : simulation boîte noire, prévisions météorologiques classification d'espèces animales étant donnée une analyse ADN modélisation de l'apprentissage et perfectionnement des

méthodes de l'enseignement approximation d'une fonction inconnue ou modélisation

d'une fonction connue mais complexe à calculer avec précision

AVANTAGES ET INCONVÉNIENTSAVANTAGES DES RNS

Capacité de représenter n'importe quelle fonction, linéaire ou pas, simple ou complexe.

Faculté d'apprentissage à partir d'exemples représentatifs, par « rétro propagation des Erreurs ». L'apprentissage (ou construction du modèle) est automatique

Résistance au bruit ou au manque de fiabilité des données.

Simple à manier, beaucoup moins de travail personnel à fournir que dans l'analyse statistique classique. Aucune compétence en matis, informatique statistique requise.

Comportement moins mauvais en cas de faible quantité de données.

Pour l'utilisateur novice, l'idée d'apprentissage est plus simple à comprendre que les complexités des statistiques multi variable

AVANTAGES ET INCONVÉNIENTS INCONVÉNIENTS DES RNS

L'absence de méthode systématique permettant de définir la meilleure topologie du réseau et le nombre de neurones à placer dans la (ou les) couche(s) cachée(s).

Le choix des valeurs initiales des poids du réseau et le réglage du pas d'apprentissage, qui jouent un rôle important dans la vitesse de convergence.

Le problème du sur apprentissage (apprentissage au détriment de la généralisation).

La connaissance acquise par un réseau de neurone est codée par les valeurs des poids sont inintelligibles pour l'utilisateur

CONCLUSIONLes réseaux de neurones artificiels,

inspirés du comportement du cerveau humain, permettent de créer de l'intelligence artificielle.

Notamment appliqués en datamining principalement à travers l'apprentissage non supervisé, ils servent à prédire, à identifier et à classifier les données.

L'apprentissage, moteur essentiel du système, leur permet d'assimiler un traitement d'information à travers une fonction et de le reproduire pour les données qui lui seront ensuite présentées.

Merci pour votre attention

Question ?