Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et...

Introduction

NeuroneFormel

Fonctiond’activation

Définitions

Perceptron

PerceptronMulticouches

1/19

Introduction aux réseaux de neuronesartificiels

Wilfried Segretier

LAboratoire de Mathématiques, Informatique et Applications (LAMIA)Université des Antilles et de la Guyane

Campus de Fouillole, Guadeloupe24 mai 2018

Introduction

NeuroneFormel


Définitions

Perceptron


2/19 Plan

1 Introduction

2 Neurone Formel

3 Fonction d’activation

4 Définitions

5 Perceptron

6 Perceptron Multicouches

Introduction

NeuroneFormel


Définitions

Perceptron


3/19 Introduction

Réseaux de neurones artificiels (ANN)

I Modèles inspirés par lefonctionnement du cerveau humain

I interconnexion d’unitésélémentaires : les neurones

I utilisés en IA/apprentissageautomatique pour la résolution deproblèmes complexes

I en particulier classification(supervisée ou non), régression, ...

I ex : reconnaissance de caractèresmanuscrits, guidage de véhiculesautonomes, reconnaissance deformes, ...

Introduction

NeuroneFormel


Définitions

Perceptron


4/19 Modèle biologique

Neurone

I cellule cérébrale

I collecte, traite, transmet des signaux électriques

I fonctionnement non linéaire (effet de seuil)

I postulat : les performances du cerveau emergent del’interconnexion de neurones

Introduction

NeuroneFormel


Définitions

Perceptron


5/19 Historique

I 1943 - McCulloch et Pitts : définition d’un neurone formelI 1958 - Rosenblatt : modèles avec processus

d’apprentissage, perceptronI 1974 - 1986 Werbos, Rumelhart, Le Cun : perceptron

multicouche, retropropagation du gradientI De nos jours : Deep Learning

Introduction

NeuroneFormel


Définitions

Perceptron


6/19 Neurone Formel

Modélisation mathématique d’un neurone

I signaux d’entrée

I coefficients synaptiques(poids)

I somme pondérées

I

I fonction d’activation

I

Introduction

NeuroneFormel


Définitions

Perceptron


7/19 Fonction d’activation

Exemples de fonctions d’activation

I fonction à seuil : renvoie 1 quand l’entrée est positive, 0sinon

I fonction logistique (sigmoide) : 1/(1+ e−λx)

Introduction

NeuroneFormel


Définitions

Perceptron


8/19 Exemple : fonctions booléenes

I Fonction d’activation : seuilI Il est possible de combiner ces neurones pour créer

n’importe quelle fonction booléenne.

Introduction

NeuroneFormel


Définitions

Perceptron


9/19 Réseau de neurones

DéfinitionUn réseau de neurones est un graphe valué orienté, constitué d’unensemble d’unités, réalisant des calculs élémentaires, structurées encouches successives capables d’échanger des informations au moyende connexions qui les relient.

Un réseau de neurone se caractérisenotamment par :

I son architecture

I les fonctions de ses éléments

Deux grandes catégories :

I acycliques (feed-forward)

I cycliques (récurrents)

Introduction

NeuroneFormel


Définitions

Perceptron


10/19 Perceptron

I Rosenblatt 1958

I Réseau feed-forwardmonocouche

I Les entrées sont directementreliées aux sorties

I séparateur linéaire carW .x = 0 défini un hyperplandans l’espace des entrées

Introduction

NeuroneFormel


Définitions

Perceptron


11/19 Algorithme d’apprentissage du perceptron

Introduction

NeuroneFormel


Définitions

Perceptron


12/19 Remarques

I Si fonction d’activation différentiable (differentes de fct seuil) :multiplication de l’erreur par la dérivée

I Choix de ε arbitraire

I trop grand : oscillation autour du minimum

I trop petit : nombre élevé d’itérations

I échantillon non linéairement séparable : l’algorithme neconverge pas

I solutions différentes en fonction de poids initiaux

I manque de robustesse (nouvel exemple d’apprentissage)

Introduction

NeuroneFormel


Définitions

Perceptron


13/19 Exemple application perceptron

Introduction

NeuroneFormel


Définitions

Perceptron


14/19 Perceptron : Exercice

Considérez l’ensemble d’exemples suivants,chacun ayant six entrées et une sortie cible :

1 Exécutez la règle d’apprentissage du perceptron sur ces donnéeset montrez les poids finaux

2 Exécutez la règle d’apprentissage d’un arbre de décision sur cesdonnées et montrez l’arbre obtenu

3 Comparez les résultats

Introduction

NeuroneFormel


Définitions

Perceptron


15/19 Perceptron Multicouches introduction

I Permet de pallier le principal désavantage des perceptronssimplerightarrow la niéarité

I Modèle très précis si bien paramétréI Possibilité de surapprentissageI Modèle Boîte noire : non explicite, causalité entre le

phénomène modélisé et les poids définis pas toujoursévidente

Introduction

NeuroneFormel


Définitions

Perceptron


16/19 Perceptron Multicouches (MLP)

I Réseau feed-forward avec couchesintermédiaires

I Chaque neurones d’une couche estrelié à l’ensemble des neurones dela couche suivantes

I Résolution de problèmesnon-linéaires grâce auxcombinaisons de neurones

I Fct activation : fct logistique(sigmoide)

I Cybenko (1989) Toute fonctioncontinue sur Rp peut êtreapproximée avec une précisionarbitraire avec un MLP à unecouche intermédiaire

Introduction

NeuroneFormel


Définitions

Perceptron


17/19 Apprentissage d’un MLP

I Principe similaire à l’apprentissage du perceptron simpleI ajout d’un mécanisme de rétropropagation de l’erreurI permet d’ajuster les poids en faisant remonter l’erreur des

sorties vers les différentes couchesI 2 phases s’alternent jusqu’a la convergence

1 Feed-forward : calcul des sorties, les signaux transitentpar les différentes couches

2 Backpropagation : les sorties obtenues sont comparéesaux sorties attenduesune erreur est calculée pour chaque sortieles poids des liens ayant contribué a chaque erreur sontajustés de la fin vers le début

I on cherche à minimiser les erreurs au fur et à mesure(descente de gradient)

Introduction

NeuroneFormel


Définitions

Perceptron



Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et...

Documents

Transcript of Introduction aux réseaux de neurones artificiels · LAboratoire de Mathématiques, Informatique et...