Christophe Raymond 1/32

LES RESEAUX DE NEURONES

Christophe Raymond 2/32

SOMMAIRE

• IntroductionPourquoi les réseaux de neurones?

• Différents types de réseauxRéseaux bouclés et réseaux non bouclés

• Notion d’apprentissageApprentissage supervisé et non superviséRègles d’apprentissages

• Intelligence Artificielle sur Silicium

• Conclusion

Christophe Raymond 3/32

Pourquoi les réseaux de neurones?

Caractéristiques de l’architecture du cerveau humain:

– une architecture massivement parallèle– une capacité d'apprentissage– une capacité de généralisation– une capacité d'adaptation– une faible consommation énergétique

Christophe Raymond 4/32

Qu’est ce qu’un processus d’Intelligence Artificielle ?

• Un cerveau humain contient environ 1012 cellules de

décision. • Le meilleur processeur en intègre actuellement 1024.• Un circuit logique programmable peut en coder ~ 50.

C’est un processus qui « imite » le mode de fonctionnement parallèle du cerveau humain.

Christophe Raymond 5/32

Le neurone biologique

• Dendrites : Signaux d’entrée• Axone : Signal de sortie

Christophe Raymond 6/32

Neurone formel: le modèle Mc Culloch et Pitts

Un "neurone formel" (ou simplement "neurone") est une fonction algébrique non linéaire et bornée, dont la valeur dépend de paramètres appelés coefficients ou poids.

Les variables de cette fonction sont habituellement appelées "entrées" du neurone, et la valeur de la fonction est appelée sa "sortie".

Christophe Raymond 7/32

Fonctions de transfert (ou fonctions d’activation)

Christophe Raymond 8/32

Différents types d’architecture de réseaux de neurones

Christophe Raymond 9/32

Réseaux bouclés

Un réseau de neurones bouclé à temps discret est régi par une (ou plusieurs) équations aux différences non linéaires, résultant de la composition des fonctions réalisées par chacun des neurones et des retards associés à chacune des connexions.

Les réseaux de neurones bouclés sont utilisés pour effectuer des tâches de modélisation de systèmes dynamiques, de commande de processus, ou de filtrage.

Christophe Raymond 10/32

Réseaux « non bouclés » ou réseaux à couches

Un réseau de neurones non bouclé réalise une (ou plusieurs) fonctions algébriques de ses entrées, par composition des fonctions réalisées par chacun de ses neurones.

Les réseaux de neurones non bouclés sont des objets statiques si les entrées sont indépendantes du temps, les sorties le sont également.

Ils sont utilisés principalement pour effectuer des tâches d'approximation de fonction non linéaire, de classification ou de modélisation de processus statiques non linéaires.

Christophe Raymond 11/32

Notion d’apprentissage

Christophe Raymond 12/32

DéfinitionL ’apprentissage est une phase du développement

d’un réseau de neurones durant laquelle le comportement du réseau est modifié jusqu’à l’obtention du comportement désiré.

On distingue deux grandes classes d’algorithmes d’apprentissage :

– L’apprentissage supervisé– L’apprentissage non supervisé

Christophe Raymond 13/32

Apprentissage supervisé

superviseur

réseau

sortie désirée

sortie obtenue

erreur

EN

TR

EE

S

Christophe Raymond 14/32

Apprentissage non supervisé

réseau sortie obtenue

EN

TR

EE

S

Christophe Raymond 15/32

Règles d’apprentissage

L’apprentissage consiste à modifier le poids des connections entre les neurones.

Il existe plusieurs règles de modification : – Loi de Hebb – Règle de Widrow-Hoff (delta rule)– Règle de Grossberg

i jWij

Christophe Raymond 16/32

Loi de Hebb :

Quand 2 neurones sont excités en même temps, le lien entre les 2 doit être renforcé.

Comment cette loi va t'elle s'exprimer formellement ?L'apprentissage se fait au moyen d'un ensemble de couples (x, d).

wi,j’ = wi,j + µ * (yj * yi) 

j iwij

Règles d’apprentissage

Algorithme:.On initialise µ positif et les poids wi,j (souvent à 0)

.Pour chaque (e,c) de la Base d’apprentissage

.Calculer la sortie s du réseau

.Si s≠c alors

. wi,j’ = wi,j + µ * (yj * yi) 

.Fin Si

.Fin Pour

Christophe Raymond 17/32

Règles d’apprentissage

Y1 Y2 Yv3

1 1 1

1 -1 1

-1 1 -1

-1 -1 -1

Exemple

Initialisation:µ=1w12=w23=0

Echantillon 1:a= 0*1+0*1=0 <=0 y3=-1≠ 1 (=Yv3)

DoncW13’=W13+µ*(Y1*Yv3)=1W23’= W23+µ*(Y2*Yv3)=1

Echantillon 2:a= 1*1+1*(-1)=0 <=0 y3=-1≠ 1 (=Yv3)

DoncW13’’=W13’+µ*(Y1*Yv3)=2W23’’= W23’+µ*(Y2*Yv3)=0

Ainsi de suite

Réseau Fonction d’activation

Christophe Raymond 18/32

Loi de Widrow-Hoff :  wi,j‘ = wi,j + µ * (dj - yj) * yi = wi,j + dwi,j 

             wi,j(t + 1) = poids de la liaison i -> j au temps t + 1              wi,j(t) = poids de la liaison i -> j au temps t              yi = sortie de la cellule i              dj = réponse désirée             µ = constante positive (entre 0.0 et 1.0)

Règles d’apprentissage

La règle de Widrow-Hoff  ou règle du delta est locale, c´est à dire que chaque cellule de sortie apprend indépendamment des autres. 

Une cellule ne modifie les poids des liaisons qui aboutissent à elle que si elle se trompe.

Christophe Raymond 19/32

Loi de Grossberg :

La méthode d’apprentissage de ce réseau est dite “compétitive", le processus d’apprentissage est calculé, en fonction du vecteur présenté et seul un “gagnant” pourra modifier le poids de ses connexions avec les cellules environnantes.

Ce gagnant est élu selon la formule suivante : 

où Wr’ et Wr représentent le poids des connexions au sein du réseau et v le vecteur d’input.

j iwij

Règles d’apprentissage

Christophe Raymond 20/32

L’Intelligence Artificiellesur Silicium

CM1K: 1024 neurones

V1KU: Caméra intelligente équipée d’un moteur d’intelligence artificielle CM1K

CogniBlox

Christophe Raymond 21/32

Les principaux objectifs de l’IAC

La machine doit acquérir de la connaissance et ainsi évoluer en s’adaptant à son environnement: Apprendre, Reconnaitre, Généraliser

Mettre en évidence des relations entre des données hétérogènes, de généraliser et de proposer une décision.

Dispositif d’accès sécurisé multi-experts virtuels

Christophe Raymond 22/32

Un nouveau concept machine

Le temps de réponse ne doit plus dépendre de la taille de la base de données.

1024 processeurs travaillent en parallèle

Le traitement massivement parallèle de l’information

Christophe Raymond 23/32

Quand le feu est rouge, on stoppe

Quand le feu est vert, on passe

Quand le feu est orange ?......!!!

ça dépend : Situation impossible à programmer simplement

L’I.A. une nouvelle façon de penser les problèmes non-linéaires !!L’I.A. est l’outil pour la perception globale de l’environnement.

IA sur silicium un nouvel outil à réaction contextuelle

Christophe Raymond 24/32

• Une anticipation rapide des évènements critiques est essentielle et nécessite un traitement local de l’information.

• Pour des raisons économiques, techniques et de sécurité il faut déployer des experts virtuels dupliquant l’expertise humaine au niveau capteur.

??

Un grand nombre de capteursUn seul superviseur

Surcharge!

La perception globale de l’environnement est un défi

Le capteur doit devenir autonome, intelligent et évolutif

Christophe Raymond 25/32

Problème

Bonne bouteille

Source Rovitech

Mauvaise bouteille

Hier : Une caméra avec IP, un média à haute B.P., un ordinateur puissant, un programme, un ingénieur développeur Un client captifAujourd’hui : une caméra intelligente, autonome capable d’apprendre, de reconnaitre et de généraliser Un client expert

l’I.A. est une réalité industrielle Elle est amenée à se développer

Christophe Raymond 26/32

Nouvelle Génération d’ordinateurs:

Analyse qualité de surfaces:

Christophe Raymond 27/32

Pour extraire l’information du « bruit » il faut effectuer une

segmentation.

Mais est-ce suffisant?

L’IA associe des caractéristiques à des concepts

Segmentation – Classification - Reconnaissance

L’information utile n’est pas toujours là où on l’attend!

Christophe Raymond 28/32

Quel est l’apport de l’I.A. ?

Gâcreàdesrchecrehesàl'uinevsertiedeCmabrdige,l'odrredesltetersdansunmotn'aquepeud'ipmrotnace,lasuelecohseipmrotnateestquelapermeireetladreneireltteresionetbeinpalcseé.Driequenuospssaonspulsdelamiotéiedentorevieàarppenrdeàepepellrlesmtos

.Etnnoantnon?

Segmentation – Classification - Reconnaissance

Christophe Raymond 29/32

Gâcre à des rchecrehes à l'uinevsertié de Cmabrdige, l'odrre des lteters dans un mot n'a que peu d'ipmrotnace, la suele cohse

ipmrotnate est que la pèrmeire et la drèneire lttere sionet bein palcseé. Drie que nuos pssaons puls de la miotéie de

ntore vie à arppenrde à epepellr les mtos. Etnnoant non?

L’IA associe des caractéristiques à des concepts: des mots …

Segmentation – Classification - Reconnaissance

Christophe Raymond 30/32

L’extraction de caractéristiques est

une étape essentielle

L’I.A. nécessite de répondre à deux questions- Quels sont les caractères discriminants?

(identification d’événements)

- Quelles sont les différentes catégories? (classification des événements)

Christophe Raymond 31/32

• les réseaux de neurones sont des outils statistiques, qui permettent d'ajuster des fonctions non linéaires très générales à des ensembles de points

• l'utilisation de réseaux de neurones nécessite que l'on dispose de données suffisamment nombreuses et représentatives

• les réseaux de neurones permettent de modéliser des phénomènes statiques (réseaux non bouclés) et dynamiques (réseaux bouclés)

• il faut utiliser, pour la conception du réseau, les connaissances mathématiques dont on dispose sur le phénomène à modéliser.

Conclusion

Traitement nativement parallèle de l'information, Fusion de données hétérogènes, Capacité d’apprendre, de reconnaître et de généraliser, Système évolutif, Simple d’usage, Réponse rapide Faible consommation, Faible coût.

Les points fondamentaux à toujours garder à l'esprit :

Christophe Raymond 32/32

Toute idée qui ne parait pas stupide au départ est vouée à l’échec. A. Einstein