Introduction

Réseau de neurones artificiel?• Abstraction du système nerveux humain

– Traitement parallèle de l’information• Par opposition à un automate sériel comme un

ordinateur

– Capacité d’apprentissage et d’adaptation• Principe de traitement très simples et identiques

pour tous les éléments• Mais comportement de groupe complexe!• Applications

– Résolution de problèmes difficiles – Modélisation biologique

Réseau de neurones biologique

• Quand un pigeon devient expert en art! (Watanabe et al. 1995)

– Experience :• Pigeon dans une boîte de Skinner• Exposition aux tableaux de deux artistes

(Chagall / Van Gogh)• Récompense pour bec à la vue d’un tableau de

l’un des artistes (e.g. Van Gogh)

• Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement

• Précision de 85% pour les tableaux non vus auparavant!

• Mémoire oui, mais aussi – Identification de traits essentiels et/ou

généralisation– Pas d’usage apparent d’un processus réfléchi– Force majeure des réseaux de neurones!

(artificiels et biologiques)

Les réseaux de neurones artificiels

• Opèrent par apprentissage et non programmation

• Une fois présentés avec des stéréotypes de comportement à apprendre, peuvent généraliser.– Ex: Reconnaître des images partielles après

avoir appris des images complètes.• Troquent le traitement séquentiel familier

pour un traitement parallèle de l’information

Quelques domaines d’application

• Reconnaissance de formes– (ex. : détection de cellules cancéreuses)

• Régulation de processus industriels– (ex. : dosage d’ingrédients)

• Pilotage automatique de véhicules automobiles• Reconnaissance de la voix et de l’écriture manuscrite• Interprétation de la parole et du texte écrit• Prédiction boursière/environnementale• Amélioration des moyens de trucider le voisin!

Catégorisation des domaines

• Classification• Regroupement/Catégorisation• Approximation de fonctions• Prévision/prédiction• Optimisation (plus court chemin, routage, etc.)• Mémoires adressables par contenu• Automatique

Niveaux de traitement dans le système nerveux central humain

Molécules0.1mm

Synapses1mm

Neurones100mm

Réseaux locaux1mm

Régions1cm

Sous-Systèmes10cm

SNC1m

RNA 101

• Un réseau de neurones artificiels (RNA) incorpore Les deux composants fondamentaux d’un rèseau de neurones biologique:

1. Neurones (noeuds)

2. Synapses (poids)

Circuits locaux dans le cortex visuel

LGN inputs Cell types

Neurone biologique

Sortie impulsive :1 – Le neurone répond0 – Le neurone ne répond pas (Sans nécessairement être inactif)

Synapse biologiqueAgent principal du comportement neuronal Connexion typique le long d’un arbre dendritiqueForce de connexion variable + ou -Plasticité à court termeUtilisation de mécanismes électrochimiquesOrigine corrélationnelle?

Types de synapses

Électrique (rare)

• 3.5 nm pré-post distance

• Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels)

• Courant ionique• Propagation instantanée• Transmission bidirectionnelle

Chimique

• 20-40 nm pré-post distance

• Discontinuité cytoplasmique• Vésicules présynoptiques et

récepteurs postsynaptiques

• Transmetteur chimique• Délai synaptique .3 ms• Transmission

unidirectionnelle

Synapse dendritique

Synapse dendritique

Transmitter Channel-typ Ion-current ActionTransmitter Channel-typ Ion-current Action

Acetylecholin nicotin. Receptor Na+ and K+ excitateur

Glutamate AMPA / Kainate Na+ and K+ excitateur

GABA GABAA-Receptor Cl- inhibiteur

Glycine Cl- inhibiteur

Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release

Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension

bloqué au potentiel de repos

Neurotransmetteurs

Synaptic Plasticity

• Plusieurs types– Amino Acides : Glutamate, GABA– Amines biogéniques : Dopamine, Histamine– Neuropeptides … LHRH, Proctolin– Endorphines, acetylcholine, etc.

• NMDA, GABAA sonr frèquents au niveau des récepteurs

• Certains sont excitateurs et d`autres inhibiteurs

Neurotransmetteurs

Synapse excitatrice vs. inhibitrice

0 10

0

-40

-60

-20

20V [m V]

20 t [m s]0 10

0

-40

-60

-20

20V [m V]

20 t [m s]

0 50 150 t [ms]100

0

-40

-60

-20

V [mV]

0 5 0 1 5 0 t [ m s ]1 0 0

0

- 4 0

- 6 0

- 2 0

V [ m V ]

0 10

0

-40

-60

-20

20V [m V]

20 t [ms]

0 10

0

-40

-60

-20

20V [m V]

20 t [m s]

Exemples de sommations dendritiques

0 20 80 t [ms]40 60

0

-40

-60

-20

V [mV]

0 20 80 t [ms]40 60

0

-40

-60

-20

V [mV]

De l’entité biologique au modèle

Neurone -> Nœud Synapse -> Arc pondéré

Modélisation simplifiée

Entrée

Poids synaptiques

Sommateurlinéaire

Fonction d’activationÉtat

internev

Sortiey

x1

x2

xm

w2

wm

w1

)(

w0x0 = +1

Biais

bw

xwv j

m

j

j

0

0

Hypothèses :• Synapses synchrones• Pas de pertes• Sortie non impulsive

24

Fonctions d’activation communes

• L’information de phase est perdue

• Plusieurs fonctions existent

• L’efficacité dépend de l’application

• Simplifications des séquences d’impulsions• La fréquence des impulsions remplace l’information

individuelle

Fréquence des impulsions biologiques

• La valeur moyenne dépend de plusieurs facteurs– Pertes (leakage), saturation, sources de bruit

• Généralement modelé avec une fonction sigmoïde

• Réside dans la présence et la force des connexions inter-neuronales (synapses), mais :– Différents types de neurones– Différents types de topologies de réseaux

Comment trouver les bons poids?

savoir du réseau

Plasticité synaptique

Les facteurs clès sont l‘activitè prèsynaptique, la depolarisation post synaptique et l‘entree de calcium à travers des récepteurs specialisés

Plasticité synaptique

Plasticité synaptique

Potentiation et dépression à long term (LTP et LTD)

Stimulation de 1 s à haute fréquence (100Hz) (montre aussi l.effect de l’endroit de stimulation sur l’arbre dendritique)

Stimulation de 15 min à basse fréquence (1 Hz)

• Modèle simplifié à un produit de sorties dans les RNA

• Cependant, ne rend pas compte de la causalité temporelle des événements pré et post synaptiques.

pre postw x x

Spike-timing Dependent Synaptic Plasticity (STDP)

From Bi and Poo J. Neurosci. 18, 10464 (1998)

• La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique.

• Plus conforme à la règle de Hebb (ajout de la causalité temporelle)

• Popularité ascendante dans les modèles artificiels

Topologies de base

• En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie

Unités de Sortie

Unités d’entrée

Unitéscachées

Unités d’entrée

i

xj= Ajiyi

j

Aiji

yj=f(xj)

Taxonomie

+BSB, BAM, etc.

Capacité de classification d’un PMC

Pourquoi aller aussi loin ?

• Un modèle simple de mémoire associative :1. On part de/forme un ensemble orthogonal de

vecteurs {xi} à mémoriser

2. On définit l’ensemble des vecteur-réponses désirés {yi}

3. On calcule la matrice 4. La fonction de rappel d’un stimulus quelconque x est

alors:• Ça fonctionne, non? Oui, mais que se passe-t-il

lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?

xy=A tii

i

x A=y