Post on 04-Apr-2015
Introduction
Réseau de neurones artificiel?• Abstraction du système nerveux humain
– Traitement parallèle de l’information• Par opposition à un automate sériel comme un
ordinateur
– Capacité d’apprentissage et d’adaptation• Principe de traitement très simples et identiques
pour tous les éléments• Mais comportement de groupe complexe!• Applications
– Résolution de problèmes difficiles – Modélisation biologique
Réseau de neurones biologique
• Quand un pigeon devient expert en art! (Watanabe et al. 1995)
– Experience :• Pigeon dans une boîte de Skinner• Exposition aux tableaux de deux artistes
(Chagall / Van Gogh)• Récompense pour bec à la vue d’un tableau de
l’un des artistes (e.g. Van Gogh)
• Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement
• Précision de 85% pour les tableaux non vus auparavant!
• Mémoire oui, mais aussi – Identification de traits essentiels et/ou
généralisation– Pas d’usage apparent d’un processus réfléchi– Force majeure des réseaux de neurones!
(artificiels et biologiques)
Les réseaux de neurones artificiels
• Opèrent par apprentissage et non programmation
• Une fois présentés avec des stéréotypes de comportement à apprendre, peuvent généraliser.– Ex: Reconnaître des images partielles après
avoir appris des images complètes.• Troquent le traitement séquentiel familier
pour un traitement parallèle de l’information
Quelques domaines d’application
• Reconnaissance de formes– (ex. : détection de cellules cancéreuses)
• Régulation de processus industriels– (ex. : dosage d’ingrédients)
• Pilotage automatique de véhicules automobiles• Reconnaissance de la voix et de l’écriture manuscrite• Interprétation de la parole et du texte écrit• Prédiction boursière/environnementale• Amélioration des moyens de trucider le voisin!
Catégorisation des domaines
• Classification• Regroupement/Catégorisation• Approximation de fonctions• Prévision/prédiction• Optimisation (plus court chemin, routage, etc.)• Mémoires adressables par contenu• Automatique
Niveaux de traitement dans le système nerveux central humain
Molécules0.1mm
Synapses1mm
Neurones100mm
Réseaux locaux1mm
Régions1cm
Sous-Systèmes10cm
SNC1m
RNA 101
• Un réseau de neurones artificiels (RNA) incorpore Les deux composants fondamentaux d’un rèseau de neurones biologique:
1. Neurones (noeuds)
2. Synapses (poids)
Circuits locaux dans le cortex visuel
LGN inputs Cell types
Neurone biologique
Sortie impulsive :1 – Le neurone répond0 – Le neurone ne répond pas (Sans nécessairement être inactif)
Synapse biologiqueAgent principal du comportement neuronal Connexion typique le long d’un arbre dendritiqueForce de connexion variable + ou -Plasticité à court termeUtilisation de mécanismes électrochimiquesOrigine corrélationnelle?
Types de synapses
Électrique (rare)
• 3.5 nm pré-post distance
• Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels)
• Courant ionique• Propagation instantanée• Transmission bidirectionnelle
Chimique
• 20-40 nm pré-post distance
• Discontinuité cytoplasmique• Vésicules présynoptiques et
récepteurs postsynaptiques
• Transmetteur chimique• Délai synaptique .3 ms• Transmission
unidirectionnelle
Synapse dendritique
Synapse dendritique
Transmitter Channel-typ Ion-current ActionTransmitter Channel-typ Ion-current Action
Acetylecholin nicotin. Receptor Na+ and K+ excitateur
Glutamate AMPA / Kainate Na+ and K+ excitateur
GABA GABAA-Receptor Cl- inhibiteur
Glycine Cl- inhibiteur
Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release
Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension
bloqué au potentiel de repos
Neurotransmetteurs
Synaptic Plasticity
• Plusieurs types– Amino Acides : Glutamate, GABA– Amines biogéniques : Dopamine, Histamine– Neuropeptides … LHRH, Proctolin– Endorphines, acetylcholine, etc.
• NMDA, GABAA sonr frèquents au niveau des récepteurs
• Certains sont excitateurs et d`autres inhibiteurs
Neurotransmetteurs
Synapse excitatrice vs. inhibitrice
0 10
0
-40
-60
-20
20V [m V]
20 t [m s]0 10
0
-40
-60
-20
20V [m V]
20 t [m s]
0 50 150 t [ms]100
0
-40
-60
-20
V [mV]
0 5 0 1 5 0 t [ m s ]1 0 0
0
- 4 0
- 6 0
- 2 0
V [ m V ]
0 10
0
-40
-60
-20
20V [m V]
20 t [ms]
0 10
0
-40
-60
-20
20V [m V]
20 t [m s]
Exemples de sommations dendritiques
0 20 80 t [ms]40 60
0
-40
-60
-20
V [mV]
0 20 80 t [ms]40 60
0
-40
-60
-20
V [mV]
De l’entité biologique au modèle
Neurone -> Nœud Synapse -> Arc pondéré
Modélisation simplifiée
Entrée
Poids synaptiques
Sommateurlinéaire
Fonction d’activationÉtat
internev
Sortiey
x1
x2
xm
w2
wm
w1
)(
w0x0 = +1
Biais
bw
xwv j
m
j
j
0
0
Hypothèses :• Synapses synchrones• Pas de pertes• Sortie non impulsive
24
Fonctions d’activation communes
• L’information de phase est perdue
• Plusieurs fonctions existent
• L’efficacité dépend de l’application
• Simplifications des séquences d’impulsions• La fréquence des impulsions remplace l’information
individuelle
Fréquence des impulsions biologiques
• La valeur moyenne dépend de plusieurs facteurs– Pertes (leakage), saturation, sources de bruit
• Généralement modelé avec une fonction sigmoïde
• Réside dans la présence et la force des connexions inter-neuronales (synapses), mais :– Différents types de neurones– Différents types de topologies de réseaux
Comment trouver les bons poids?
savoir du réseau
Plasticité synaptique
Les facteurs clès sont l‘activitè prèsynaptique, la depolarisation post synaptique et l‘entree de calcium à travers des récepteurs specialisés
Plasticité synaptique
Plasticité synaptique
Potentiation et dépression à long term (LTP et LTD)
Stimulation de 1 s à haute fréquence (100Hz) (montre aussi l.effect de l’endroit de stimulation sur l’arbre dendritique)
Stimulation de 15 min à basse fréquence (1 Hz)
• Modèle simplifié à un produit de sorties dans les RNA
• Cependant, ne rend pas compte de la causalité temporelle des événements pré et post synaptiques.
pre postw x x
Spike-timing Dependent Synaptic Plasticity (STDP)
From Bi and Poo J. Neurosci. 18, 10464 (1998)
• La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique.
• Plus conforme à la règle de Hebb (ajout de la causalité temporelle)
• Popularité ascendante dans les modèles artificiels
Topologies de base
• En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie
Unités de Sortie
Unités d’entrée
Unitéscachées
Unités d’entrée
i
xj= Ajiyi
j
Aiji
yj=f(xj)
Taxonomie
+BSB, BAM, etc.
Capacité de classification d’un PMC
Pourquoi aller aussi loin ?
• Un modèle simple de mémoire associative :1. On part de/forme un ensemble orthogonal de
vecteurs {xi} à mémoriser
2. On définit l’ensemble des vecteur-réponses désirés {yi}
3. On calcule la matrice 4. La fonction de rappel d’un stimulus quelconque x est
alors:• Ça fonctionne, non? Oui, mais que se passe-t-il
lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?
xy=A tii
i
x A=y