Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes...

Chapitre 5

Mémoires associatives

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #6 - 2

Plan Architecture Phases d’opérations Catégories Entraînement

Hebb Delta

Mémoire anticipative Mémoire itérative


Découverte 3 livres du groupe PDP

Vol. 1: théorie 1986

Vol. 2: modèles bio. 1986 Vol. 3: modèles informatiques 1988successeur: PDP++ 2003 http://psych.colorado.edu/~oreilly/PDP++/PDP++.html

Bibles de l’époque Modèles info. PC-MAC-UNIX

Bases de la rétropropag. Appendice: analyse vectorielle

1. Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 1: Foundations. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 1. 1986, The MIT Press: Cambridge, Massachusetts. 547.2. McClelland, J.L., D.E. Rumelhart, and the PDP Research Group, eds. Parallel Distributed Processing - Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. Vol. 2. 1986, The MIT Press: Cambridge, Massachusetts. 611.3. McClelland, J.L. and D.E. Rumelhart, Explorations in Parallel Distributed Processing - A Handbook of Models, Programs, and Exercises. Computational Models of Cognition and Perception, ed. J.A. Feldman, P.J. Hayes, and D.E. Rumelhart. 1989, Cambridge, Massachusetts: The MIT Press. 353.


Principaux domaines d ’application

1. Classification2. Regroupement3. Approximation4. Prédiction5. Optimisation de parcours6. Mémoire associative7. Commande


Reconstruction d ’images


• Exemple d’application


5.1 Architecture

W

x1

x2

xN yM

y2

y1


x1

x2

xn

xN

y1

y2

ym

yM

w 1n

w 2n

wmn

wMn


€

W =

w11 w12 L w1n L w1N

M M M M M M

wm1 wm2 L wmn L wmNM M M M M M

wM1 wM 2 L wMn L wMN

⎡

⎣

⎢ ⎢ ⎢ ⎢ ⎢ ⎢

⎤

⎦

⎥ ⎥ ⎥ ⎥ ⎥ ⎥

€

X = x1 x2 L xN[ ]

Y = y1 y2 L yM[ ]

€

Y = XW T

Y T =WXT


Phases d’opération1- Entraînement

Prototype à mémoriser:

Mémorisation:

Entrée:

2- Recherche

Pk ≤≤1Vk

W= W(k)

k:1

p

∑

kT

TT

T

WXY

XWY

==


Catégories 1- Mémoire auto-associative

2- Mémoire héréro-associative

PkVTkk TVkk ≤≤→ = 1

PkVTkk TVkk ≤≤→ ≠ 1


5.2 Entraînement Règle de Hebb

Algorithme0- Initialisation

Wmn = 0

1- Pour chaque paire T : V2- xn = tn

3- ym = vm

4- Wmn = Wmn(précédent) + xnym


Algorithme alternatif: produit externe de vecteurs

PIWW −=0

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

=×==

MNNN

Mnnn

Mm

kTkkkk

vtvtvt

vtvtvt

vtvtvt

VTVTW

LL

MMM

LL

MMM

LL

o

11

11

1111

∑=

×=P

kk

Tk VTW

1


Phase de recherche

1- Entrées non-corrélées (vecteurs orthogonaux)

recouvrement total et parfait

2- Entrées corrélésrecouvrement croisé (bruit d’intercorrélation)

llk TTX == =

TXWY =

∑

∑

≠

+=

=

lkk

Tkll

Tll

p

kk

Tkl

VTTVTT

VTT1:


Capacité d’emmagasinement–Maximum: N-1 (si tous les vecteurs d’apprentissage sont orthogonaux)

–Pour un réseau de Hopfield (mémoire itérative):

NPN

15,0log2 2

<<


Règle DeltaRègle itérative utilisée pour des vecteurs à mémoriser qui sont linéairement indépendants mais non-orthogonaux. La règle atténue les effets de corrélation croisée et produit une solution de moindres carrés lorsque les vecteurs ne sont pas linéairement indépendants

ijjjij

ijjiij

ii

xyvnetfw

netwxfy

tx

)()( −′=Δ

⎟⎠

⎞⎜⎝

⎛ ==

=

∑η


5.3 Mémoires anticipatives

Algorithme 1- Entraînement

a) Hebbienb) Delta

2- Forme (partielle ou bruitée) présentée à l’entrée

01

00

01

<−=>

=

=∑

j

j

j

j

ijiij

netnetnet

y

wxnet


5.4 Mémoires itératives 5.4.1 Réseau de Hopfield

1 1

-1

y1 y3

x2

1x1

1

y2

-2

+1+4

⎪⎩

⎪⎨

⎧

<−

≥=

=

=

∑∑

jjij

jjij

i

ii

jiij

yw

yw

y

w

ww

01

01

0


Énergie d’un réseau de Hopfield


Algorithme 1- Entraînement: mémoriser les couples T:V

PIVTW k

P

k

Tk −=∑

=1

2- Forme (partielle ou bruitée) présentée à l’entrée

yi = xi

Relaxation:

Pour chaque neurone (pris au hasard):

neti =xi + yjwijj

∑

yi =

1 neti >θiyi neti =θi−1 neti <θi


Un réseau simple de Hopfield


Relaxation7

5 4 3

12+1

-1

6


Les états stables du réseau


Un réseau de Hopfield comme MA

NPN

15,0log2 2

<<


5.4.2 Mémoire associative bidirectionnelle - BAM


ExerciceTrouver la matrice de transformation W (poids) pour emmagasiner les patrons:

»t1=[1 1 -1 -1];»t2=[-1 1 1 -1];


Solution»t1=[1 1 -1 -1];»t2=[-1 1 1 -1];»W1=t1'*t1W1 =

1 1 -1 -1 1 1 -1 -1 -1 -1 1 1 -1 -1 1 1

»W2=t2'*t2W2 =

1 -1 -1 1 -1 1 1 -1 -1 1 1 -1 1 -1 -1 1

»W=W1+W2

W =

2 0 -2 0 0 2 0 -2 -2 0 2 0 0 -2 0 2

» W0=W-2*eye(4)

W0 =

0 0 -2 0 0 0 0 -2 -2 0 0 0 0 -2 0 0

Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes...

Documents

Transcript of Chapitre 5 Mémoires associatives. GPA-779 Application des réseaux de neurones et des systèmes...