Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme...

Démarche du psychologue …Démarche du psychologue …Démarche du psychologue …Démarche du psychologue …

•Événement 1 :

(P)hénomène à expliquer Rappel sériel à court terme

•Évènement 2 :

(S)péculation ou qui donne sens à P « Ruban magnétique et tête de lecture en mémoire de type prononciation »

•Évènement 3 :

(I)mplication qui doit être vraie Moindre capacité pour les si S est vraie mots longs à prononcer

•Évènement 4 :

Les données sont-elles congruentes La moyenne de rappel de 10 listes avec I ? composées de mots longs à prononcer est plus basse que ..

Démarche du psychologueDémarche du psychologueMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?

Démarche du psychologueDémarche du psychologueMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?

SI (Spéculation) ALORS (Implication) !!!!!

Le fait que l'implication soit vérifiée ne signifie en rien que la spéculation soit vraie !

La seule conclusion logiquement valide est que la spéculation n'est pas valide quand on démontre que l'implication n'est pas vérifiée

Une démarche scientifique fondée exclusivement sur la falsification simple peut s'avérer plutôt perturbante et impossible à tenir au jour le jour.

Pour s'en sortir on peut avoir recours au concept de validité relative.

Si dans un test où, toutes choses étant égales par ailleurs, un résultats est prédit par un modèle A alors que le modèle B ne prédit aucun effet (ou l'effet inverse) alors on peut conclure que le modèle A est "plus valide" que le modèle B.

Conclusion : Les hypothèses doivent toujours s'effectuer dans le cadre d'une comparaison de modèles, et le rôle de la méthodologie experimentale est de s'assurer du "toute choses étant égales par ailleurs".

Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesUne solution : la comparaison de modèlesUne solution : la comparaison de modèles

Démarche du psychologue 2ème partieDémarche du psychologue 2ème partieMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?

Démarche du psychologue 2ème partieDémarche du psychologue 2ème partieMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?

Schèma synthetique

FACTEURSPhénomène 1 2 3 4

P A B C D-P -A B C D

FACTEURSPhénomène 1 2 3 4

P A B C D-P A -B C D

Spéculation X Spéculation Y

Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesMais pas une panacéeMais pas une panacée

Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesMais pas une panacéeMais pas une panacée

Attention cependant, le test réellement effectué est toujours:SI (Spéculation*Spéculations Annexes ) ALORS (Implication)

Donc, si par la méthodologie on s'assure du "toute chose étant égale par ailleurs", on fixe également les conditions d'observation (facteurs contrôlés). Des spéculations annexes nous font croire que les facteurs que l'on contrôle ne sont théoriquement pas déterminants pour nos tests ou qu'il est inutile d'en contrôler certains. Ce n'est peut être pas le cas….

Relation Théorie-modèle-SimulationRelation Théorie-modèle-Simulation La place du psychologue La place du psychologue

Relation Théorie-modèle-SimulationRelation Théorie-modèle-Simulation La place du psychologue La place du psychologue

Théorie computationelle(But, logique de la stratégie)

Niveau algorithmique

Implémentation

!

?

Marr (82) : Les trois niveaux auxquels les machines traitant de l'information doivent être comprises

Expérimentation

Pour la mémoire Dominance de la métaphore spatiale et

symbolique (e.g. Roediger III,1980))

Doit on prendre les trois manifestations de la mémoire :

** Mémoire des apprentissages passés qui modifie notre comportement (sans que l'on ait besoin de prendre conscience de ces événements passés)

** Mémoire du sens des choses et des relations entre les choses (sémantique, ‘ memoria ’, ’catégorielle ’)

** Mémoire des événements vécus (souvenir, ‘ remenberance ’, ’temporelle ’ )

comme preuve de l'existence de 3 systèmes mnésiques différents ?

Les deux sens de représentation

• Au sens faible :– Correspondance regulière entre l’état physique

(neurones ou groupes de neurones) d’un système en fonctionnement et les événements qu’il traite.

• Au sens fort : – Structure physique (neurones ou groupes de

neurones) d’un système qui correspond de manière permanente à un élément du monde extérieur.

Représentation au sens fortConséquences

• Pour être utile, la représentation doit être accessible en dépit des variations du signal d’une rencontre à l’autre.– C’est donc un élément discret abstrait des caractéristiques

idiosyncratiques de présentation

– Il existerait une représentation structurale visuelle qui correspondrait aux invariants.

– Défit majeur : La notion d’invariant a un sens a posteriori ; en faire la structure centrale nécessite de concevoir un système perceptif ‘particulièrement intelligent’

– Difficulté du pari …. comment intégrer l’apprentissage de nouveaux stimuli dans les modèles abstractifs.

Description 3D(centrée sur l’objet)

Description 2D ½(dépendante du point de vue)

Représentations structurales stockées(pictogènes)

Système Sémantique

Traitement des caractéristiques élémentaires de forme

Traitement sensoriel

locale globale

Dénomination

Nom

Sensationstactiles

Son

Agnosie intégrat ive

Agnosie de transformation

Agnosie parperte des RSS

Agnosie de la forme

Agnosie d'accès sémant ique

Agnosie asémantique

Précoces

Intermédiaires

Tardifs

RSS

Accès sémantique

Modèle classique consensuel

Représentation 2 D (Esquisse primaire)• Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..)

• Groupements perceptifs (textures, contours)

Représentation 2 D (Esquisse primaire)• Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..)

• Groupements perceptifs (textures, contours)

Représentation 2.5 D• Extraction des surfaces: forme, position• Extraction centrée sur l’observateur• Extraction non organisée en structure

Représentation 2.5 D• Extraction des surfaces: forme, position• Extraction centrée sur l’observateur• Extraction non organisée en structure

Représentation 3 D• Extraction des axes d’élongation/symétrie de

l’objet• Structuration des surfaces en objet perceptif

en utilisant les axes de l’objet comme référentiel spatial

Représentation structurale objet-centrée. Cette représentation est confrontée aux

représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement.

Représentation 3 D• Extraction des axes d’élongation/symétrie de

l’objet• Structuration des surfaces en objet perceptif

en utilisant les axes de l’objet comme référentiel spatial

Représentation structurale objet-centrée. Cette représentation est confrontée aux

représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement.

Modèles computationnels : ‘Vision’ (structurale) de Marr (1982)

Biederman (1985)

Edge extraction

Determination of Components

Detection of Nonaccidental

Properties

Parsing of Regions of Concavity

Matching of Components to Object Representations

Object Recognition(prototype level)

4

1

Deuxbords parallèles

Bords courbes

Jonctions de type Y(avec courbures)

3

4

Jonctions internesde type Y

Troisbords parallèles

Jonctions externesde type flêche

2

1) Extraction des primitives liées aux contours locaux

2) Extraction des composantes volumétriques de l’objet

3) Assemblage des composantes volumétriques en objet

4) Appariemment avec des objets stockés en mémoire

TULVING (1972)

il existe 3 systèmes distincts mais emboîtés

* La Mémoire Procédurale

* La Mémoire Sémantique agnosieagnosie

* La Mémoire Episodique amnésieamnésie

MPMSME

Métaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiples

A l’origineA l’origine une considération sur les niveaux de complexité et de conscience

anoëtique noëtique autonoëtique

ÉvolutionÉvolution une conception en stocks mnésiques différents et enchâssés

[Mprocédurale [Msémantique[Mépisodique]]]

Rôle fondamental de l’unité symbolique comme seule Rôle fondamental de l’unité symbolique comme seule constitutive du sens :constitutive du sens : Si un épisode a du sens, il ne peut être constitué que d’un assemblage de composantes sémantiques élémentaires (représentation symbolique)

Ce schéma est fondamental et toujours d'actualité.Ce schéma est fondamental et toujours d'actualité.« Encoding of information into the episodic system is contingent upon succesfull

processing of information through the semantic system »

Modèles fondés sur des unités de sens Abstractifs

La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites)

La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode

Pré-traitements perceptifs

Construction de codes abstraits

Représentations sémantiques

Enregistrement des sens co-

activés

Per

cep

tion

MS

ME

Actualisation

Construction & Récupération

(PRS- systèmes de représentation perceptive)

SYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENS

Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire

Abstractive : la mémoire est un stock de représentationsreprésentations

Non Abstractive : La mémoire est la capacité à re-créer des expériences passées

Créer les représentations (Encodage)Les placer en mémoire (Stockage)Pouvoir les atteindre (Récupération)

Trouver un système qui puisse assurer cette re-créationaprès avoir été confronté à des exemples d’apprentissage

Les systèmes multi-traces ainsi qu’une certaine utilisation de l outilconnexionniste permetent d implémenter ce fonctionnement

Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris

Modèles fondés sur des unités de sens Abstractifs

La mémoire épisodique est un enregistrement des unités

sémantiques co-activées pendant l’épisode

Modèles fondés sur des enregistrements sensoriels pluri-

modaux Non-Abstractifs (épisodiques)

La mémoire (sémantique & épisodique) est issue de l'intégration d’enregistrements

pluri-modaux


Construction de codes abstraits

Représentations

sémantiques

Enregistrement des sens co-

activés

Perc

ep

tion

MS

ME

Actualisation

Construction

& Récupération



.. ..

Accumulation d’enregistrements

intra et inter modaux (épisodes ?)

Expérience sémantiqu

e

Expérience

épisodique

? Processus « Automatiques » & « Dirigés »

Rein

jecti

on

s ?

Perc

ep

tion

ME ?

(PRS)

Une question de sens …Une question de sens …Une question de sens …Une question de sens …

Un modèle multi-traces : Minerva II Un modèle multi-traces : Minerva II (Hintznan 84)(Hintznan 84)

Un modèle multi-traces : Minerva II Un modèle multi-traces : Minerva II (Hintznan 84)(Hintznan 84)

La MEMOIRE est un ensemble de traces épisodiques stockées

Enregistrement à chaque instant des stimulations primaires dans toutes les modalités

L état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules)constitue une SONDE avant d être stockée

Calcul en deux étapes :I : Activation des traces en fonction

de leurs similarités à la sonde

II : Détermination de l ECHO comme moyenne de toute les traces pondérées par leurs activations

Un coefficient acc fort permet d augmenter la contribution des traces les plus activées

jNb

SMn

j

jji

(i) 1

)(),( )(A

n

i

n

i

1

(i)

1

j)(i,(i)

)(A

MA(j)

Acc

Acc

E

En parallèle pour chaque

trace i

En parallèle pour chaque

composante j de l’écho

Aucune abstraction à l’encodage – apprentissage définitAucune abstraction à l’encodage – apprentissage définitAucune organisation : uniquement colonne d’états de Aucune organisation : uniquement colonne d’états de ‘capteurs’‘capteurs’

….. Fourchette/Assiette/Salade….

….. Fourchette/Assiette/Pâtes….

….. Fourchette/……….….……….….. Fourchette/……….….……….

….. ???????????/???????/????…..Echo

Mem

Sonde

….. Fourchette/Assiette/../Faim….….. Fourchette/Assiette/../Faim….….. Fourchette/ Ecran /../Peur….

….. Fourchette/ Ecran ……………….. Fourchette/ Ecran ……………

….. ???????????/???????/../???…..Echo

Mem

Sonde

….. Fourchette/Assiette/Salade….….. Fourchette/Assiette/Pâtes….….. Fourchette/Assiette/Pâtes….


….. ???????????/???????/????…..Echo

Mem

Sonde

….. Fourchette/Assiette/Salade….


….. ???????????/???????/????…..Echo

Mem

Sonde

Approche (très) intuitive des propriétés Approche (très) intuitive des propriétés des modèles multi-tracesdes modèles multi-traces

Approche (très) intuitive des propriétés Approche (très) intuitive des propriétés des modèles multi-tracesdes modèles multi-traces

Attention : Ces propriétés ne prennent sens que pour des stimulation élémentaires issues des différentes modalités

1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée/cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie . /.patée./montagne.6) ....Canari./.chante /graine./cuisine…..

………..Chien / ……… ……………………..Chien / ……… ……………

….. Chien /aboie…/.os./….Echo

Mémoire

Episodecourant

Évocation de propriétés générales/ évocation d’épisode : rôle de la situation de récupération

1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée /cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie . /.patée./montagne6) ....Canari./.chante /graine./cuisine…..

………..Chien / ……… /………/rue………..Chien / ……… /………/rue

….. Chien /pleure…/.os./rue….Echo

Mémoire

Episodecourant

Ici l’indice de récupération est similaire à l’ensemble des cinq traces. L’écho contient donc les propriétés générales correspondant à l’indice de récupération . Le fonctionnement favorise ici l'évocation du sens du stimulus.

Ici l’épisode courant contient deux indices spécifiquement associés dans une trace. L’activation relative de cette trace étant alors plus forte, l’écho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.

1) .. Chien /aboie…./.os….../jardin….2) .. Chien /aboie…./.patée/cuisine….3).. Chien / pleure /.os……/rue….4) .. ……. /………../.os……/niche…. 5) .. Chien /aboie . /.patée./montagne6) ..Canari./.chante /graine./cuisine…..

……………/ ………/ …………/niche………………/ ………/ …………/niche…

….. …….…/……….. / os…../niche.Echo

Mémoire

Episodecourant

1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée/cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie . /.patée./montagne.6) ..Canari./.chante /graine./cuisine…..

…………….. / ………/os …/niche………………….. / ………/os …/niche……

….. Chien /….…/.os./nicheEcho

Mémoire

Episoderéinjecté

La réinjection de cet écho permet d’obtenir une évocation qui reflète la structure de la connaissance correspondant à l’ensemble des traces présentes en mémoire

Evocation initiale : l’indice de récupération permet la récupération d’éléments associés dans les traces le contenant.

Rôle des réinjections dans l’évocation des propriétés générales

Dans un modèle muti-traces dotéde réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant l’indice de récupération. Ces réinjections permettent au système mnésique d’être sensible à la structure sous jacente à l’ensemble des traces stockées en mémoire. La structure sémantique n’est pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.

Schéma de principe• Les contenus mnésique sont périphériques et transitoires

– ‘Recréer la perception’

Précablés, totalement indépendants de tout processus d’abstraction (e.g., séparation fréquentielle, séparation couleurs)

Le but du traitement est qu’en couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale : Auto-association par adaptation des connexions corticales

‘’‘’filtrages perceptifs’’filtrages perceptifs’’

RétineRétine

Couche(s) periphériqueCouche(s) periphérique

Autres Autres modalitésmodalités

Boucle Boucle CorticaleCorticale

‘’‘’filtrages perceptifs’’filtrages perceptifs’’

RétineRétine

Couche périphériqueCouche périphérique

Autres Autres modalitésmodalités

Boucle Boucle CorticaleCorticale

Schéma de principe

* Ne fonctionnent pas à partir de représentations abstraites

* Structurent la perception

Lors du fonctionnement : Etudier des représentations au sens faibleau sens faible

RéinjectionsRéinjections

Architecture modalitaire minimum à partir de :

Damasio (1989), Hintzman(1984), Jacoby (1983), Rousset & Schreiber (1992), etc .

•Contraintes d’apprentissage : Obtenir un écho égal à l’entrée•Mémorisation : Assurée par les connexions (flèches colorées), codage intra & inter modal•Mémoire : Re-création de composantes élémentaires •Réinjections : Le système fonctionne également à partir de ses sorties (flèches rouges)

Un seul stock mnésique avec une organisation modalitaireUn seul stock mnésique avec une organisation modalitaire

Vers une expression connexionniste Vers une expression connexionniste des modèles non-abstractifsdes modèles non-abstractifs

Vers une expression connexionniste Vers une expression connexionniste des modèles non-abstractifsdes modèles non-abstractifs

Attention le formalisme connexionniste Attention le formalisme connexionniste n’estn’est

Qu’un outil – e.g. Nadel et Moscowitch Qu’un outil – e.g. Nadel et Moscowitch (98)(98)

Attention le formalisme connexionniste Attention le formalisme connexionniste n’estn’est

Qu’un outil – e.g. Nadel et Moscowitch Qu’un outil – e.g. Nadel et Moscowitch (98)(98)

NEOCORTICAL MODULES

Semantic Features

Spatial/Episodic AttributesHIPPOCAMPAL COMPLEX

Une famille de modèles

Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)…

Variation autour d'un même thème…

1) Une trace épisodique est apprise très rapidement 2) Les traces épisodique servent ensuite de professeur interne pour

le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents élément dans les épisodes vécus par le sujet Création d'une sémantique

E.G. Bière…. Louvain….Plaisir

Bière…. Bruxelle….Plaisir

Bière….Grenoble…Plaisir

Nadel & Moscowitch (1997)… Point de vue A

HIPPOCAMPAL COMPLEX

NEOCORTICALS MODULES

…/Episodic Attributes

Semantic Features

External episode

Début de liaisons entre traits sémantiques ( ) embryon de création de la sémantique

Perception d'un épisode A

• Création instantanée d'une trace épisodique (cellules de l'hippocampe & )

HIPPOCAMPAL COMPLEX


Renforcement ( ) et début de liaisons entre traits sémantiques ( ) vers la création de la sémantique

Perception d'un épisode B

• Création instantanée d'une trace épisodique (cellules de l'hippocampe & )


HIPPOCAMPAL COMPLEX

Re-évocation de l'épisode A

• Pour tous les modèles :– renforcement de la sémantique

HIPPOCAMPAL COMPLEX


Révocation de l'épisode A

• Pour tous les modèles :– Consolidation de l'épisode au niveau cortical

( corollairement renforcement de la sémantique• Pour Nadel & Moscowitch

– Création d'une nouvelle trace Episodique

HIPPOCAMPAL COMPLEX


Réseau Hétéro-Associatif Réseau Hétéro-Associatif Réseau Hétéro-Associatif Réseau Hétéro-Associatif

Adaptation à des exemples d’associations Entrée (X) Sortie (Y)

Chaque exemple contraint la fonction de re-création

Chaque synapse participe à lare-création de chaque exempleinformation distribuée

La fonction de re-création capture la structure des exemplaires appris

Généralisation

Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif

Adaptation à des associations Entrée (X) Entrée (X) et Sortie (Y)

Possède également les propriétésdes réseaux Hétéro-Associatifs

Permet de rajouter au rappel,la familiarité et la reconnaissance

Capacité à recréer les entrées (complétion)

Fondement des conceptions non-abstractives du sens

Autres

représentations

Outil connexionniste – exploration, loi Outil connexionniste – exploration, loi de hebb de hebb

Outil connexionniste – exploration, loi Outil connexionniste – exploration, loi de hebb de hebb

Lorsque deux neurones sont simultanément activées alors le poids de la connexion qui les relie est modifié proportionnellement au produit de leur activation

Loi d apprentissage quand deux neurones sont activés par une entrée externe Forme simple de la règle : Nouveau poids = ancien poids + [(1/nb connexions) X (ActivNeurEntréexActivNeurSortie)

Quand un neurone n est pas activé une entrée externe Calcul de la somme des entrées pondérées par les poids de connexions

Activation =Sommes des (activation X Poids de connexion)

-10 0 0-1/4

0.5(a)

En (a) : nouveau poids = 0 +( ½ x (-1x0.5) ) = -1/4

-1 1

1/4 … …-1/4

0.5 …(a)

En (a) : activation = (-1x-1/4) + (1x1/4) = 0.5

Performance en rappel auto -associateur

Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesseforce et faiblesse

Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesseforce et faiblesse

Loi de Hebb dans un cadre non abstractif

Pas de problème pour apprendre de nouveaux exemples (inverse des modèles abstractifs)

Apprentissage supervisé

Ici la mémoire n est pas un stockage mais une capacité à recréer des sortie

Définie par une architecture, qui s’est modifiée, et qui traite des entrées (fonction)

Remarque :si l’on considère l’ensemble [apprentissage*récupération]

un auto-associateur est équivalent à Minerva II avec une accélération de 1

Problème :

Comme ici il n existe aucune possibilité pour jouer sur le paramètre d accélération qui permettait de sur-discriminer les traces dans Minerva II, on ne peut apprendre que des entrées orthogonales entre elles.

Conséquence :

Prévoir un système d orthogonalisation

Faiblesse de la généralisation

Le système ne peut tirer pleinement parti des ressemblances réelles entre exemples

Outil connexionniste / Correction Outil connexionniste / Correction d’erreurd’erreur

Outil connexionniste / Correction Outil connexionniste / Correction d’erreurd’erreur

Principe :

Au départ poids non nuls

Présentation de l’entrée et calcul de la Sortie Effective

Comparaison cellule par cellule (loi locale) entre Sortie Effective et Sortie Désirée

Utiliser cette erreur pour modifier le poids de connexion en fonction de sa valeur et de l activation de la cellule d’entrée

Limite :

Ne peut apprendre les associations non linéairement séparables (exemple classique OU Exclusif)

Solution :

Rajouter des couches cachées, mais on ne connaît pas l erreur à ce niveau

Rétropopagation du gradient des fonctions d’erreur par le poids de connexion

PROBLEME :

Réalisme neuromimétique (il existe néanmoins des alternatives)

0

0.01 … …0.49

0.5 …(a)

1 1

La connexion (a) a plus participé à la

sortie donc à l’erreur

0

1 … …1

0.5 …

0.5 0.01

La cellule (a) a plus participé à la sortie

donc à l’erreur

(a)

••••

•••• Cellules d’Entrée

Cellules CachéeCellules Cachées

Cellules de Sortie

Principe de fonctionnement

Cellules d’Entrée

Cellules CachéeCellules Cachées

Cellules de Sortie

••••

••••


••••

••••

S1

C1 C2

W1W2 W3

C3

• W : poids de connexion

• Activation de S1 =f [somme(activationC * W)]

Avec f fonction de seuilS

ort

ie d

e la

cellu

le

Entrée totale de la cellule =Somme des activations des cellules sources * Poids de connexion

00

1

1

1

0


Le seuil et son évolution

De l’unidimensionnel Discontinu …

Vers le multidimensionnel Discontinu

Pour aboutir à

Du multidimensionnel continu et non linéaire

Sort

ie d

e la c

ellu

le

Entrée totale de la cellule =Somme des activations des cellules sources * Poids de connexion

SeuilSeuil

0

0

1

1

Sort

ie d

e la c

ellu

le

Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion

SeuiSeuill

0

0

1

1

S1 = S1 = 00

S1 = S1 = 11

Valeur de E1

E1

S1

W1

S1

E1 E2

W1 W2

Vale

ur

de E

2

Valeur de E1

S1 = 0S1 = 0

S1 = 1S1 = 1

S1

E1 E2

W1W2 W3

E3

E2

E1

E3S1

E1 E2

W1W2 W3

E3 En…

…

Wn

S1

E1 E2

W1 W2

Valeur de E1 (longueur des sépales)

Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1 = 0S1 = 0

S1 = 1S1 = 1

Un micro problème… de botanique

Comment ajuster le seuil (l’hyperplan)

• Paramètres du problème fixes :– L’architecture (cellules, connectivité)– La fonction de seuil– Les exemples à apprendre

• Paramètres libres :– Les poids de connexions [W]

S1

E1 E2

W1 W2

Comment ajuster le seuil (l’hyperplan)

Entrée totale de S1=Somme(Ei*Wi)

• Jouer sur la relation entre les entrées et le seuil… en modifiant les poids suivant une régle AUTOMATIQUE, LOCALE et simple (e.g. correction d’erreur)

Entrée E1Entrée E1 * Poid W1

E1

S1

W1 S1

S1

E1 E2

W1 W2


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1 = 0S1 = 0

S1 = 1S1 = 1


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1

E1 E2

W1 W2

S1 = 1S1 = 1

S1 = 0S1 = 0


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1

E1 E2

W’1

W’2

S1 = 1S1 = 1

S1 = 0S1 = 0


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1

E1 E2

W’’1

W’’2

S1 = 1S1 = 1

S1 = 0S1 = 0


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1

E1 E2

W1 W2

S1 = 1S1 = 1

S1 = 0S1 = 0


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1

E1 E2

W’’1

W’’2

S1 = 1S1 = 1

S1 = 0S1 = 0


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1

E1 E2

W1 W2

S1 = 1S1 = 1

S1 = 0S1 = 0

?Redéfinition

de la mémoire

Généralisation

Conséquences …

S1

E1 E2

W1 W2


Vale

ur

de E

1 (

lon

gu

eu

r d

es

péta

les)

S1 = 1S1 = 1

S1 = 0S1 = 0

S1

W4

C1 C2

W1W2

E1 E2

W3

W5 W6

Un micro problème plus complexe… toujours en botanique

S1

E1 E2

W1 W2

S1

W4

C1 C2

W1W2

E1 E2

W3

W5 W6

Rôles des cellules cachées

• Augmentation du nombre de paramètres [W]

Augmentation de dimensionnalité

Possibilté de projeter les entrées dans un nouvel espace façoné en fonction des contraintes d’apprentissage

Quelle fonction pour les cellule cachées ?

Sort

ie d

e la c

ellu

le

Entrée de la cellule =Somme des activations des cellules sources * Poids de

connexion

00

1

1

Sort

ie d

e la c

ellu

le

Entrée de la cellule =Somme des activations des cellules sources * Poids de

connexion

00

1

1

Une fonction non-linéaire continue

Sort

ie d

e la c

ellu

le


0

0

1

1

Seuil ? !Seuil ? !!!

Fonction Sigmoïde

x (VAR1)

0

1

y (VAR2)

0

1

0.182116

0.416441

Sort

ie d

e la c

ellu

le


0

0

1

1

W4

S1

C1 C2

W1W2

E1 E2

W3

W5 W6

E1E2

C1

0.4

10.18

0 0

1

Avant apprentissage

x (VAR1)

0

1

y (VAR2)

0

1

0.0551437

0.996046

Sort

ie d

e la c

ellu

le


0

0

1

1

W4

S1

C1 C2

W1W2

E1 E2

W3

W5 W6

E1E2

C1

0.99

10.01

0 0

1

Après apprentissage

x (PLENGTH)

1

6.9

y (SWIDTH)

2

4.4

0.00738523

0.364194

Sort

ie d

e la c

ellu

le


0

0

1

1

W4

S1

C1 C2

W1W2

E1 E2

W3

W5 W6

E1

E2

C1

0.23 1

0.01

0 0

1


x (VAR1)

0

1

y (VAR2)

0

1

0.0551437

0.996046

Sort

ie d

e la c

ellu

le


0

0

1

1

W4

S1

C1 C2

W1W2

E1 E2

W3

W5 W6

E1E2

C1

0.99

10.01

0 0

1


x (VAR1)

0

1

y (VAR2)

0

1

0.182116

0.416441

Sort

ie d

e la c

ellu

le


0

0

1

1

W4

S1

C1 C2

W1W2

E1 E2

W3

W5 W6

E1E2

C1

0.4

10.18

0 0

1

Rappel : Avant apprentissage


Vale

ur

de E

1 (

lon

gu

eu

r d

es p

éta

les)

S1 = 1S1 = 1

S1 = 0S1 = 0

• Interpolation !

Retour sur la généralisation

Réseaux Auto-associatif : Généralisation

Resistance au bruit

Completion

Valeur de E1 (longeur des sepales)

Vale

ur

de E

1 (

lon

geu

r d

es p

éta

les)

S1 = 1S1 = 1

S1 = 0S1 = 0

• Interpolation !

(pas si trivial !)

Complexité …Critères de généralisation

Au delà de la complexité, la non linearité permet de changer la nature de la

généralisation

Retour sur la généralisation

Exemple « pédagogique » (McClelland et col, 95)

Architecture : Lisible

Les entrées sont des symboles discrets (aucune ressemblance physique)

La structure des couches est destinée à rendre les résultats plus facilement analysables.

La structure du pb n’est pas dans l’architecture.

Apprend successivement des exemples

Activation de canary & ISA en entrée bird en sortie

Activation de rose & has en entrée petals en sortie

……..

Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage

Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »– évolution durant l’apprentissage

Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseau pour que le réseau infère les propriétés associées …

Exemple « pédagogique » (McClelland et col, 95)

Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (I)les réseaux distribués (I)

Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (I)les réseaux distribués (I)

Exemple pédagogique (McClelland et col, 97)

But : étudier comment un réseau peut capturer une structure simplement au travers de la succession d’exemples élémentaires

Ceci sans fonctionner suivant la structure hiérarchique

Architecture : Lisible

Les entrées sont des symbole pour faciliter la lecture (représentations non réparties)

La structure des couches est destinée a rendre les résultats plus démonstratifs

La structure du pb n’est pas dans l’architecture.

Apprend successivement des exemples

Activation de canary & ISA en entrée bird en sortie

Activation de rose & has en entrée petals en sortie

……..

(les exemples sont construis à partir du graphe structuré)

Capture de la structure à partir d'une Capture de la structure à partir d'une succession d'exemples succession d'exemples

Capture de la structure à partir d'une Capture de la structure à partir d'une succession d'exemples succession d'exemples

Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage

Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »– évolution durant l’apprentissage

Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseaux pour que le réseaux infère les propriétés associées …

L’architecture permet ici d’avoir un autre indice de la structuration. Cependant cette spécialisation n’est pas nécessaire pour le comportement d’inférence !

L’Oubli Catastrophique L’Oubli Catastrophique L’Oubli Catastrophique L’Oubli Catastrophique

Définition : Oubli dramatique des exemples antérieurement appris lors de l’apprentissage de nouveaux exemples

Cause : les anciens exemples ne contraignent plus la fonction de re-création.

Conséquence : Il faut continuer à présenter les anciennes connaissance pour contraindre la fonction

Rafraîchissement

Solution 1 : McClelland et al. (1995) [Sans Rafraîchissement]

- Conserver les exemples récents (Mémoire Tampon = Hippocampe ?) - Limiter l ’oubli en ne les faisant que très peu apprendre par la mémoire principale (Cortex ?)

Solution très partielle, non viable à long terme

Idée de deux structures complémentaires

Problème : on ne dispose « en général » pas des exemples passés

Principe : (Robins, 1995)

- Calculer la sortie à partir d’un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction

Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création

Auto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-Exemples

Entrées

Sorties

Soit une nouvelle association X Y à apprendre

Phase 1

Création d’une pseudo-base

B1 SB1 ; B2 SB2 …. Bn SBn

SB1

Phase 2Phase 2

Apprentissage de la pseudo-base

B1 SB1 ; B2 SB2 …. Bn SBn

et de X Y

B1

X, B1 ..Bn

Y, SB1 ..SBn


Problème : on ne dispose en général pas des exemples passés

Principe : (Robins, 1995)

- Calculer la sortie à partir d un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction

Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création

Méthode : (Robins, 1995)

1) Avant tout nouvel apprentissage, création d’un ensemble de PE 2) Stockage de ces PE dans une mémoire tampon 3) Apprentissage conjoint des nouveaux exemples et de ces PE

Les connaissances passées continuent à contraindre la fonction

Une des structures (mémoire tampon) n’est pas neuromimétiqueL’oubli-catastrophique n’est que partiellement résolu


Proposition 1Proposition 1 Deux Structures ConnectionistesDeux Structures Connectionistes

Proposition 1Proposition 1 Deux Structures ConnectionistesDeux Structures Connectionistes

Principe : Faire apprendre les Pseudo-Exemples à un second réseau

Etape 1: Transfert de la fonctionde recréation versun réseau secondaire

Etape 2: Apprentissage denouveaux exemplesconjointement avec unpseudo-rafraîchissement

Les deux réseaux n’ont pas nécessairement la mêmearchitecture interne (cellules, connexions, règle de plasticité)

Proposition 2Proposition 2 Auto-Association & RéinjectionAuto-Association & Réinjection

Proposition 2Proposition 2 Auto-Association & RéinjectionAuto-Association & Réinjection

Objectif : capture optimale de la structure de la fonction de re-création

Principe : contribution maximale de la structure dans les Pseudo-Exemples

Méthode : réinjection des sorties auto-associatives (Réverbération)

1)1) A partir d’un bruit aléatoire, la première sortie est le reflet des caractéristiques du bruit et de la structure

La sortie auto-associative devient une nouvelle entrée

La part de la structure est plus importante dans les sorties (auto et hétéro associatives ) résultant de cette réinjection

2)2)2)2)

3)3)3)3)

Enchaînement de plusieurs réinjections successives : réverbération

Chaque Pseudo-Exemple sera donc le résultat de plusieurs réinjections successives des Auto-Associations

Création d’un pseudo exemple :

1) Injection de bruit (B1)

2) obtention de la sortie auto-associative SAB1

3) Injection de SAB1

4) …

5) Obtention d’un pseudo pattern

(SABn-1) (SABn ,SHBn)

SHB1

Utilisation du pseudo pattern :Utilisation du pseudo pattern :

Transport vers le réseau secondaireTransport vers le réseau secondaire

OuOu

Accompagnateur dans le réseau principal Accompagnateur dans le réseau principal B1


SAB1

Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique

Cas d’école(MacCloskey, 1989)

Importance duprocessus deréverbération

Courbe en « U » :Restructuration poursatisfaire les deux sous fonctions

Une Quasi Equivalence Une Quasi Equivalence Une Quasi Equivalence Une Quasi Equivalence

Nombre de cycles d'apprentissage

Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (II)les réseaux distribués (II)

Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (II)les réseaux distribués (II)

Objectif : Etudier l’apprentissage séquentiel de deux ensembles structurés ( transfert ?)

Méthode : Choix de la structure additive (contrôle expérimental plus que réalisme psychologique)

Apprentissage de 916 items (base A) correspondant soit à : une addition décimale (e.g., 07 + 46 = 53) une opération Max (e.g., 07 Max 46 = 47)

Au cours de l’apprentissage de 229 items (base B) d’addition octale (e.g., 07+46 = 65 ), test de généralisation sur 687 items d’addition octale non appris

Etude de trois cas [ pour le cas compatible (décimal) et non compatible (Max)]

Apprentissage de B seul (tabula rasa)

Apprentissage simultané de A et B

Apprentissage séquentiel de A puis B avec pseudo-rafraîchissement et processus de réverbération

Codage Codage Codage Codage

Auto association :Auto association :

12 cellules pour l’opérande & 2 cellules pour l’opérateur 0 0 0 1 1 1 1 0 0 1 1 0 01 0 7 4 6 + décimal

Couche cachéeCouche cachée : 40 cellules

Hétéro AssociationHétéro Association :

6 cellules pour le résultat 1 0 1 0 1 1 5 3

07 (+décimal) 46 = 53

[(000) (111)] + [(100) (110)] = [(101) (011)] et [01].

Codage : 0 7 + 4 6 = 5 3 en décimal

…..0 0 0 1 1 1 1 0 0 1 1 0 0 1

1 0 1 0 1 10 0 0 1 1 1 1 0 0 1 1 0 0 1

0 0 0 1 1 1 1 0 0 1 1 0 0 1

1 0 1 0 1 1

…..

Représentation 1 Représentation 2

Codage de l'additionCodage de l'additionCodage de l'additionCodage de l'addition

OubliOubliau cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales

OubliOubliau cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales

Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales

Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales

Net 1 Pseudo-Examples ( PE )

Net 2

Actual Examples

Information transfer with Pseudo-ExamplesMusca, Rousset & Ans, 2004

Auto-associative network

Actual ExamplesList 1

Source Items

List 2Control Items

Pseudo-Examples ( PE ) or "attractor states"

from List 1 source items

Net 1

Pseudo-Examples

Net 2

Source Items

Filtered Familiarity tests on Source Items Control Items

and

C:\0Delphi\Projets\PresentItems\Exe\PresentItems.exe

List 1Source Items

List 2Control Items

Pseudo-Example Filtering

PE

Constraint 1

List 1Source Items

(SIi )

List 2Control Items

(CIj )

PE

(PEk )

Set ofPseudo-Examples

Constraint 2 : mean ( CIj , PE ) < mean ( SIi , PE ) j i

Similarity to the pseudo-example centroid PE

( CIj , PEk ) < meanmeankj

( SIi , PEk ) ki

Constraint 3 :

List 1Source Items

(SIi )

List 2Control Items

(CIj )

(PEk )

Set ofPseudo-Examples

Similarity to all pseudo-examples PEk

Net 1

Pseudo-Examples

Net 2

Source Items


and

C:\0Delphi\Projets\PresentItems\Bases\PresentItems.exe

0.05

0.10

0.15

0.20

0.25

0.30

0.00

Net

wor

k er

ror

(mea

n R

MS

) Source items

Control items

PEs from L1 PEs from L2

Training material

Net 2 Simulation

Net 1

Pseudo-Examples

Net 2

Source Items


and

C:\0Delphi\Projets\PresentItems\Exe\PresentItems.exe

3.0

4.0

4.5

5.0

5.5

3.5

Source items

Control items

PEs from L1

Group 1

PEs from L2

Group 2

Mea

n nu

mbe

r of

rec

ogni

tions

Behavioral Experiment 1

Occurrence recognition task

13.0

14.0

14.5

15.0

15.5

16.0

13.5

Source items

Control items

Mea

n nu

mbe

r of

LO

NG

res

pons

es

PEs from L1

Group 1

PEs from L2

Group 2

Behavioral Experiment 2

Perceptual fluency task

Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme...

Documents

Transcript of Démarche du psychologue … Événement 1 : (P)hénomène à expliquerRappel sériel à court terme...