Démarche du psychologue …Démarche du psychologue …Démarche du psychologue …Démarche du psychologue …
•Événement 1 :
(P)hénomène à expliquer Rappel sériel à court terme
•Évènement 2 :
(S)péculation ou qui donne sens à P « Ruban magnétique et tête de lecture en mémoire de type prononciation »
•Évènement 3 :
(I)mplication qui doit être vraie Moindre capacité pour les si S est vraie mots longs à prononcer
•Évènement 4 :
Les données sont-elles congruentes La moyenne de rappel de 10 listes avec I ? composées de mots longs à prononcer est plus basse que ..
Démarche du psychologueDémarche du psychologueMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?
Démarche du psychologueDémarche du psychologueMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?
SI (Spéculation) ALORS (Implication) !!!!!
Le fait que l'implication soit vérifiée ne signifie en rien que la spéculation soit vraie !
La seule conclusion logiquement valide est que la spéculation n'est pas valide quand on démontre que l'implication n'est pas vérifiée
Une démarche scientifique fondée exclusivement sur la falsification simple peut s'avérer plutôt perturbante et impossible à tenir au jour le jour.
Pour s'en sortir on peut avoir recours au concept de validité relative.
Si dans un test où, toutes choses étant égales par ailleurs, un résultats est prédit par un modèle A alors que le modèle B ne prédit aucun effet (ou l'effet inverse) alors on peut conclure que le modèle A est "plus valide" que le modèle B.
Conclusion : Les hypothèses doivent toujours s'effectuer dans le cadre d'une comparaison de modèles, et le rôle de la méthodologie experimentale est de s'assurer du "toute choses étant égales par ailleurs".
Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesUne solution : la comparaison de modèlesUne solution : la comparaison de modèles
Démarche du psychologue 2ème partieDémarche du psychologue 2ème partieMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?
Démarche du psychologue 2ème partieDémarche du psychologue 2ème partieMais que fait donc le Psychologue ?Mais que fait donc le Psychologue ?
Schèma synthetique
FACTEURSPhénomène 1 2 3 4
P A B C D-P -A B C D
FACTEURSPhénomène 1 2 3 4
P A B C D-P A -B C D
Spéculation X Spéculation Y
Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesMais pas une panacéeMais pas une panacée
Une solution : la comparaison de modèlesUne solution : la comparaison de modèlesMais pas une panacéeMais pas une panacée
Attention cependant, le test réellement effectué est toujours:SI (Spéculation*Spéculations Annexes ) ALORS (Implication)
Donc, si par la méthodologie on s'assure du "toute chose étant égale par ailleurs", on fixe également les conditions d'observation (facteurs contrôlés). Des spéculations annexes nous font croire que les facteurs que l'on contrôle ne sont théoriquement pas déterminants pour nos tests ou qu'il est inutile d'en contrôler certains. Ce n'est peut être pas le cas….
Relation Théorie-modèle-SimulationRelation Théorie-modèle-Simulation La place du psychologue La place du psychologue
Relation Théorie-modèle-SimulationRelation Théorie-modèle-Simulation La place du psychologue La place du psychologue
Théorie computationelle(But, logique de la stratégie)
Niveau algorithmique
Implémentation
!
?
Marr (82) : Les trois niveaux auxquels les machines traitant de l'information doivent être comprises
Expérimentation
Pour la mémoire Dominance de la métaphore spatiale et
symbolique (e.g. Roediger III,1980))
Doit on prendre les trois manifestations de la mémoire :
** Mémoire des apprentissages passés qui modifie notre comportement (sans que l'on ait besoin de prendre conscience de ces événements passés)
** Mémoire du sens des choses et des relations entre les choses (sémantique, ‘ memoria ’, ’catégorielle ’)
** Mémoire des événements vécus (souvenir, ‘ remenberance ’, ’temporelle ’ )
comme preuve de l'existence de 3 systèmes mnésiques différents ?
Les deux sens de représentation
• Au sens faible :– Correspondance regulière entre l’état physique
(neurones ou groupes de neurones) d’un système en fonctionnement et les événements qu’il traite.
• Au sens fort : – Structure physique (neurones ou groupes de
neurones) d’un système qui correspond de manière permanente à un élément du monde extérieur.
Représentation au sens fortConséquences
• Pour être utile, la représentation doit être accessible en dépit des variations du signal d’une rencontre à l’autre.– C’est donc un élément discret abstrait des caractéristiques
idiosyncratiques de présentation
– Il existerait une représentation structurale visuelle qui correspondrait aux invariants.
– Défit majeur : La notion d’invariant a un sens a posteriori ; en faire la structure centrale nécessite de concevoir un système perceptif ‘particulièrement intelligent’
– Difficulté du pari …. comment intégrer l’apprentissage de nouveaux stimuli dans les modèles abstractifs.
Description 3D(centrée sur l’objet)
Description 2D ½(dépendante du point de vue)
Représentations structurales stockées(pictogènes)
Système Sémantique
Traitement des caractéristiques élémentaires de forme
Traitement sensoriel
locale globale
Dénomination
Nom
Sensationstactiles
Son
Agnosie intégrat ive
Agnosie de transformation
Agnosie parperte des RSS
Agnosie de la forme
Agnosie d'accès sémant ique
Agnosie asémantique
Précoces
Intermédiaires
Tardifs
RSS
Accès sémantique
Modèle classique consensuel
Représentation 2 D (Esquisse primaire)• Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..)
• Groupements perceptifs (textures, contours)
Représentation 2 D (Esquisse primaire)• Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..)
• Groupements perceptifs (textures, contours)
Représentation 2.5 D• Extraction des surfaces: forme, position• Extraction centrée sur l’observateur• Extraction non organisée en structure
Représentation 2.5 D• Extraction des surfaces: forme, position• Extraction centrée sur l’observateur• Extraction non organisée en structure
Représentation 3 D• Extraction des axes d’élongation/symétrie de
l’objet• Structuration des surfaces en objet perceptif
en utilisant les axes de l’objet comme référentiel spatial
Représentation structurale objet-centrée. Cette représentation est confrontée aux
représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement.
Représentation 3 D• Extraction des axes d’élongation/symétrie de
l’objet• Structuration des surfaces en objet perceptif
en utilisant les axes de l’objet comme référentiel spatial
Représentation structurale objet-centrée. Cette représentation est confrontée aux
représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement.
Modèles computationnels : ‘Vision’ (structurale) de Marr (1982)
Biederman (1985)
Edge extraction
Determination of Components
Detection of Nonaccidental
Properties
Parsing of Regions of Concavity
Matching of Components to Object Representations
Object Recognition(prototype level)
4
1
Deuxbords parallèles
Bords courbes
Jonctions de type Y(avec courbures)
3
4
Jonctions internesde type Y
Troisbords parallèles
Jonctions externesde type flêche
2
1) Extraction des primitives liées aux contours locaux
2) Extraction des composantes volumétriques de l’objet
3) Assemblage des composantes volumétriques en objet
4) Appariemment avec des objets stockés en mémoire
TULVING (1972)
il existe 3 systèmes distincts mais emboîtés
* La Mémoire Procédurale
* La Mémoire Sémantique agnosieagnosie
* La Mémoire Episodique amnésieamnésie
MPMSME
Métaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiplesMétaphore spatiale et systèmes multiples
A l’origineA l’origine une considération sur les niveaux de complexité et de conscience
anoëtique noëtique autonoëtique
ÉvolutionÉvolution une conception en stocks mnésiques différents et enchâssés
[Mprocédurale [Msémantique[Mépisodique]]]
Rôle fondamental de l’unité symbolique comme seule Rôle fondamental de l’unité symbolique comme seule constitutive du sens :constitutive du sens : Si un épisode a du sens, il ne peut être constitué que d’un assemblage de composantes sémantiques élémentaires (représentation symbolique)
Ce schéma est fondamental et toujours d'actualité.Ce schéma est fondamental et toujours d'actualité.« Encoding of information into the episodic system is contingent upon succesfull
processing of information through the semantic system »
Modèles fondés sur des unités de sens Abstractifs
La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites)
La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode
Pré-traitements perceptifs
Construction de codes abstraits
Représentations sémantiques
Enregistrement des sens co-
activés
Per
cep
tion
MS
ME
Actualisation
Construction & Récupération
(PRS- systèmes de représentation perceptive)
SYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENSSYNOPSIS : UNE QUESTION DE SENS
Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire Deux Conceptions de la Mémoire
Abstractive : la mémoire est un stock de représentationsreprésentations
Non Abstractive : La mémoire est la capacité à re-créer des expériences passées
Créer les représentations (Encodage)Les placer en mémoire (Stockage)Pouvoir les atteindre (Récupération)
Trouver un système qui puisse assurer cette re-créationaprès avoir été confronté à des exemples d’apprentissage
Les systèmes multi-traces ainsi qu’une certaine utilisation de l outilconnexionniste permetent d implémenter ce fonctionnement
Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris
Modèles fondés sur des unités de sens Abstractifs
La mémoire épisodique est un enregistrement des unités
sémantiques co-activées pendant l’épisode
Modèles fondés sur des enregistrements sensoriels pluri-
modaux Non-Abstractifs (épisodiques)
La mémoire (sémantique & épisodique) est issue de l'intégration d’enregistrements
pluri-modaux
Pré-traitements perceptifs
Construction de codes abstraits
Représentations
sémantiques
Enregistrement des sens co-
activés
Perc
ep
tion
MS
ME
Actualisation
Construction
& Récupération
Pré-traitements perceptifs
Pré-traitements perceptifs
.. ..
Accumulation d’enregistrements
intra et inter modaux (épisodes ?)
Expérience sémantiqu
e
Expérience
épisodique
? Processus « Automatiques » & « Dirigés »
Rein
jecti
on
s ?
Perc
ep
tion
ME ?
(PRS)
Une question de sens …Une question de sens …Une question de sens …Une question de sens …
Un modèle multi-traces : Minerva II Un modèle multi-traces : Minerva II (Hintznan 84)(Hintznan 84)
Un modèle multi-traces : Minerva II Un modèle multi-traces : Minerva II (Hintznan 84)(Hintznan 84)
La MEMOIRE est un ensemble de traces épisodiques stockées
Enregistrement à chaque instant des stimulations primaires dans toutes les modalités
L état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules)constitue une SONDE avant d être stockée
Calcul en deux étapes :I : Activation des traces en fonction
de leurs similarités à la sonde
II : Détermination de l ECHO comme moyenne de toute les traces pondérées par leurs activations
Un coefficient acc fort permet d augmenter la contribution des traces les plus activées
jNb
SMn
j
jji
(i) 1
)(),( )(A
n
i
n
i
1
(i)
1
j)(i,(i)
)(A
MA(j)
Acc
Acc
E
En parallèle pour chaque
trace i
En parallèle pour chaque
composante j de l’écho
Aucune abstraction à l’encodage – apprentissage définitAucune abstraction à l’encodage – apprentissage définitAucune organisation : uniquement colonne d’états de Aucune organisation : uniquement colonne d’états de ‘capteurs’‘capteurs’
….. Fourchette/Assiette/Salade….
….. Fourchette/Assiette/Pâtes….
….. Fourchette/……….….……….….. Fourchette/……….….……….
….. ???????????/???????/????…..Echo
Mem
Sonde
….. Fourchette/Assiette/../Faim….….. Fourchette/Assiette/../Faim….….. Fourchette/ Ecran /../Peur….
….. Fourchette/ Ecran ……………….. Fourchette/ Ecran ……………
….. ???????????/???????/../???…..Echo
Mem
Sonde
….. Fourchette/Assiette/Salade….….. Fourchette/Assiette/Pâtes….….. Fourchette/Assiette/Pâtes….
….. Fourchette/……….….……….….. Fourchette/……….….……….
….. ???????????/???????/????…..Echo
Mem
Sonde
….. Fourchette/Assiette/Salade….
….. Fourchette/……….….……….….. Fourchette/……….….……….
….. ???????????/???????/????…..Echo
Mem
Sonde
Approche (très) intuitive des propriétés Approche (très) intuitive des propriétés des modèles multi-tracesdes modèles multi-traces
Approche (très) intuitive des propriétés Approche (très) intuitive des propriétés des modèles multi-tracesdes modèles multi-traces
Attention : Ces propriétés ne prennent sens que pour des stimulation élémentaires issues des différentes modalités
1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée/cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie . /.patée./montagne.6) ....Canari./.chante /graine./cuisine…..
………..Chien / ……… ……………………..Chien / ……… ……………
….. Chien /aboie…/.os./….Echo
Mémoire
Episodecourant
Évocation de propriétés générales/ évocation d’épisode : rôle de la situation de récupération
1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée /cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie . /.patée./montagne6) ....Canari./.chante /graine./cuisine…..
………..Chien / ……… /………/rue………..Chien / ……… /………/rue
….. Chien /pleure…/.os./rue….Echo
Mémoire
Episodecourant
Ici l’indice de récupération est similaire à l’ensemble des cinq traces. L’écho contient donc les propriétés générales correspondant à l’indice de récupération . Le fonctionnement favorise ici l'évocation du sens du stimulus.
Ici l’épisode courant contient deux indices spécifiquement associés dans une trace. L’activation relative de cette trace étant alors plus forte, l’écho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.
1) .. Chien /aboie…./.os….../jardin….2) .. Chien /aboie…./.patée/cuisine….3).. Chien / pleure /.os……/rue….4) .. ……. /………../.os……/niche…. 5) .. Chien /aboie . /.patée./montagne6) ..Canari./.chante /graine./cuisine…..
……………/ ………/ …………/niche………………/ ………/ …………/niche…
….. …….…/……….. / os…../niche.Echo
Mémoire
Episodecourant
1) ….. Chien /aboie…./.os….../jardin….2) ….. Chien /aboie…./.patée/cuisine….3) ….. Chien / pleure /.os……/rue….4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie . /.patée./montagne.6) ..Canari./.chante /graine./cuisine…..
…………….. / ………/os …/niche………………….. / ………/os …/niche……
….. Chien /….…/.os./nicheEcho
Mémoire
Episoderéinjecté
La réinjection de cet écho permet d’obtenir une évocation qui reflète la structure de la connaissance correspondant à l’ensemble des traces présentes en mémoire
Evocation initiale : l’indice de récupération permet la récupération d’éléments associés dans les traces le contenant.
Rôle des réinjections dans l’évocation des propriétés générales
Dans un modèle muti-traces dotéde réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant l’indice de récupération. Ces réinjections permettent au système mnésique d’être sensible à la structure sous jacente à l’ensemble des traces stockées en mémoire. La structure sémantique n’est pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.
Schéma de principe• Les contenus mnésique sont périphériques et transitoires
– ‘Recréer la perception’
Précablés, totalement indépendants de tout processus d’abstraction (e.g., séparation fréquentielle, séparation couleurs)
Le but du traitement est qu’en couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale : Auto-association par adaptation des connexions corticales
‘’‘’filtrages perceptifs’’filtrages perceptifs’’
RétineRétine
Couche(s) periphériqueCouche(s) periphérique
Autres Autres modalitésmodalités
Boucle Boucle CorticaleCorticale
‘’‘’filtrages perceptifs’’filtrages perceptifs’’
RétineRétine
Couche périphériqueCouche périphérique
Autres Autres modalitésmodalités
Boucle Boucle CorticaleCorticale
Schéma de principe
* Ne fonctionnent pas à partir de représentations abstraites
* Structurent la perception
Lors du fonctionnement : Etudier des représentations au sens faibleau sens faible
RéinjectionsRéinjections
Architecture modalitaire minimum à partir de :
Damasio (1989), Hintzman(1984), Jacoby (1983), Rousset & Schreiber (1992), etc .
•Contraintes d’apprentissage : Obtenir un écho égal à l’entrée•Mémorisation : Assurée par les connexions (flèches colorées), codage intra & inter modal•Mémoire : Re-création de composantes élémentaires •Réinjections : Le système fonctionne également à partir de ses sorties (flèches rouges)
Un seul stock mnésique avec une organisation modalitaireUn seul stock mnésique avec une organisation modalitaire
Vers une expression connexionniste Vers une expression connexionniste des modèles non-abstractifsdes modèles non-abstractifs
Vers une expression connexionniste Vers une expression connexionniste des modèles non-abstractifsdes modèles non-abstractifs
Attention le formalisme connexionniste Attention le formalisme connexionniste n’estn’est
Qu’un outil – e.g. Nadel et Moscowitch Qu’un outil – e.g. Nadel et Moscowitch (98)(98)
Attention le formalisme connexionniste Attention le formalisme connexionniste n’estn’est
Qu’un outil – e.g. Nadel et Moscowitch Qu’un outil – e.g. Nadel et Moscowitch (98)(98)
NEOCORTICAL MODULES
Semantic Features
Spatial/Episodic AttributesHIPPOCAMPAL COMPLEX
Une famille de modèles
Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)…
Variation autour d'un même thème…
1) Une trace épisodique est apprise très rapidement 2) Les traces épisodique servent ensuite de professeur interne pour
le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents élément dans les épisodes vécus par le sujet Création d'une sémantique
E.G. Bière…. Louvain….Plaisir
Bière…. Bruxelle….Plaisir
Bière….Grenoble…Plaisir
Nadel & Moscowitch (1997)… Point de vue A
HIPPOCAMPAL COMPLEX
NEOCORTICALS MODULES
…/Episodic Attributes
Semantic Features
External episode
Début de liaisons entre traits sémantiques ( ) embryon de création de la sémantique
Perception d'un épisode A
• Création instantanée d'une trace épisodique (cellules de l'hippocampe & )
HIPPOCAMPAL COMPLEX
NEOCORTICALS MODULES
Renforcement ( ) et début de liaisons entre traits sémantiques ( ) vers la création de la sémantique
Perception d'un épisode B
• Création instantanée d'une trace épisodique (cellules de l'hippocampe & )
NEOCORTICALS MODULES
HIPPOCAMPAL COMPLEX
Re-évocation de l'épisode A
• Pour tous les modèles :– renforcement de la sémantique
HIPPOCAMPAL COMPLEX
NEOCORTICALS MODULES
Révocation de l'épisode A
• Pour tous les modèles :– Consolidation de l'épisode au niveau cortical
( corollairement renforcement de la sémantique• Pour Nadel & Moscowitch
– Création d'une nouvelle trace Episodique
HIPPOCAMPAL COMPLEX
NEOCORTICALS MODULES
Réseau Hétéro-Associatif Réseau Hétéro-Associatif Réseau Hétéro-Associatif Réseau Hétéro-Associatif
Adaptation à des exemples d’associations Entrée (X) Sortie (Y)
Chaque exemple contraint la fonction de re-création
Chaque synapse participe à lare-création de chaque exempleinformation distribuée
La fonction de re-création capture la structure des exemplaires appris
Généralisation
Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif Réseau Auto & Hétéro-Associatif
Adaptation à des associations Entrée (X) Entrée (X) et Sortie (Y)
Possède également les propriétésdes réseaux Hétéro-Associatifs
Permet de rajouter au rappel,la familiarité et la reconnaissance
Capacité à recréer les entrées (complétion)
Fondement des conceptions non-abstractives du sens
Autres
représentations
Outil connexionniste – exploration, loi Outil connexionniste – exploration, loi de hebb de hebb
Outil connexionniste – exploration, loi Outil connexionniste – exploration, loi de hebb de hebb
Lorsque deux neurones sont simultanément activées alors le poids de la connexion qui les relie est modifié proportionnellement au produit de leur activation
Loi d apprentissage quand deux neurones sont activés par une entrée externe Forme simple de la règle : Nouveau poids = ancien poids + [(1/nb connexions) X (ActivNeurEntréexActivNeurSortie)
Quand un neurone n est pas activé une entrée externe Calcul de la somme des entrées pondérées par les poids de connexions
Activation =Sommes des (activation X Poids de connexion)
-10 0 0-1/4
0.5(a)
En (a) : nouveau poids = 0 +( ½ x (-1x0.5) ) = -1/4
-1 1
1/4 … …-1/4
0.5 …(a)
En (a) : activation = (-1x-1/4) + (1x1/4) = 0.5
Performance en rappel auto -associateur
Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesseforce et faiblesse
Outil connexionniste, loi de Hebb Outil connexionniste, loi de Hebb force et faiblesseforce et faiblesse
Loi de Hebb dans un cadre non abstractif
Pas de problème pour apprendre de nouveaux exemples (inverse des modèles abstractifs)
Apprentissage supervisé
Ici la mémoire n est pas un stockage mais une capacité à recréer des sortie
Définie par une architecture, qui s’est modifiée, et qui traite des entrées (fonction)
Remarque :si l’on considère l’ensemble [apprentissage*récupération]
un auto-associateur est équivalent à Minerva II avec une accélération de 1
Problème :
Comme ici il n existe aucune possibilité pour jouer sur le paramètre d accélération qui permettait de sur-discriminer les traces dans Minerva II, on ne peut apprendre que des entrées orthogonales entre elles.
Conséquence :
Prévoir un système d orthogonalisation
Faiblesse de la généralisation
Le système ne peut tirer pleinement parti des ressemblances réelles entre exemples
Outil connexionniste / Correction Outil connexionniste / Correction d’erreurd’erreur
Outil connexionniste / Correction Outil connexionniste / Correction d’erreurd’erreur
Principe :
Au départ poids non nuls
Présentation de l’entrée et calcul de la Sortie Effective
Comparaison cellule par cellule (loi locale) entre Sortie Effective et Sortie Désirée
Utiliser cette erreur pour modifier le poids de connexion en fonction de sa valeur et de l activation de la cellule d’entrée
Limite :
Ne peut apprendre les associations non linéairement séparables (exemple classique OU Exclusif)
Solution :
Rajouter des couches cachées, mais on ne connaît pas l erreur à ce niveau
Rétropopagation du gradient des fonctions d’erreur par le poids de connexion
PROBLEME :
Réalisme neuromimétique (il existe néanmoins des alternatives)
0
0.01 … …0.49
0.5 …(a)
1 1
La connexion (a) a plus participé à la
sortie donc à l’erreur
0
1 … …1
0.5 …
0.5 0.01
La cellule (a) a plus participé à la sortie
donc à l’erreur
(a)
••••
•••• Cellules d’Entrée
Cellules CachéeCellules Cachées
Cellules de Sortie
Principe de fonctionnement
Cellules d’Entrée
Cellules CachéeCellules Cachées
Cellules de Sortie
••••
••••
Principe de fonctionnement
••••
••••
S1
C1 C2
W1W2 W3
C3
• W : poids de connexion
• Activation de S1 =f [somme(activationC * W)]
Avec f fonction de seuilS
ort
ie d
e la
cellu
le
Entrée totale de la cellule =Somme des activations des cellules sources * Poids de connexion
00
1
1
1
0
Principe de fonctionnement
Le seuil et son évolution
De l’unidimensionnel Discontinu …
Vers le multidimensionnel Discontinu
Pour aboutir à
Du multidimensionnel continu et non linéaire
Sort
ie d
e la c
ellu
le
Entrée totale de la cellule =Somme des activations des cellules sources * Poids de connexion
SeuilSeuil
0
0
1
1
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
SeuiSeuill
0
0
1
1
S1 = S1 = 00
S1 = S1 = 11
Valeur de E1
E1
S1
W1
S1
E1 E2
W1 W2
Vale
ur
de E
2
Valeur de E1
S1 = 0S1 = 0
S1 = 1S1 = 1
S1
E1 E2
W1W2 W3
E3
E2
E1
E3S1
E1 E2
W1W2 W3
E3 En…
…
Wn
S1
E1 E2
W1 W2
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1 = 0S1 = 0
S1 = 1S1 = 1
Un micro problème… de botanique
Comment ajuster le seuil (l’hyperplan)
• Paramètres du problème fixes :– L’architecture (cellules, connectivité)– La fonction de seuil– Les exemples à apprendre
• Paramètres libres :– Les poids de connexions [W]
S1
E1 E2
W1 W2
Comment ajuster le seuil (l’hyperplan)
Entrée totale de S1=Somme(Ei*Wi)
• Jouer sur la relation entre les entrées et le seuil… en modifiant les poids suivant une régle AUTOMATIQUE, LOCALE et simple (e.g. correction d’erreur)
Entrée E1Entrée E1 * Poid W1
E1
S1
W1 S1
S1
E1 E2
W1 W2
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1 = 0S1 = 0
S1 = 1S1 = 1
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W1 W2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W’1
W’2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W’1
W’2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W’1
W’2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W’1
W’2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W’’1
W’’2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W1 W2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W’’1
W’’2
S1 = 1S1 = 1
S1 = 0S1 = 0
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1
E1 E2
W1 W2
S1 = 1S1 = 1
S1 = 0S1 = 0
?Redéfinition
de la mémoire
Généralisation
Conséquences …
S1
E1 E2
W1 W2
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es
péta
les)
S1 = 1S1 = 1
S1 = 0S1 = 0
S1
W4
C1 C2
W1W2
E1 E2
W3
W5 W6
Un micro problème plus complexe… toujours en botanique
S1
E1 E2
W1 W2
S1
W4
C1 C2
W1W2
E1 E2
W3
W5 W6
Rôles des cellules cachées
• Augmentation du nombre de paramètres [W]
Augmentation de dimensionnalité
Possibilté de projeter les entrées dans un nouvel espace façoné en fonction des contraintes d’apprentissage
Quelle fonction pour les cellule cachées ?
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de
connexion
00
1
1
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de
connexion
00
1
1
Une fonction non-linéaire continue
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
0
0
1
1
Seuil ? !Seuil ? !!!
Fonction Sigmoïde
x (VAR1)
0
1
y (VAR2)
0
1
0.182116
0.416441
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
0
0
1
1
W4
S1
C1 C2
W1W2
E1 E2
W3
W5 W6
E1E2
C1
0.4
10.18
0 0
1
Avant apprentissage
x (VAR1)
0
1
y (VAR2)
0
1
0.0551437
0.996046
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
0
0
1
1
W4
S1
C1 C2
W1W2
E1 E2
W3
W5 W6
E1E2
C1
0.99
10.01
0 0
1
Après apprentissage
x (PLENGTH)
1
6.9
y (SWIDTH)
2
4.4
0.00738523
0.364194
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
0
0
1
1
W4
S1
C1 C2
W1W2
E1 E2
W3
W5 W6
E1
E2
C1
0.23 1
0.01
0 0
1
Après apprentissage
x (VAR1)
0
1
y (VAR2)
0
1
0.0551437
0.996046
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
0
0
1
1
W4
S1
C1 C2
W1W2
E1 E2
W3
W5 W6
E1E2
C1
0.99
10.01
0 0
1
Après apprentissage
x (VAR1)
0
1
y (VAR2)
0
1
0.182116
0.416441
Sort
ie d
e la c
ellu
le
Entrée de la cellule =Somme des activations des cellules sources * Poids de connexion
0
0
1
1
W4
S1
C1 C2
W1W2
E1 E2
W3
W5 W6
E1E2
C1
0.4
10.18
0 0
1
Rappel : Avant apprentissage
Valeur de E1 (longueur des sépales)
Vale
ur
de E
1 (
lon
gu
eu
r d
es p
éta
les)
S1 = 1S1 = 1
S1 = 0S1 = 0
• Interpolation !
Retour sur la généralisation
Réseaux Auto-associatif : Généralisation
Resistance au bruit
Completion
Valeur de E1 (longeur des sepales)
Vale
ur
de E
1 (
lon
geu
r d
es p
éta
les)
S1 = 1S1 = 1
S1 = 0S1 = 0
• Interpolation !
(pas si trivial !)
Complexité …Critères de généralisation
Au delà de la complexité, la non linearité permet de changer la nature de la
généralisation
Retour sur la généralisation
Exemple « pédagogique » (McClelland et col, 95)
Architecture : Lisible
Les entrées sont des symboles discrets (aucune ressemblance physique)
La structure des couches est destinée à rendre les résultats plus facilement analysables.
La structure du pb n’est pas dans l’architecture.
Apprend successivement des exemples
Activation de canary & ISA en entrée bird en sortie
Activation de rose & has en entrée petals en sortie
……..
Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage
Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »– évolution durant l’apprentissage
Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseau pour que le réseau infère les propriétés associées …
Exemple « pédagogique » (McClelland et col, 95)
Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (I)les réseaux distribués (I)
Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (I)les réseaux distribués (I)
Exemple pédagogique (McClelland et col, 97)
But : étudier comment un réseau peut capturer une structure simplement au travers de la succession d’exemples élémentaires
Ceci sans fonctionner suivant la structure hiérarchique
Architecture : Lisible
Les entrées sont des symbole pour faciliter la lecture (représentations non réparties)
La structure des couches est destinée a rendre les résultats plus démonstratifs
La structure du pb n’est pas dans l’architecture.
Apprend successivement des exemples
Activation de canary & ISA en entrée bird en sortie
Activation de rose & has en entrée petals en sortie
……..
(les exemples sont construis à partir du graphe structuré)
Capture de la structure à partir d'une Capture de la structure à partir d'une succession d'exemples succession d'exemples
Capture de la structure à partir d'une Capture de la structure à partir d'une succession d'exemples succession d'exemples
Activations des 8 cellules de la première couche cachée à la suite du traitement par les connexions de chacune des 8 « entités » – évolution durant l’apprentissage
Mesure de distance des patterns d’activation sur la première couche cachée lors du traitement de chacune des 8 « entités »– évolution durant l’apprentissage
Preuve comportementale : Pour un nouvel animal, il suffit d’apprendre que c’est un oiseaux pour que le réseaux infère les propriétés associées …
L’architecture permet ici d’avoir un autre indice de la structuration. Cependant cette spécialisation n’est pas nécessaire pour le comportement d’inférence !
L’Oubli Catastrophique L’Oubli Catastrophique L’Oubli Catastrophique L’Oubli Catastrophique
Définition : Oubli dramatique des exemples antérieurement appris lors de l’apprentissage de nouveaux exemples
Cause : les anciens exemples ne contraignent plus la fonction de re-création.
Conséquence : Il faut continuer à présenter les anciennes connaissance pour contraindre la fonction
Rafraîchissement
Solution 1 : McClelland et al. (1995) [Sans Rafraîchissement]
- Conserver les exemples récents (Mémoire Tampon = Hippocampe ?) - Limiter l ’oubli en ne les faisant que très peu apprendre par la mémoire principale (Cortex ?)
Solution très partielle, non viable à long terme
Idée de deux structures complémentaires
Problème : on ne dispose « en général » pas des exemples passés
Principe : (Robins, 1995)
- Calculer la sortie à partir d’un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction
Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création
Auto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-Exemples
Entrées
Sorties
Soit une nouvelle association X Y à apprendre
Phase 1
Création d’une pseudo-base
B1 SB1 ; B2 SB2 …. Bn SBn
SB1
Phase 2Phase 2
Apprentissage de la pseudo-base
B1 SB1 ; B2 SB2 …. Bn SBn
et de X Y
B1
X, B1 ..Bn
Y, SB1 ..SBn
Auto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-Exemples
Problème : on ne dispose en général pas des exemples passés
Principe : (Robins, 1995)
- Calculer la sortie à partir d un bruit aléatoire en entrée - Cette sortie sera le résultat du traitement par la fonction de re-création L’association entrée - sortie (PE) sera un reflet de la fonction
Solution : à partir de bruit aléatoire, créer des Pseudo-Exemples (PE) qui seront des exemples de la fonction de re-création
Méthode : (Robins, 1995)
1) Avant tout nouvel apprentissage, création d’un ensemble de PE 2) Stockage de ces PE dans une mémoire tampon 3) Apprentissage conjoint des nouveaux exemples et de ces PE
Les connaissances passées continuent à contraindre la fonction
Une des structures (mémoire tampon) n’est pas neuromimétiqueL’oubli-catastrophique n’est que partiellement résolu
Auto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-Exemples
Proposition 1Proposition 1 Deux Structures ConnectionistesDeux Structures Connectionistes
Proposition 1Proposition 1 Deux Structures ConnectionistesDeux Structures Connectionistes
Principe : Faire apprendre les Pseudo-Exemples à un second réseau
Etape 1: Transfert de la fonctionde recréation versun réseau secondaire
Etape 2: Apprentissage denouveaux exemplesconjointement avec unpseudo-rafraîchissement
Les deux réseaux n’ont pas nécessairement la mêmearchitecture interne (cellules, connexions, règle de plasticité)
Proposition 2Proposition 2 Auto-Association & RéinjectionAuto-Association & Réinjection
Proposition 2Proposition 2 Auto-Association & RéinjectionAuto-Association & Réinjection
Objectif : capture optimale de la structure de la fonction de re-création
Principe : contribution maximale de la structure dans les Pseudo-Exemples
Méthode : réinjection des sorties auto-associatives (Réverbération)
1)1) A partir d’un bruit aléatoire, la première sortie est le reflet des caractéristiques du bruit et de la structure
La sortie auto-associative devient une nouvelle entrée
La part de la structure est plus importante dans les sorties (auto et hétéro associatives ) résultant de cette réinjection
2)2)2)2)
3)3)3)3)
Enchaînement de plusieurs réinjections successives : réverbération
Chaque Pseudo-Exemple sera donc le résultat de plusieurs réinjections successives des Auto-Associations
Création d’un pseudo exemple :
1) Injection de bruit (B1)
2) obtention de la sortie auto-associative SAB1
3) Injection de SAB1
4) …
5) Obtention d’un pseudo pattern
(SABn-1) (SABn ,SHBn)
SHB1
Utilisation du pseudo pattern :Utilisation du pseudo pattern :
Transport vers le réseau secondaireTransport vers le réseau secondaire
OuOu
Accompagnateur dans le réseau principal Accompagnateur dans le réseau principal B1
Auto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-ExemplesAuto-Rafraîchissement par Pseudo-Exemples
SAB1
Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique Suppression de l’Oubli Catastrophique
Cas d’école(MacCloskey, 1989)
Importance duprocessus deréverbération
Courbe en « U » :Restructuration poursatisfaire les deux sous fonctions
Une Quasi Equivalence Une Quasi Equivalence Une Quasi Equivalence Une Quasi Equivalence
Nombre de cycles d'apprentissage
Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (II)les réseaux distribués (II)
Phénomènes liés aux structures dansPhénomènes liés aux structures dansles réseaux distribués (II)les réseaux distribués (II)
Objectif : Etudier l’apprentissage séquentiel de deux ensembles structurés ( transfert ?)
Méthode : Choix de la structure additive (contrôle expérimental plus que réalisme psychologique)
Apprentissage de 916 items (base A) correspondant soit à : une addition décimale (e.g., 07 + 46 = 53) une opération Max (e.g., 07 Max 46 = 47)
Au cours de l’apprentissage de 229 items (base B) d’addition octale (e.g., 07+46 = 65 ), test de généralisation sur 687 items d’addition octale non appris
Etude de trois cas [ pour le cas compatible (décimal) et non compatible (Max)]
Apprentissage de B seul (tabula rasa)
Apprentissage simultané de A et B
Apprentissage séquentiel de A puis B avec pseudo-rafraîchissement et processus de réverbération
Codage Codage Codage Codage
Auto association :Auto association :
12 cellules pour l’opérande & 2 cellules pour l’opérateur 0 0 0 1 1 1 1 0 0 1 1 0 01 0 7 4 6 + décimal
Couche cachéeCouche cachée : 40 cellules
Hétéro AssociationHétéro Association :
6 cellules pour le résultat 1 0 1 0 1 1 5 3
07 (+décimal) 46 = 53
[(000) (111)] + [(100) (110)] = [(101) (011)] et [01].
Codage : 0 7 + 4 6 = 5 3 en décimal
…..0 0 0 1 1 1 1 0 0 1 1 0 0 1
1 0 1 0 1 10 0 0 1 1 1 1 0 0 1 1 0 0 1
0 0 0 1 1 1 1 0 0 1 1 0 0 1
1 0 1 0 1 1
…..
Représentation 1 Représentation 2
Codage de l'additionCodage de l'additionCodage de l'additionCodage de l'addition
OubliOubliau cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
OubliOubliau cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Généralisation Généralisation au cours de l'Apprentissage d'une Base d'Additions Octalesau cours de l'Apprentissage d'une Base d'Additions Octales
Net 1 Pseudo-Examples ( PE )
Net 2
Actual Examples
Information transfer with Pseudo-ExamplesMusca, Rousset & Ans, 2004
Auto-associative network
Actual ExamplesList 1
Source Items
List 2Control Items
Pseudo-Examples ( PE ) or "attractor states"
from List 1 source items
Net 1
Pseudo-Examples
Net 2
Source Items
Filtered Familiarity tests on Source Items Control Items
and
List 1Source Items
List 2Control Items
Pseudo-Example Filtering
PE
Constraint 1
List 1Source Items
(SIi )
List 2Control Items
(CIj )
PE
(PEk )
Set ofPseudo-Examples
Constraint 2 : mean ( CIj , PE ) < mean ( SIi , PE ) j i
Similarity to the pseudo-example centroid PE
( CIj , PEk ) < meanmeankj
( SIi , PEk ) ki
Constraint 3 :
List 1Source Items
(SIi )
List 2Control Items
(CIj )
(PEk )
Set ofPseudo-Examples
Similarity to all pseudo-examples PEk
Net 1
Pseudo-Examples
Net 2
Source Items
Filtered Familiarity tests on Source Items Control Items
and
0.05
0.10
0.15
0.20
0.25
0.30
0.00
Net
wor
k er
ror
(mea
n R
MS
) Source items
Control items
PEs from L1 PEs from L2
Training material
Net 2 Simulation
Net 1
Pseudo-Examples
Net 2
Source Items
Filtered Familiarity tests on Source Items Control Items
and
3.0
4.0
4.5
5.0
5.5
3.5
Source items
Control items
PEs from L1
Group 1
PEs from L2
Group 2
Mea
n nu
mbe
r of
rec
ogni
tions
Behavioral Experiment 1
Occurrence recognition task
13.0
14.0
14.5
15.0
15.5
16.0
13.5
Source items
Control items
Mea
n nu
mbe
r of
LO
NG
res
pons
es
PEs from L1
Group 1
PEs from L2
Group 2
Behavioral Experiment 2
Perceptual fluency task
Top Related