Apprentissage avec un réseau

de neurones artificiels

Projet Tutoré 2013/2014

2

Présentation de l’équipe▪ Alaeddine HAJJEM

▪ Manon MAILLARD

▪ Baptiste MONTANGÉ

▪ Abdurahman ZULLU

▪ Tuteur : Sylvain CHEVALLIER

3

Plan▪ Présentation de l’application et du projet

▪ Les réseaux de neurones artificiels

▪ Solution du projet

▪ Influence des paramètres

▪ Qualité de la solution

▪ Bilan du projet

4

Présentation de l’application▪ Une application de reconnaissance de lettres

▪ Qu’est ce qu’une lettre?

▪ Repose sur l’apprentissage avec un réseau de neurone artificiel

01110 ### 10001 # #11111 #####10001 # #10001 # #

5

Fonctionnement de l’application▪ Fichier texte des lettres à apprendre

▪ Apprentissage des lettres

▪ Fichier texte des lettres à reconnaitre

▪ Reconnaissance des lettres

6

Patrons des lettres ### #### #### #### ##### ##### #### # # ### ### # # ## # # # # # # # # # # # # # # # ###### #### # # # ### ### # ##### # # ### ## # # # # # # # # # ## # # # # # # # ## # #### #### #### ##### # #### # # ### ## # # #####

# # # # ### #### ### #### #### ##### # # # # # # # ### ## ## # # # # # # # # # # # # # # # # # # ## # # # # # # # #### # # #### ### # # # # # # # # ## # # ## # # # # ## # # # # # # # # ### # ## # # # ### # #### # # #### # ### # # # # #

# # ##### # # # # # # ## #####

7

Objectif de ce projet

▪ Comprendre le fonctionnement des réseaux de neurones artificiels

▪ Apprendre un maximum de lettres

▪ Avoir un logiciel robuste

▪ Comprendre l’influence des paramètres du réseau

8

Plan▪ Présentation de l’application et du projet

▪ Les réseaux de neurones artificiels

▪ Solution du projet

▪ Influence des paramètres

▪ Qualité de la solution

▪ Bilan du projet

9

Réseau de neurone artificiel : Késako?▪ Une méthode d’apprentissage artificiel

▪ A quoi cela sert-il?

▪ Comment cela fonctionne?

10

Réseau de neurone Hopfield▪ Une solution pour les problèmes non linéaires

▪ Tous les neurones sont reliés entre eux

11

Et dans l’application?▪ Les lettres déterminent l’activation des neurones

### # ####### ## #

12

Plan▪ Présentation de l’application et du projet

▪ Les réseaux de neurones artificiels

▪ Solution du projet

▪ Influence des paramètres

▪ Qualité de la solution

▪ Bilan du projet

13

Et la solution?▪ Apprentissage d’une lettre

▪ Apprentissage de plusieurs lettres

▪ Au bout d’un moment, boucle infinie?

14

L’ordre des lettres?

▪ Apprentissage des lettres par ordre alphabétique

▪ Seulement 11 lettres apprises

▪ A la 12ème lettre : oubli catastrophique

▪ L’application ne reconnaît plus les lettres apprises.

15

L’ordre des lettres?▪ Apprentissage d’une séquence de lettres différentes

▪ Nombre de pixels différents significatif

▪ Apprentissage de 15 lettres

▪ A la 16ème lettre : oubli catastrophique.

16

L’ordre des lettres?▪ Apprentissage d’une séquence de lettres similaires

▪ Nombre de pixels similaire supérieur à 20

▪ Apprentissage de 16 lettres

▪ A la 17ème lettre : oubli catastrophique.

17

Changement des patrons▪ Changement des différents patrons de lettres différentes

▪ Au final apprentissage de 24 lettres

▪ Importance de la similitude des lettres

|# | | # | |#####| | ### | |# | | # | | # | | # ||# | | # | | # | | # ||# | | # | | # | | # ||#####| | ###| | # | | # |

18

Plan▪ Présentation de l’application et du projet

▪ Les réseaux de neurones artificiels

▪ Solution du projet

▪ Influence des paramètres

▪ Qualité de la solution

▪ Bilan du projet

19

Influence des paramètres▪ Plusieurs paramètres composent l’application :

▪ ALPHA

▪ Seuils initiaux

▪ Poids initiaux

▪ ALPHA détermine le recalcul des seuils et des poids:

▪ Si ALPHA=0.1 rapide mais seulement 16 lettres apprises

▪ Si ALPHA=0.05 plus de calculs mais encore 16 lettres apprises

▪ Si ALPHA=0.005 plus de calculs mais 24 lettres apprises

▪ Si ALPHA=0.00005 trop de calculs, et seulement 5 seule lettre apprise!

20

Influence des paramètres▪ Détermination poids initiaux

▪ Tester des poids initiaux de 0,00 à 0,20 avec un pas de 0,01

▪ Regarde la moyenne des poids de chaque neurone, puis moyenne générale

▪ Au final, moyenne des 21 valeurs précédentes poids initial à 0,06

▪ Remarque: si poids initiaux trop grand (>0,4), trop de calculs, pas de résultat

▪ Seuils initiaux:

▪ Tester des seuils initiaux de 1 à 10

▪ Différence entre seuil minimal et seuil maximal du réseau

▪ + seuil initial grand, + la différence est grande, + de calculs, pas plus de résultats

21

Plan▪ Présentation de l’application et du projet

▪ Les réseaux de neurones artificiels

▪ Solution du projet

▪ Influence des paramètres

▪ Qualité de la solution

▪ Bilan du projet

22

Qualité de la solution▪ Au final: 24 lettres apprises sur 26

▪ Peu robuste dans la reconnaissance de lettres bruitées

▪ Pourquoi cette priorité ?

23

Plan▪ Présentation de l’application et du projet

▪ Les réseaux de neurones artificiels

▪ Solution du projet

▪ Influence des paramètres

▪ Qualité de la solution

▪ Bilan du projet

24

Bilan du projet

▪ Les évolutions possibles

▪ Qui a fait quoi ?

▪ Les difficultés du projet

▪ Les acquis du projet

25

Merci de votre écoute

Présentation réalisée par :Alaeddine HAJJEMManon MAILLARDBaptiste MONTANGÉAbdurahman ZULLU