Post on 15-Sep-2018
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Reconnaissance de caractères manuscrits par
réseau de neurones
O. Duchenne G. Vernade
31 janvier 2007
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Plan
1 Introduction
2 Principe d’un réseau de neurones
3 ImplémentationNoyau de convolutionSub-samplingTopologie du réseauComplexité
4 ApprentissageBase d’exemplesCorrection des paramètres
5 RésultatsPourcentage d’erreurs
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Le neurone formel
Un modèle proche du neurone biologique
Fait la somme pondérée de ses entrée et intègre
Spike si son potentiel dépasse un certain seuil
En pratique
Fait la somme pondérée de ses entrée,
Ajoute un biais,
Applique une fonction sigmoïde
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie d’un réseau de neurones
Réseau multi-couches
Les neurones sont organisés en couches
Chaque neurone est connacté à ceux de la coucheprécédente
Pas de cycle
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie d’un réseau de neurones
Réseau multi-couches
Les neurones sont organisés en couches
Chaque neurone est connacté à ceux de la coucheprécédente
Pas de cycle
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie d’un réseau de neurones
Réseau multi-couches
Les neurones sont organisés en couches
Chaque neurone est connacté à ceux de la coucheprécédente
Pas de cycle
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie d’un réseau de neurones
Réseau multi-couches
Les neurones sont organisés en couches
Chaque neurone est connacté à ceux de la coucheprécédente
Pas de cycle
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Application à la Reconnaissance de caracteres
manuscrits
800 neurones dans la couche cachée, soit 636010 paramètres→ Un peu trop bourrin
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Application à la Reconnaissance de caracteres
manuscrits
800 neurones dans la couche cachée, soit 636010 paramètres→ Un peu trop bourrin
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Implémetation
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Idées
Idées
Prétraiter l’image pour en extraire les “particularités”
Reduire la taille de données traitées
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Idées
Idées
Prétraiter l’image pour en extraire les “particularités”
Reduire la taille de données traitées
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Idées
Idées
Prétraiter l’image pour en extraire les “particularités”
Reduire la taille de données traitées
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Noyau de convolution
Principe
Chaque neurone de la couche de sortie est relié a unnombre limité de neurones de la couche d’entrée (5 ∗ 5)
Les poids de ces 25 liaisons sont les même pour tous lesneurones de la couche de sortie
Détection d’une “particularité”
Les 25 poids jouent le rôle de filtre
Le résultat indique la présence ou non de cette“particularité”
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Noyau de convolution
Principe
Chaque neurone de la couche de sortie est relié a unnombre limité de neurones de la couche d’entrée (5 ∗ 5)
Les poids de ces 25 liaisons sont les même pour tous lesneurones de la couche de sortie
Détection d’une “particularité”
Les 25 poids jouent le rôle de filtre
Le résultat indique la présence ou non de cette“particularité”
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Noyau de convolution
Principe
Chaque neurone de la couche de sortie est relié a unnombre limité de neurones de la couche d’entrée (5 ∗ 5)
Les poids de ces 25 liaisons sont les même pour tous lesneurones de la couche de sortie
Détection d’une “particularité”
Les 25 poids jouent le rôle de filtre
Le résultat indique la présence ou non de cette“particularité”
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Noyau de convolution
Principe
Chaque neurone de la couche de sortie est relié a unnombre limité de neurones de la couche d’entrée (5 ∗ 5)
Les poids de ces 25 liaisons sont les même pour tous lesneurones de la couche de sortie
Détection d’une “particularité”
Les 25 poids jouent le rôle de filtre
Le résultat indique la présence ou non de cette“particularité”
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Noyau de convolution
Principe
Chaque neurone de la couche de sortie est relié a unnombre limité de neurones de la couche d’entrée (5 ∗ 5)
Les poids de ces 25 liaisons sont les même pour tous lesneurones de la couche de sortie
Détection d’une “particularité”
Les 25 poids jouent le rôle de filtre
Le résultat indique la présence ou non de cette“particularité”
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Noyau de convolution
Principe
Chaque neurone de la couche de sortie est relié a unnombre limité de neurones de la couche d’entrée (5 ∗ 5)
Les poids de ces 25 liaisons sont les même pour tous lesneurones de la couche de sortie
Détection d’une “particularité”
Les 25 poids jouent le rôle de filtre
Le résultat indique la présence ou non de cette“particularité”
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Sub-sampling
Principe
On va réduire la taille de la couche, pour cela :
On prend les neurones de la première couche, 4 par 4,
On en fait la somme, la multiplie, y ajoute un biais,
Et on passe le tout à une fonction sigmoïde.
Résultat
On obtient une couche 4 fois moins grande,
On pert de l’information, mais la position exacte des”particularités” n’est pas très importante
C’est leurs positions respectives qui importent.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie du réseau
Extraction des particularités
On commence avec 5 convolutions sur l’image de départ et5 sub-sampling,
Puis pour reconnaitre les différents arrangements departicularités, on effectue 10 convulutions (toutes suiviesd’un sub-sampling) sur chacune des 5 couchesprécédement obtenues
On a alors une couche de 100 neurones entièrementconnectés,
Et enfin une couche de 10 neurones représentant les 10chiffres.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie du réseau
Extraction des particularités
On commence avec 5 convolutions sur l’image de départ et5 sub-sampling,
Puis pour reconnaitre les différents arrangements departicularités, on effectue 10 convulutions (toutes suiviesd’un sub-sampling) sur chacune des 5 couchesprécédement obtenues
On a alors une couche de 100 neurones entièrementconnectés,
Et enfin une couche de 10 neurones représentant les 10chiffres.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie du réseau
Extraction des particularités
On commence avec 5 convolutions sur l’image de départ et5 sub-sampling,
Puis pour reconnaitre les différents arrangements departicularités, on effectue 10 convulutions (toutes suiviesd’un sub-sampling) sur chacune des 5 couchesprécédement obtenues
On a alors une couche de 100 neurones entièrementconnectés,
Et enfin une couche de 10 neurones représentant les 10chiffres.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie du réseau
Extraction des particularités
On commence avec 5 convolutions sur l’image de départ et5 sub-sampling,
Puis pour reconnaitre les différents arrangements departicularités, on effectue 10 convulutions (toutes suiviesd’un sub-sampling) sur chacune des 5 couchesprécédement obtenues
On a alors une couche de 100 neurones entièrementconnectés,
Et enfin une couche de 10 neurones représentant les 10chiffres.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie du réseau
Extraction des particularités
On commence avec 5 convolutions sur l’image de départ et5 sub-sampling,
Puis pour reconnaitre les différents arrangements departicularités, on effectue 10 convulutions (toutes suiviesd’un sub-sampling) sur chacune des 5 couchesprécédement obtenues
On a alors une couche de 100 neurones entièrementconnectés,
Et enfin une couche de 10 neurones représentant les 10chiffres.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Topologie du réseau
Extraction des particularités
On commence avec 5 convolutions sur l’image de départ et5 sub-sampling,
Puis pour reconnaitre les différents arrangements departicularités, on effectue 10 convulutions (toutes suiviesd’un sub-sampling) sur chacune des 5 couchesprécédement obtenues
On a alors une couche de 100 neurones entièrementconnectés,
Et enfin une couche de 10 neurones représentant les 10chiffres.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Tailles des couches
Tailles de l’image
Il faut qu’après le second sub-sampling on ait encore descouches de taille raisonable (5 ∗ 5)
L’image de départ doit donc etre de taille 32 ∗ 32
Pré-traitement des images
On ajoute 2 pixels blancs tout autour des images
Cela permet aussi de reconnaitre les particularités au bordde l’image
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Tailles des couches
Tailles de l’image
Il faut qu’après le second sub-sampling on ait encore descouches de taille raisonable (5 ∗ 5)
L’image de départ doit donc etre de taille 32 ∗ 32
Pré-traitement des images
On ajoute 2 pixels blancs tout autour des images
Cela permet aussi de reconnaitre les particularités au bordde l’image
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Tailles des couches
Tailles de l’image
Il faut qu’après le second sub-sampling on ait encore descouches de taille raisonable (5 ∗ 5)
L’image de départ doit donc etre de taille 32 ∗ 32
Pré-traitement des images
On ajoute 2 pixels blancs tout autour des images
Cela permet aussi de reconnaitre les particularités au bordde l’image
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Tailles des couches
Tailles de l’image
Il faut qu’après le second sub-sampling on ait encore descouches de taille raisonable (5 ∗ 5)
L’image de départ doit donc etre de taille 32 ∗ 32
Pré-traitement des images
On ajoute 2 pixels blancs tout autour des images
Cela permet aussi de reconnaitre les particularités au bordde l’image
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Tailles des couches
Tailles de l’image
Il faut qu’après le second sub-sampling on ait encore descouches de taille raisonable (5 ∗ 5)
L’image de départ doit donc etre de taille 32 ∗ 32
Pré-traitement des images
On ajoute 2 pixels blancs tout autour des images
Cela permet aussi de reconnaitre les particularités au bordde l’image
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Tailles des couches
Tailles de l’image
Il faut qu’après le second sub-sampling on ait encore descouches de taille raisonable (5 ∗ 5)
L’image de départ doit donc etre de taille 32 ∗ 32
Pré-traitement des images
On ajoute 2 pixels blancs tout autour des images
Cela permet aussi de reconnaitre les particularités au bordde l’image
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Compléxité
Compléxité spatiale
130 paramètres pour la première convolution,
10 pour le premier sub-sampling,
1300 pour la seconde convolution,
100 pour le second sub-sampling,
125100 pour la couche de neurones,
1010 pour la couche de sortie.
→ Soit 127650 paramètres en tout (beaucoup moins qu’unréseau entièrement connecté)
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Mais nous n’avons pas travaillé sur cette base...
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Bases de données d’exemples
Déformations élastiques
On génère un champs de vecteurs aléatoires sur l’image,
On lisse ce champs avec un noyau de convolution gaussien,
On calcule les niveau de gris des pixels par interpolationbilinéaire.
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Sur notre bases de 180.000 exemples, il nous faut plusd’une demi-heure pour effectuer une itération.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Bases de données d’exemples
Déformations élastiques
On génère un champs de vecteurs aléatoires sur l’image,
On lisse ce champs avec un noyau de convolution gaussien,
On calcule les niveau de gris des pixels par interpolationbilinéaire.
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Sur notre bases de 180.000 exemples, il nous faut plusd’une demi-heure pour effectuer une itération.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Bases de données d’exemples
Déformations élastiques
On génère un champs de vecteurs aléatoires sur l’image,
On lisse ce champs avec un noyau de convolution gaussien,
On calcule les niveau de gris des pixels par interpolationbilinéaire.
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Sur notre bases de 180.000 exemples, il nous faut plusd’une demi-heure pour effectuer une itération.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Bases de données d’exemples
Déformations élastiques
On génère un champs de vecteurs aléatoires sur l’image,
On lisse ce champs avec un noyau de convolution gaussien,
On calcule les niveau de gris des pixels par interpolationbilinéaire.
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Sur notre bases de 180.000 exemples, il nous faut plusd’une demi-heure pour effectuer une itération.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Bases de données d’exemples
Déformations élastiques
On génère un champs de vecteurs aléatoires sur l’image,
On lisse ce champs avec un noyau de convolution gaussien,
On calcule les niveau de gris des pixels par interpolationbilinéaire.
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Sur notre bases de 180.000 exemples, il nous faut plusd’une demi-heure pour effectuer une itération.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Bases de données d’exemples
Déformations élastiques
On génère un champs de vecteurs aléatoires sur l’image,
On lisse ce champs avec un noyau de convolution gaussien,
On calcule les niveau de gris des pixels par interpolationbilinéaire.
Temps de calcul
Sur la base d’exemples MNIST, uin itération nous prend unpeu plus de 10mn.
Sur notre bases de 180.000 exemples, il nous faut plusd’une demi-heure pour effectuer une itération.
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Exemple de déformation
donne
et
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Correction des paramètres
Algorithme d’apprentissage
On opte pour un algorithme de gradient stochastique,
le pas de correction est initialement très élevé (1 voireplus),
puis décroit à chaque itération (on le multiplie par 0.9)
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Correction des paramètres
Algorithme d’apprentissage
On opte pour un algorithme de gradient stochastique,
le pas de correction est initialement très élevé (1 voireplus),
puis décroit à chaque itération (on le multiplie par 0.9)
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Correction des paramètres
Algorithme d’apprentissage
On opte pour un algorithme de gradient stochastique,
le pas de correction est initialement très élevé (1 voireplus),
puis décroit à chaque itération (on le multiplie par 0.9)
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Correction des paramètres
Algorithme d’apprentissage
On opte pour un algorithme de gradient stochastique,
le pas de correction est initialement très élevé (1 voireplus),
puis décroit à chaque itération (on le multiplie par 0.9)
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Pourcentages d’erreur
Erreurs sur les bases d’apprentissage
Nous sommes descendus jusqu’à une erreur de % sur la baseétendue, un peu moins sur la base MNIST
Erreurs sur la base de test
10000 caractères qui ne faisaient pas partie del’apprentissage
Nous somme descendus en dessous de 2% !
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Pourcentages d’erreur
Erreurs sur les bases d’apprentissage
Nous sommes descendus jusqu’à une erreur de % sur la baseétendue, un peu moins sur la base MNIST
Erreurs sur la base de test
10000 caractères qui ne faisaient pas partie del’apprentissage
Nous somme descendus en dessous de 2% !
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Pourcentages d’erreur
Erreurs sur les bases d’apprentissage
Nous sommes descendus jusqu’à une erreur de % sur la baseétendue, un peu moins sur la base MNIST
Erreurs sur la base de test
10000 caractères qui ne faisaient pas partie del’apprentissage
Nous somme descendus en dessous de 2% !
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Pourcentages d’erreur
Erreurs sur les bases d’apprentissage
Nous sommes descendus jusqu’à une erreur de % sur la baseétendue, un peu moins sur la base MNIST
Erreurs sur la base de test
10000 caractères qui ne faisaient pas partie del’apprentissage
Nous somme descendus en dessous de 2% !
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Convergence de l’erreur
12060 1004020
0,6
0,2
0,4
80
0,8
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Exemples d’erreurs
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Répartition des erreurs
0 1 2 3 4 5 6 7 8 9
0 976 0 0 0 0 1 2 0 1 01 0 1127 3 2 0 1 1 0 1 02 3 0 1011 2 3 0 1 8 4 03 0 0 5 987 0 5 0 6 6 14 2 0 1 0 941 0 5 0 2 315 2 0 1 6 0 876 3 1 2 16 6 3 0 1 4 4 939 0 1 07 2 4 13 4 0 0 0 997 1 78 5 0 3 3 3 4 1 2 950 39 5 6 0 2 5 9 1 7 5 969
Moyenne des neurones “bons”
En cas de bon résultat : 0.986856
En cas d’erreur : 0.539445
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Répartition des erreurs
0 1 2 3 4 5 6 7 8 9
0 976 0 0 0 0 1 2 0 1 01 0 1127 3 2 0 1 1 0 1 02 3 0 1011 2 3 0 1 8 4 03 0 0 5 987 0 5 0 6 6 14 2 0 1 0 941 0 5 0 2 315 2 0 1 6 0 876 3 1 2 16 6 3 0 1 4 4 939 0 1 07 2 4 13 4 0 0 0 997 1 78 5 0 3 3 3 4 1 2 950 39 5 6 0 2 5 9 1 7 5 969
Moyenne des neurones “bons”
En cas de bon résultat : 0.986856
En cas d’erreur : 0.539445
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Répartition des erreurs
0 1 2 3 4 5 6 7 8 9
0 976 0 0 0 0 1 2 0 1 01 0 1127 3 2 0 1 1 0 1 02 3 0 1011 2 3 0 1 8 4 03 0 0 5 987 0 5 0 6 6 14 2 0 1 0 941 0 5 0 2 315 2 0 1 6 0 876 3 1 2 16 6 3 0 1 4 4 939 0 1 07 2 4 13 4 0 0 0 997 1 78 5 0 3 3 3 4 1 2 950 39 5 6 0 2 5 9 1 7 5 969
Moyenne des neurones “bons”
En cas de bon résultat : 0.986856
En cas d’erreur : 0.539445
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Répartition des erreurs
0 1 2 3 4 5 6 7 8 9
0 976 0 0 0 0 1 2 0 1 01 0 1127 3 2 0 1 1 0 1 02 3 0 1011 2 3 0 1 8 4 03 0 0 5 987 0 5 0 6 6 14 2 0 1 0 941 0 5 0 2 315 2 0 1 6 0 876 3 1 2 16 6 3 0 1 4 4 939 0 1 07 2 4 13 4 0 0 0 997 1 78 5 0 3 3 3 4 1 2 950 39 5 6 0 2 5 9 1 7 5 969
Moyenne des neurones “bons”
En cas de bon résultat : 0.986856
En cas d’erreur : 0.539445
Reconnaissance
de caractères
manuscrits
par réseau de
neurones
O. Duchenne
G. Vernade
Introduction
Principe d’un
réseau de
neurones
Implémentation
Noyau deconvolution
Sub-sampling
Topologie duréseau
Complexité
Apprentissage
Based’exemples
Correctiondesparamètres
Résultats
Pourcentaged’erreurs
Les filtres à particularités