Reconnaissance de la langue des signes (simplifiée) à partir de données monoculaires Equipe :...

Reconnaissance de la langue des signes (simplifiée) à partir de données monoculaires

Equipe : VAISSET Antoine, MATHEOSSIAN Dimitri

Encadrant : E. GUILLOU, M. BARNACHON

Janvier 2011

2

Plan

Reconnaissance de la langue des signesDétections de la mainRécupérer et comparer les données

◦ Défauts de convexité (convexity defects)◦ Moments de Hu (Hu moments)◦ Recherche de modèles (template

matching)Améliorations à apporterConclusion

3




4

Reconnaissance de la langue des signes - Détails

Reconnaître les lettres d’une langue des signes

Restrictions :◦Alphabet Français◦Temps réelle◦Une seule caméra (qualité grand

public)◦Pas de capteur

5

Reconnaissance de la langue des signes - Différents langages

LDS Américaine

LDS Française

6

Reconnaissance de la langue des signes - Les étapesPour reconnaître un signe il faut :

◦Au préalable avoir une BDD de signes :

◦Et pendant l’acquisition d’image : Détecter la main Récupérer des informations Les comparer

7




8

Détections de la mainDétection de la couleur de peauSélection d’une plage de couleursSoustraction de fond

9




10

Méthodes testéesDéfauts de convexité[En: convexity defects]

Figure 1

Figure 2

11

Méthodes testéesDéfauts de convexité[En: convexity defects]

Figure 1

Figure 2 Figure 3

12

Méthodes testéesMoments de Hu[En: Hu moments]

Même méthode que les défauts de convexités, mais :◦Nombre de valeurs à comparer fixés à 7◦Calculs différents◦Valeurs invariantes après mise à l’échelle

et/ou rotation◦Simple à mettre en place◦Moins performants que les descripteurs de

Fourrier (15 à 17% de reconnaissance en plus)

13

Méthodes testéesRecherche de modèles[En: template matching]

14

Méthodes testéesRecherche de modèles

15




16

Améliorations à apporterDétection de la main (variation

de luminosité)Recherche de critères

discriminantsRecherche et implémentation

d’un classificateur

17




18

Conclusion

Reconnaissance de la langue des signes (simplifiée) à partir de données monoculaires Equipe :...

Documents

Transcript of Reconnaissance de la langue des signes (simplifiée) à partir de données monoculaires Equipe :...