MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ......

21
MINISTERE DE L’ENSEIGNEMENT SUPERIEUR ET DE LA RECHERCHE SCIENTIFIQUE UNIVERSITE DES SCIENCES ET DE LA TECHNOLOGIE HOUARI BOUMEDIENNE FACULTE D'ELECTRONIQUE ET D’INFORMATIQUE LABORATOIRE COMMUNICATION PARLEE ET TRAITEMENT DU SIGNAL BILAN FINAL PROJET CNEPRU Années 2014-2016 NUMERO DE CODE Responsable : Prof. H. TEFFAHI J0200220130019

Transcript of MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ......

Page 1: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

MINISTERE DE L’ENSEIGNEMENT SUPERIEUR

ET DE LA RECHERCHE SCIENTIFIQUE

UNIVERSITE DES SCIENCES ET DE LA TECHNOLOGIE HOUARI

BOUMEDIENNE

FACULTE D'ELECTRONIQUE ET D’INFORMATIQUE

LABORATOIRE COMMUNICATION PARLEE

ET TRAITEMENT DU SIGNAL

BILAN FINAL PROJET CNEPRU

Années 2014-2016

NUMERO DE CODE

Responsable :

Prof. H. TEFFAHI

J0200220130019

Page 2: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

Rapport de synthèse

Page 3: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

RAPPORT DE SYNTHESE D’ACTIVITE DE RECHERCHE

PROJET CNEPRU

Années :

2014-2016

1. Informations sur l’équipe de recherche

NOM Prénom Grade de chercheur Qualité

TEFFAHI Hocine Directeur de

recherche

Chef du

projet

FALEK Leila Directeur de

recherche

Membre

CHERABIT Noureddine Attaché de recherche Membre

DEMRI Lyes Doctorant Membre

HALIMOUCHE Ramzi Doctorant Membre

Laboratoire : Communication Parlée et Traitement du Signal

Faculté : Electronique et Informatique

Code du projet : J0200220130019

Intitulé : De l’usage de modèles de compréhension de la parole émotive

Page 4: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

2. Objectif du projet

Les processus émotionnels connaissent depuis la fin des années 80 un regain d’intérêt

aux yeux des sciences, compte tenu de leur rôle dans la communication, le comportement ou

la prise de décision. Le développement de l’interactivité dans les technologies nourrit quant à

lui l’intérêt de la recherche pour les systèmes de communication homme-machine et le

développement de l’affective computing, visant à donner aux ordinateurs les capacités de

reconnaître, d’exprimer et de modéliser les émotions. Le plus souvent, les études portent sur

des émotions primaires telles que colère, joie, peur, tristesse dans un contexte artificiel, jouées

par des acteurs.

Ce travail entre dans l’analyse de l’état émotionnel d’une personne pouvant conduire à une

meilleure connaissance de son état psychique ou physique. Il sera abordé de manière générale

par contre nous orienterons plus précisément l’induction émotionnelle vers les scènes de vie

quotidienne.

Une étude perceptive de détection automatique d’émotions sera menée à partir de données

audio. Contrairement aux études sur des données artificielles, la richesse des données

naturelles rend leur classification extrêmement complexe : en l’absence de standard

d’annotation des émotions, il s’agit de trouver une méthodologie de classification des

émotions en conditions naturellement bruitées.

3. Travaux réalisés

Nous avons réalisé les points suivants :

A- Audio

1. Etat de l’art des systèmes de détection des émotions à partir du signal de parole

2. Synthèse de parole émotive par concaténation de diphones.

3. Enregistrement de diphones avec des timbres différents.

4. Transformation de la parole par l’algorithme PSOLA.

5. Construction d’un corpus spécifique de la langue Arabe constitué par vingt (20)

phrases, prononcées comme : phrase affirmative, phrase interrogatives et phrase

exclamative, ces phrases sont extraites des dialogues et des situations de la vie

courante, afin que leur prononciation soit la plus naturelle possible.

6. Application de prétraitement pour chaque phrase, afin d’enlever le bruit dû à

l’enregistrement.

7. Définition des éléments prosodiques appropriés pour la constitution de vecteur

caractéristique (énergie, fréquence fondamentale, la durée, MFCC et LPC)

Page 5: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

8. Classification des intonations en langue arabe.

9. Etude et mise au point d’un banc expérimentale pour la synthèse de l’émotion

10. Enregistrement d’un corpus de phrases pour la synthèse de l’émotion

11. Etude et choix d’une méthode de transformation de la voix

12. Détermination d’unités d’analyse pour la production de la parole expressive

13. Englober les trois corpus (pour la classification des phrases interrogatives,

exclamatives et affirmatives) pour les langues « Arabe », « Français » et « kabyle »

dans un seul corpus.

14. Définition des éléments prosodiques appropriés généralisé pour la détection des

questions valable pour les trois langues.

15. Développement d’une méthode de classification automatique à partir des paramètres

prosodiques.

16. Détermination des descripteurs essentiels pour la classification des émotions.

17. Application des méthodes sur un corpus simulé en langue allemande.

18. Effet des différents débits d’élocution sur la classification des émotions.

19. Enregistrement d’une base de données émotionnelle en langue arabe (Six émotions

sont considérées).

20. Une nouvelle méthode de classification des phrases interrogatives et affirmatives a été

développée. La conception du système est représenté par quatre étapes: la sélection

des locuteurs, l'enregistrement de données (phrases affirmatives, phrases

interrogatives) et détection du seuil de décision optimale. Les données de phrases

interrogatives pour chaque locuteur sont divisées en deux sous-ensembles. Le premier

sous-ensemble contenant M échantillons est utilisé pour obtenir les paramètres du

SVM-OC, et le second contenant M échantillons est utilisé pour obtenir le seuil de

décision optimal.

Page 6: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

B- Image

Durant l’année 2014, Les travaux réalisés ont portés sur le suivi des points caractéristiques

d’un visage parlant.

Dans un premier point, nous avons mis au point un système qui permet de suivre les points

caractéristiques d’un visage parlant définies par MPEG-4 localisés sur un visage parlant en se

basant sur la technique de lucas-Kanade.

Pour cela, une base de donnée vidéo a été enregistrée au niveau du laboratoire LCPTS. Il

s’agit de répéter plusieurs fois des séquences vidéo par des locuteurs.

Par la suite, Nous nous sommes intéressé à l’application de l’algorithme basée sur la méthode

différentielle de Lucas-Kanadeutilisée pour l'estimation du flot optique.

Les résultats du suivi ont été utilisés pour la reconstruction de la géométrie 2D d’un visage

parlant en se basant sur la triangulation de delaunay. Une partie sacrifiée pour les résultats de

l’erreur de suivi a été menée.

L’ensemble des travaux effectués durant l’année 2015 porte sur la détection, l’analyse et le

suivi du visage parlant dans une séquence vidéo. Une étude sur la séparation de l’arrière-plan

est effectuée afin de détecter la partie de la tête dans une séquence vidéo. Dans cette étude,

nous avons montré l’efficacité de la méthode sigma-delta.

Nous avons aussi démontré, l’utilité de l’application de l’espace couleur YCbCr, en

choisissant des paramètres pour la détection de la peau du visage.

Lorsqu’un visage parle; l’ensemble qui le constitue comme le menton, les lèvres, les

joues…etc sont commandés et impliqués en mouvement par des muscles de l’intérieur. Pour

cela, nous avons mis au point un système qui consiste à détecter et à suivre les points

subissant un mouvement important sur ces parties lorsque un visage est impliqué en

mouvement. Pour ce faire, nous avons choisis de travailler avec l’algorithme de Horn

&schunk. Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

champ de vitesse de déplacement de chaque point entre deux images successives dans une

séquence vidéo. Ensuite, nous avons appliqués la méthode de likelihood afin de calculer la

moyenne et la covariance des vitesses sur le visage et de les utilisés pour calculer un seuil qui

dépend de chaque composante de vitesse utilisés pour séparer les points subissant un

Page 7: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

mouvement important par rapport au seuil. Ces points seront utilisés pour calculer la fonction

de transfert dynamique d’un système de la projection perspective. Cette fonction est utilisée

pour synthétiser des gestes faciaux ainsi que la synthèse d’un visage parlant.

De plus, nous avons appliqués un réseau de neurone de type kohonen aux vecteurs

descripteurs DCT et DCT suivi d’une analyse ACP. Nous avons obtenus de bons résultats

dans un environnement contrôlé.

Durant l’année 2016, nous avons concentrés notre recherche sur le clonage d’un visage

parlant. Les résultats sont satisfaisants et seront publiés dans un article.

Bilan scientifique:

A. Publications et/ou Communications

1. Publications internationales:

1. Leila Falek; Slimane Mekaoui, Hocine Teffahi and Amar Djeradi. “ Usage of a speech

constraint for highlighting compensatory strategies developed in production of a second

language”. International Journal of Speech Technology – Springer. DOI

10.1007/s10772-014-9230-z. Print ISSN : 1381-2416. Online ISSN : 1572-8110.

Publisher: Springer U.S.

2. L. Demri, L.Falek, H.Teffahi Interface for Dynamic Modification of the Transformation

Parameters of the PSOLA Algorithm. ijamec.atscience. International Journal of Applied

Mathematics, Electronics and Computers (IJAMEC) Vol 2, No 4 (2014) . ISSN: 2147-

8228.

3. L. Demri, L.Falek, H.Teffahi “Contribution to the creation of an Arabic expressive

speech corpus” acta acustica. united with acustica. The Journal of the European Acoustics

Association (EAA) · International Journal on Acoustics. Vol. 101 (2015) 1 – 1. Received

24 June 2014, accepted 06 August 2015.

4. Aissa Amrouche, Leila Falek and Hocine Teffahi.« Design and Implementation of a

Diacritic Arabic Text-To-Speech System » The International Arab Journal of Information

Technology (IAJIT) ». .On line: 02 novembre 2016.

5. L. Demri, L. Falek, H .Teffahi & A.Djeradi.’’ Determination of variation ranges of the

PSOLA transformation parameters by using their influence on the acoustic parameters of

speech ‘’, LNIT (Lecture Notes of Information Theory) Journal, vol.2, N°.1, Mars 2014.

Page 8: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

6. R.Halimouche, H. TEFFAHI and L. Falek. ‘’Detecting Sentence Types in Modern

Standard Arabic’’ in The Journal of Experimental & Theoretical Artificial Intelligence.

Accepté le 30 Mars 2016. (sous presse).

2. Communications internationales:

1- N.CHERABIT, Amar Djeradi& Fatma zohraChelali.’’Facial skin motion localization in a

videosequence’’. CEIT'2015 25-27 mai 2015 université de Tlemcen, Algeria.

2- Fatma zohra CHELALI, Amar DJERADI & Noureddine CHERABIT. ‘’Face recognition

system using skin detection in RGB and YCbCr color space’’.WSWAN’2015 March 21-23,

Sousse, Tunisia.

3- Fatmazohra CHELALI, Amar DJERADI &Noureddine CHERABIT. ‘’Investigation of

DCT/PCA combined with Kohonen classifier for human identification’’. ICEE2015, 13-15

décembre 2015.

4- N. Cherabit, A.Djeradi & F.Chellali.’’ Tracking feature points of the talking Face’’

International Conference on Advanced Technology &Sciences, ICAT’2014, Turky, 2014.

5- L. Falek, H.Teffahi & A. Djeradi. ‘’ Acoustic analysis of lip-velarization of

consonants with the locus equations’’ ICMCS’2014, Marrakech, Avril 2014.

6- R. Halimouche, H. Teffahi & L. Falek. ‘’ Detection of questions in Berber language

using Prosodic features’’. ICMCS’2014, Marrakech, Avril 2014.

7- L.Demri, L. Falek & H. Teffahi. ‘’ Interface for Dynamic Modification of the

transformation Parameters of The PSOLA Algorithm’’ . International Conference on

Advanced Technology & Sciences (‘ICAT 2014’), Antalya, Turkey on 12-15 August, 2014.

8- Aissa Amrouche, Leila Falek and Hocine Teffahi « Contribution to the Improvement

of the Synthesis Signal in a TTS System for Arabic ». 5th International Conference on Arabic

Language Processing . - CITALA 2014 -November 26th – 27th 2014, Oujda, Morocco.

9- Aissa Amrouche, Leila Falek and Hocine Teffahi “Contribution à la realisation d’un

synthétiseur de parole pour la langue arabe » communication à la National Conference on

Speech Processing (NCSP'2014), C.R.S.T.D.L.A., December, 10 and 11, 2014.

10- Leila Falek, Hocine Teffahi et Amar Djeradi. “Acoustic analysis of lip-velarization of

consonants with the locus equations ”ICMCS 2014 . Marrakech. Maroc.

11- Lyes Demri, Leila Falek, Hocine Teffahi and Amar Djeradi “Determination of variation

ranges of the Psola transformation parameters by using their influence on the acoustic

parameters of speech” . LNIT (lecture notes on information theory) journal, vol.2, No.1,

Mars 2014.

12- L.Falek, O.Bouferroum, A.Djeradi and H. Teffahi . « Analysis and recognition of Arabic

consonants using locus equations » LNIT (lecture notes on information theory) journal,

vol.2, No.1, Mars 2014.

Page 9: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

13- L. Demri, L.Falek, H.Teffahi. « Contribution to the design of an expressive speech

synthesis system for the Arabic language » 17th international conference on speech and

computer specom 2015. 20-24 september, 2015 Greece Athens.

C- Encadrement en Graduation

projets de fin d’études Master

1. BENAISSA Ahmed et MOHAMMEDI Salah « Conception et développement d’un

système de supervision du backbone dans les réseaux » . Master TRM. Juin 2014

2. BENSALEM Soumia. « Analyse prosodique du signal expressif pour la synthèse à partir

du texte. Application au rire et à la parole riante» Master TRM. Juin 2015

3. Hamza Amina. « Etude de méthodes d’évaluation de la qualité vocale – Mise en place

d’une plateforme pour l’évaluation subjective et objective de la parole Arabe ». Master

TRM. Juin 2016.

4. Guerchaoui Radia et Kasdi Lydia. « Analyse prosodique de la parole riante et élaboration

de vecteurs descripteurs ».Master TRM. Juin 2016.

5. DJERADI Aghiles et CHEBANI Ahmed ‘’Contribution aux études sur la synthèse et

l’analyse de visage parlant.’’ Master TRM. Juin 2015.

6. YENNOUNE Walid et LAKSI Yacine ‘’Clonage du visage parlant pour les

télécommunications’’ Master TRM. Juin 2016.

Soutenance de doctorat

1. Nom et prénom : DEMRI Lyes

Théme : « Contribution à l’élaboration d’un système de synthèse par concaténation de la

parole expressive » Date de soutenance : 05 juin 2016

2. Nom et prénom : HALIMOUCHE Ramzi

Théme : «Exploitation De La Prosodie Pour La Segmentation Et L’analyse De Signaux

De Parole.» Date de soutenance : En voie de soutenance

Page 10: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

Encadrement en cours :

1. Thèse de Doctorat intitulée, ‘’Détection des émotions à partir du signal de parole“,

Thèse en cours. (sous la direction de Mr. Teffahi).

2. Thèse de Doctorat intitulée, ‘’Contribution à l’amélioration du signal de synthèse

dans un système TTS pour la langue arabe“, Thèse en cours. (sous la direction de Mme

Falek).

3. Thèse de Doctorat intitulée, ‘’Codage par Description Multiple pour les codeurs

fonctionnant en bande étroite et utilisés en VoIP’’, Thèse en cours. (sous la direction de

Mme Falek).

4. Thèse de Doctorat intitulée, ‘’ Les effets du bruit en production de la parole ‘’.

Thèse en cours. (sous la direction de Mme Falek).

Date et signature du chef de projet

Le 10 Novembre 2016

Prof. H. TEFFAHI

Page 11: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

Rapports individuels

Page 12: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

RAPPORT INDIVIDUEL D’ACTIVITE DE RECHERCHE

PROJET CNEPRU

1. Informations personnelles

Nom : Ali Benali épouse Falek Prénom : Leïla

Grade de chercheur : Directeur de recherche

Laboratoire : Laboratoire de communication parlée et traitement des signaux ( LCPTS )

Faculté : Electronique et informatique

Code du projet : J0200220130019

Intitulé : : De l’Usage de modèles de Compréhension de la parole émotive

2. Bilan scientifique

2.1 But de ma contribution dans le projet

1. Etude mise au point d’un banc expérimental pour la synthèse de l’émotion

2. Enregistrement d’un corpus de phrase pour la synthèse de l’émotion

3. Etude et choix d’un système de synthèse de la parole à partir du texte

4. Etude et choix d’un système de transformation de la voix

5. Réalisation de la transformation : voix normale vers voix expressive

6. Contribution à la synthèse d’une émotion

2.2 Travaux réalisés

2.2.1 Soutenances projets de fin d’études Master

7. BENAISSA Ahmed et MOHAMMEDI Salah « Conception et développement d’un système de supervision du backbone dans les réseaux » . Master TRM. Juin 2014

8. BENSALEM Soumia. « Analyse prosodique du signal expressif pour la synthèse à partir du texte. Application au rire et à la parole riante» Master TRM. Juin 2015

9. Hamza Amina. « Etude de méthodes d’évaluation de la qualité vocale – Mise en place d’une plateforme pour l’évaluation subjective et objective de la parole Arabe ». Master TRM. Juin 2016.

Page 13: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

10. Guerchaoui Radia et Kasdi Lydia. « Analyse prosodique de la parole riante et élaboration de vecteurs descripteurs ».Master TRM. Juin 2016.

2.2.2. Soutenance de doctorat

Nom et prénom : DEMRI Lyes

Théme : « Contribution à l’élaboration d’un système de synthèse par concaténation de la

parole expressive »

Date de soutenance : 05 juin 2016

2.2.3 Communications

1. Aissa Amrouche, Leila Falek and Hocine Teffahi « Contribution to the Improvement of the Synthesis Signal in a TTS System for Arabic ». 5th International Conference on Arabic Language Processing . - CITALA 2014 -November 26th – 27th 2014, Oujda, Morocco.

2. Aissa Amrouche, Leila Falek and Hocine Teffahi “Contribution à la realisation d’un synthétiseur de

parole pour la langue arabe » communication à la National Conference on Speech Processing

(NCSP'2014), C.R.S.T.D.L.A., December, 10 and 11, 2014.

3. Leila Falek, Hocine Teffahi et Amar Djeradi. “Acoustic analysis of lip-velarization of consonants

with the locus equations ”ICMCS 2014 . Marrakech. Maroc.

4. Halimouche Ramzi; Hocine Teffahi; Leila Falek. “Detection of Questions in Berber Language Using Prosodic Features” ICMCS 2014. Marrakech. Maroc

5. Lyes Demri, Leila Falek, Hocine Teffahi and Amar Djeradi “Determination of variation

ranges of the Psola transformation parameters by using their influence on the acoustic

parameters of speech” . LNIT (lecture notes on information theory) journal, vol.2, No.1,

Mars 2014.

6. L.Falek, O.Bouferroum, A.Djeradi and H. Teffahi . « Analysis and recognition of Arabic

consonants using locus equations » LNIT (lecture notes on information theory) journal,

vol.2, No.1, Mars 2014.

7. Lyes Demri, Leila Falek, Hocine Teffahi . “Interface for Dynamic Modification of the

Transformation Parameters of the PSOLA Algorithm”. International Conference on

Advanced Technology & Sciences (ICAT'14) . Antalya, Turkey on 12-15 August, 2014.

8. L. Demri, L.Falek, H.Teffahi. « Contribution to the design of an expressive speech

synthesis system for the Arabic language » 17th international conference on speech and

computer specom 2015. 20-24 september, 2015 Greece Athens.

Page 14: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

2.2.4 Publications

7. Leila Falek; Slimane Mekaoui, Hocine Teffahi and Amar Djeradi. “ Usage of a speech

constraint for highlighting compensatory strategies developed in production of a second

language”. International Journal of Speech Technology – Springer. DOI

10.1007/s10772-014-9230-z. Print ISSN : 1381-2416. Online ISSN : 1572-8110.

Publisher: Springer U.S.

8. L. Demri, L.Falek, H.Teffahi Interface for Dynamic Modification of the Transformation

Parameters of the PSOLA Algorithm. ijamec.atscience. International Journal of Applied

Mathematics, Electronics and Computers (IJAMEC) Vol 2, No 4 (2014) . ISSN: 2147-

8228.

9. L. Demri, L.Falek, H.Teffahi “Contribution to the creation of an Arabic expressive

speech corpus” acta acustica. united with acustica. The Journal of the European Acoustics

Association (EAA) · International Journal on Acoustics. Vol. 101 (2015) 1 – 1. Received

24 June 2014, accepted 06 August 2015.

10. Aissa Amrouche, Leila Falek and Hocine Teffahi.« Design and Implementation of a

Diacritic Arabic Text-To-Speech System » The International Arab Journal of Information

Technology (IAJIT) ». .On line: 02 novembre 2016.

3. Signatures

Date et signature du chercheur

Le 02 novembre 2016

Date et signature du chef de projet.

Le 10 novembre 2016

Page 15: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

RAPPORT INDIVIDUEL D’ACTIVITE DE RECHERCHE

PROJET CNEPRU

1. Informations personnelles

Nom : CHERABIT Prénom : Noureddine

Grade de chercheur : Attaché de Recherche

Laboratoire : Communication parlée et traitement du signal

Département : Télécommunications

Faculté : Electronique et informatique

Code du projet : J0200220130019

Intitulé : De l’usage de modèles de compréhension de la parole émotive

2. Bilan scientifique

Durant l’année 2014, Les travaux réalisés ont portés sur le suivi des points

caractéristiques d’un visage parlant.

Dans un premier point, nous avons mis au point un système qui permet de suivre les

points caractéristiques d’un visage parlant définies par MPEG-4localisés sur un visage

parlant en se basant sur la technique de lucas-Kanade.

Pour cela, une base de donnée vidéo a été enregistrée au niveau du laboratoire LCPTS. Il

s’agit de répéter plusieurs fois des séquences vidéo par des locuteurs.

Par la suite, je me suis intéressé à l’application de l’algorithme basée sur la méthode

différentielle de Lucas-Kanadeutilisée pour l'estimation du flot optique.

Les résultats du suivi ont été utilisés pour la reconstruction de la géométrie 2D d’un

visage parlant en se basant sur la triangulation de delaunay.Une partie sacrifiée pour les

résultats de l’erreur de suivi a été menée.

J’ai présenté des résultats satisfaisants à la conférence internationale ICAT’14 qui s’est

déroulé en Turkeydu 12-15 Aout, 2014.

Page 16: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

L’ensemble des travaux effectués durant l’année 2015 porte sur la détection, l’analyse et

le suivi du visage parlant dans une séquence vidéo. Une étude sur la séparation de

l’arrière-plan est effectuée afin de détecter la partie de la tête dans une séquence vidéo.

Dans cette étude, nous avons montrés l’efficacité de la méthode sigma-delta.

Nous avons aussi démontrés, l’utilité de l’application de l’espace couleur YCbCr, en

choisissant des paramètres pour la détection de la peau du visage.

Lorsqu’unvisage parle; l’ensemble qui le constitue comme le menton, les lèvres, les

joues…etc. sont commandés et impliqués en mouvement par des muscles de l’intérieur.

Pour cela, nous avons mis au point un système consiste à détecter et suivi les points

subissant un mouvement important sur ces parties lorsque un visage est impliqué en

mouvement. Pour ce faire, nous avons choisis de travailler avec l’algorithme de Horn

&schunk. Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

champ de vitesse de déplacement de chaque point entre deux images successives dans

une séquence vidéo. Ensuite, nous avons appliqués la méthode de likelihood afin de

calculer la moyenne et la covariance des vitesses sur le visage et de les utilisés pour

calculer un seuil qui dépend de chaque composante de vitesse utilisés pour séparer les

points subissant un mouvement important par rapport au seuil. Ces points seront utilisés

pour calculer la fonction de transfert dynamique d’un système de la projection

perspective. Cette fonction est utilisée pour synthétiser des gestes faciaux ainsi que la

synthèse d’un visage parlant.

De plus, nous avons appliqués un réseau de neurone de type kohonen aux vecteurs

descripteurs DCT et DCT suivi d’une analyse ACP. Nous avons obtenus de bons résultats

dansun environnement contrôlé.

Durant l’année 2016, nous avons concentrés notre recherche sur le clonage d’un visage

parlant. Les résultats sont satisfaisantes et seront publiés dans un article.

3. Travaux réalisés (Publications, Communications, PFE,…)

- Noureddine Cherabit, Amar Djeradi, Fatma zohraChelali. Tracking feature points of the

talking face. International Conferenceon Advanced Technology& Sciences. Turkie.

Page 17: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

- N.CHERABIT, Amar Djeradi& Fatma zohraChelali.’’Facial skin motion localization in a

videosequence’’. CEIT'2015 25-27 mai 2015 université de Tlemcen, Algeria.

- Fatma zohra CHELALI, Amar DJERADI & Noureddine CHERABIT. ‘’Face recognition

system using skin detection in RGB and YCbCr color space’’.WSWAN’2015 March 21-23,

Sousse, Tunisia.

- Fatmazohra CHELALI, Amar DJERADI &Noureddine CHERABIT. ‘’Investigation of

DCT/PCA combined with Kohonen classifier for human identification’’. ICEE2015, 13-15

décembre 2015.

B- PFE : Master

a- Contribution aux études sur la synthèse et l’analyse de visage parlant.

b- Clonage du visage parlant pour les télécommunications. Mémoire de Fin d’Eude licence : Huit (8) mémoires.

4. Signatures

Date et signature du chercheur

Le 4 Novembre 2016

Date et signature du chef de projet

Le 10 Novembre 2016

Page 18: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

RAPPORT INDIVIDUEL D’ACTIVITE DE RECHERCHE

PROJET CNEPRU

1. Informations personnelles

Nom : TEFFAHI Prénom : Hocine

Grade de chercheur : Directeur de Recherche

Laboratoire : Communication parlée et traitement du signal

Département : Télécommunications

Faculté : Electronique et informatique

Code du projet : J0200220130019

Intitulé : De l’usage de modèles de compréhension de la parole émotive

2. Bilan scientifique

Nous avons réalisé les points suivants :

1- Etat de l’art des travaux de recherches sur la classification des émotions à partir du signal

vocale

2- Enregistrement d’un corpus spécifique de la langue kabyle constitué de (12) phrases,

prononcées par cinq locuteurs (3 hommes et 3 femmes).

3- Extraction des paramètres prosodiques.

4. Détermination des descripteurs essentiels pour la classification des émotions.

5. Application des méthodes sur un corpus simulé en langue allemande.

6. Effet des différents débits d’élocution sur la classification des émotions.

3. Travaux réalisés (Publications, Communications, PFE,…)

Publications internationales:

1. Leila Falek; Slimane Mekaoui, Hocine Teffahi and Amar Djeradi. “ Usage of a speech

constraint for highlighting compensatory strategies developed in production of a

second language”. International Journal of Speech Technology – Springer.

DOI 10.1007/s10772-014-9230-z. Print ISSN : 1381-2416. Online ISSN : 1572-8110.

Publisher: Springer U.S.

Page 19: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

2. L. Demri, L.Falek, H.Teffahi Interface for Dynamic Modification of the

Transformation Parameters of the PSOLA Algorithm. ijamec.atscience. International

Journal of Applied Mathematics, Electronics and Computers (IJAMEC) Vol 2, No 4

(2014) . ISSN: 2147-8228.

3. L. Demri, L.Falek, H.Teffahi “Contribution to the creation of an Arabic expressive

speech corpus” acta acustica. united with acustica. The Journal of the European

Acoustics Association (EAA) · International Journal on Acoustics. Vol. 101 (2015) 1 –

1. Received 24 June 2014, accepted 06 August 2015.

4. Aissa Amrouche, Leila Falek and Hocine Teffahi.« Design and Implementation of a

Diacritic Arabic Text-To-Speech System » The International Arab Journal of

Information Technology (IAJIT) ». .On line: 02 novembre 2016.

5. L. Demri, L. Falek, H .Teffahi & A.Djeradi.’’ Determination of variation ranges of the

PSOLA transformation parameters by using their influence on the acoustic parameters

of speech ‘’, LNIT (Lecture Notes of Information Theory) Journal, vol.2, N°.1, Mars

2014.

6. R.Halimouche, H. TEFFAHI and L. Falek. ‘’Detecting Sentence Types in Modern

Standard Arabic’’ in The Journal of Experimental & Theoretical Artificial Intelligence.

Accepté le 30 Mars 2016. (sous presse).

Communications internationales:

1. M.R.Moharem, H. Teffahi , L.Falek.’’Détection de l’état émotionnel à partir du signal de

parole’’. 6ème Conférence Internationale sur les technologies de l’information et de

communication pour l’amazigh’’ TICAM’2015. 24-25 novembre 2015. Rabat (Maroc).

2. L. Falek, H.Teffahi & A. Djeradi. ‘’ Acoustic analysis of lip-velarization of consonants with

the locus equations’’ ICMCS’2014, Marrakech, Avril 2014.

3. R. Halimouche, H. Teffahi & L. Falek. ‘’ Detection of questions in Berber language using

Prosodic features’’. ICMCS’2014, Marrakech, Avril 2014.

4. L.Demri, L. Falek & H. Teffahi. ‘’ Interface for Dynamic Modification of the

transformation Parameters of The PSOLA Algorithm’’ . International Conference on

Advanced Technology & Sciences (‘ICAT 2014’), Antalya, Turkey on 12-15 August, 2014.

5. Aissa Amrouche, Leila Falek and Hocine Teffahi « Contribution to the Improvement

of the Synthesis Signal in a TTS System for Arabic ». 5th International Conference on Arabic

Language Processing . - CITALA 2014 -November 26th – 27th 2015, Oujda, Morocco.

Page 20: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

6. Aissa Amrouche, Leila Falek and Hocine Teffahi “Contribution à la realisation d’un

synthétiseur de parole pour la langue arabe » communication à la National Conference on

Speech Processing (NCSP'2015), C.R.S.T.D.L.A., December, 10 and 11, 2015.

7. Leila Falek, Hocine Teffahi et Amar Djeradi. “Acoustic analysis of lip-velarization of

consonants with the locus equations ”ICMCS 2014 . Marrakech. Maroc.

8. Lyes Demri, Leila Falek, Hocine Teffahi and Amar Djeradi “Determination of

variation ranges of the Psola transformation parameters by using their influence on the

acoustic parameters of speech” . LNIT (lecture notes on information theory) journal, vol.2,

No.1, Mars 2014.

9. L.Falek, O.Bouferroum, A.Djeradi and H. Teffahi . « Analysis and recognition of

Arabic consonants using locus equations » LNIT (lecture notes on information theory)

journal, vol.2, No.1, Mars 2014.

4. Signatures

Date et signature du chercheur

Le 10 Novembre 2016

Date et signature du chef de projet

Le 10 Novembre 2016

Page 21: MINISTERE DE L’ENSEIGNEMENT SUPERIEUR · basant sur la technique de lucas-Kanade. Pour cela, ... Une méthode basée sur l’estimation du flot optique, qui permet de calculer le

JUSTIFICATIFS