Maîtrise / Soutien phonétique / Soutenance Patrick Tremblay, ing., M.Ing.

SOUTENANCE23 mars 2015Patrick Tremblay, ing., Ing.École de technologie supérieure

2

Mémoire

CONCEPTION ET RÉALISATION D’UN LOGICIEL DE SOUTIEN PHONÉTIQUE AUTOMATISÉ ET DÉGRESSIF POUR LES PERSONNES DYSLEXIQUES,

ALLOPHONES OU PRÉSENTANT DES INCAPACITÉS INTELLECTUELLES

3

Agenda

Présentations Contexte et définitions Objectifs Méthodologie et démarche empirique Démarche de conception du logiciel Résultats Conclusion Recommandations Discussions

4

Agenda


5

Présentations Collaboration interdisciplinaire ingénierie-éducation

ÉTS: Pierre Bourque, Doyen des études Décanat des études

Université de Montréal: Jacques Langevin,

M.A. sciences de l’éducation (orthopédagogie) (Montréal) Doctorat en psychologie (Paris-Vincennes) Coresponsable du Groupe DÉFI Apprentissage (GDA), Université de Montréal, Faculté des sciences de l’éducation.

Accessibilité universelle et cognitive:

« Le GDA mène depuis 30 ans des recherches en éducation des élèves qui ont des incapacités intellectuelles » (GDA, 2015).

Patrick Tremblay Baccalauréat, génie logiciel (ÉTS, 2006) Ingénieur chez CAE (2006 à aujourd’hui)

6

Agenda


7

Contexte 50% de la population canadienne n’atteint

pas le 3e niveau de littératie (Langevin, 2014).

« À leur arrivée au Québec, près de la moitié (43 %) des immigrants ne connaissent pas un mot de français. » (Ministre de l'Immigration, Kathleen Weil, 2015).

8

Contexte

En français, l'association des graphèmes aux phonèmes est complexe et instable, contrairement à l’italien ou au latin, où les correspondances entre l’oral et l’écrit sont biunivoques.

Tout ce qui est écrit ne se prononce pas toujours. Ex.: « handicap », « faire ».

Les liaisons phonétiques entre les mots, prononcées à l’oral, ne sont pas écrites. Ex.: « les amis » vs « lê z’ami ».

9

Définitions Graphème: « la plus petite unité de la chaîne écrite ». (Catach, 2009)

Mot « Pourchasser » : « p, ou, r, ch, a, ss, er » Est dit complexe s’il est composé de plus d’une lettre (ex. : « eau », « eault »)

Archigraphème : « graphème représentant d’un ensemble de graphèmes correspondant au même phonème (ex. O pour o, ô, au, eau, etc.). » (Catach, 2009)

Phonème: « la plus petite unité de la chaîne orale, le son. Ex. : s, o, c dans soc », (Catach, 2009)

SPh: soutien phonétique: Ajout d’archigraphèmes au-dessus des graphèmes complexes Notation des voyelles et de leur soutien phonétique en rouge Notation des liaisons phonétiques entre les mots Estompage des lettres muettes en gris Dégressif: retrait du soutien phonétique en fonction du progrès du lecteur

10

Contexte

À propos de l’instabilité:

En acceptant les erreurs grammaticales, combien y a-t-il de façons d’assembler des graphèmes, afin d’entendre le mot « auto » ?

Présentation du Powerpoint « oto ». Langevin (2011), Madeleine Fauteux (2003)

11

Contexte

Comment réduire la complexité de l’activité de lecture du français ?

1. Texte simplifié (TS), (Duquette, Rocque, Langevin, & Beaulieu, à paraître)

2. Ortograf altêrnativ (OA), (Langevin et al., 2009).3. Soutien phonétique (Sph), (Langevin et al.,

2009).4. Version sonore (VS), (Rocque, Rioux et Langevin,

2012; Gravel, 2014).

12

Contexte Soutien phonétique (SPh): réduction

de l’instabilité de l’écriture du français.

Conceptrice: Dominique Rolland, enseignante (France).

Découverte du guide phonétique de Word: possibilité d’insérer archigraphèmes au-dessus des graphèmes complexes.

Mme Rolland a observé plusieurs bénéfices chez ses étudiants.

Mais les coûts (temps) d’utilisation sont élevés.

Graphème sélectionné

Archigraphème à être superposé

13

Démo

Sph: vidéo de démonstration Démonstration ralentie

14

Contexte

Problème: le GDA aimerait produire des manuels scolaires adaptés avec le Sph, mais le coût est trop élevé: ~416 heures/manuel

~15 minutes par page (Beaulieu, 2012)

15

Agenda


16

Objectifs

1. Concevoir et réaliser un logiciel qui ajoute le soutien phonétique aux documents francophones, de format Word, avec un taux d’erreur inférieur à 10%.

2. Rendre l’ajout de soutien phonétique dégressif et personnalisé pour chaque apprenant.

17

Objectifs – Limites et hypothèses

Limites :

L1 : Le texte est rédigé avec la langue française.

L2 : Le logiciel proposé ajouterait le soutien phonétique aux textes dans le logiciel Word, de Microsoft, conjointement au système d’exploitation Windows. Les autres systèmes d’exploitation sont exclus.

L3 : Le texte, candidat au SPh, est préalablement simplifié.

L4 : Le rôle de l’apprenant est de lire le texte produit en extrant par le logiciel, mais il n’est pas l’utilisateur du logiciel, ni destiné à le configurer.

18

Objectifs – Limites et hypothèses

Hypothèses :

H1 : Un logiciel, moteur de génération de soutien phonétique, serait en mesure d’automatiser le traitement manuel que font les chercheurs du GDA de l’UdM pour ajouter le soutien phonétique et pour estomper les lettres muettes.

H2 : Le taux d’erreur qu’effectuerait le logiciel, en ajoutant le soutien phonétique, serait inférieur à 10%.

H3 : Le logiciel permettrait de tenir un dossier, pour chaque étudiant, afin d’adapter les règles appliquées en fonction de ses apprentissages. Il s’agit de l’aspect dégressif de l’ajout du soutien phonétique.

19

Agenda


20

Méthodologie et démarche empirique

1. Conception et réalisation du logiciel (Sphone) Feature-Driven Development; méthodologie « Agile »

2. Optimisation du logiciel Corpus de 10 textes d’entraînement – tirés du manuel scolaire Signet (3e année)

3. Validation du logiciel : mesure du taux d’erreur Méthodologie basée sur logiciel et textes, et donc, n’implique pas de sujets humains. Corpus de 7 textes (Signet, 3e année) Répartition des erreurs selon 6 catégories:

A. Absence du soutien phonétiqueB. Mauvais choix de soutien phonétiqueC. Mauvais alignement du soutien phonétiqueD. Erreur de marquage (gris estompé) d’une syllabe muetteE. Erreur de marquage (rouge) lorsque le phonème est une voyelleF. Erreur de marquage de liaison (« z’ », « n’ » ou « t’ »)

21

Agenda


22

Démarche de conception du logiciel Étude des caractéristiques et règles

du SPh

1. Graphèmes complexes superposés par l’archigraphème correspondant. Il existe 35 archigraphèmes Table de transposition

2. Syllabes muettes: estompées en gris.

3. Voyelles et leur soutien phonétique marquées en rouge.

4. Liaisons phonétiques marquées explicitement, car « tout ce qui se prononce s’écrit » (GDA).

Table de transposition (GDA), version complète à l’annexe III

23

Démarche de conception du logiciel Comment automatiser l’ajout de Sph dans Word ?

Dictionnaire phonétique ? Insuffisant (verbes conjugués, liaisons phonétiques entre les mots). Disponibilité ? Coûts ?

Idée subséquente: les algorithmes « texte à la parole » grand public existent déjà. Peut-on en bénéficier ?

Recherche d’un logiciel « texte à la parole »: Gratuit Traite la langue française Offre disponibilité d’un API (Application Programming Interface) Permet de découper les mots en phonèmes Traite les liaisons phonétiques entre les mots Interprète des syllabes muettes

24

Démarche de conception du logiciel Évaluation de moteurs phonétiques (« texte à la parole »)

IBM ViaVoice

Acapela

Nuance

eSpeak

Vocalyze (Collavizza, 2004) Java

25

Démarche de conception du logiciel Ajout de Soutien phonétique dans Word

Composantes du logiciel: Module d’extension Word (C++) Serveur UDP/IP (Java) Moteur phonétique (Java) Dossiers des apprenants (C++)

26

Démarche de conception du logiciel Vocalyze

Règles faites en fonction de certains accents régionaux. Corrections ont été nécessaires pour adapter au Québec.

Exemple : le mot « emprunt » prononcé « emprIN », en France : Avant: [[ un ]] C -> e~ // accent régional: « in » Après: [[ un ]] C -> un // accent régional: « un »

27

Démarche de conception du logiciel

C++ Serveur UDP/IP

Word

Plug-in

Moteur phonétique

Serveur UDP/IP: encodage/décodage et traitement des requêtes et réponses phonétiques.

Dossiers des apprenants

28

Démarche de conception du logiciel Laboratoire de conception / réalisation du logiciel

29


Dégressivité

1. Système de tenue de dossiers des apprenants Un dossier par apprenant Choix de conception: coût optimal Système basé sur une sélection

d’archigraphèmes

2. Fonctionnement Options: affichage de 100%, 50% ou 0% des

éléments de soutien phonétique choisis.

30


Dégressivité

1. Validation Étant donné que la dégressivité relève

de règles mathématiques, et non pas de règles phonétiques, la validation est plus simple que pour l’ajout de soutien phonétique.

2. Vidéo de démonstration Dégressivité de l’archigraphème « o »:

affichage de 50% des occurrences.

31

Agenda


32

Résultats Afin d’éviter un biais dans le décompte des erreurs, les erreurs en double (même

règle impliquée) n’étaient pas incluses dans le total. Si un texte de validation avait contenu des proportions notablement plus grandes de graphèmes dont

la règle d’interprétation était erronée, alors les résultats auraient été biaisés pour ce texte.

Quelles sont les opérations automatisées comptées ?1. Ajout et alignement du soutien phonétique au-dessus du texte2. Changement de couleur en rouge lorsque le phonème est une voyelle3. Estompage des syllabes muettes en gris4. Ajout de liaisons (z’, n’, t’)

Catégories d’erreur:A. Absence du soutien phonétiqueB. Mauvais choix de soutien phonétiqueC. Mauvais alignement du soutien phonétiqueD. Erreur de marquage (gris estompé) d’une syllabe muetteE. Erreur de marquage (rouge) lorsque le phonème est une voyelleF. Erreur de marquage de liaison (« z’ », « n’ » ou « t’ »)

33

Résultats

# Nom du document Durée automatisée (secondes)

Nb de mots

Nb d'opérations

Nb d'erreurs

Taux d'erreur

1 SPH_2c_A_P1_tdm_p129 1 33 24 0 0,0%2 SPH_A_P1_T1_p130-131 4 50 101 1 1,0%3 SPH_A_P1_T2_p132-133 3 57 49 2 4,1%4 SPH_A_P1_T3_p134 0 26 46 2 4,3%5 SPH_A_P1_T4_p135-137 6 68 92 1 1,1%6 SPH_A_P1_T5_p138-139 3 46 56 3 5,4%7 SPH_A_P1_T6_p140-142 7 71 140 4 5,0%

TOTAUX: 24 secondes351 mots 508 opérations 13 erreurs 2,56%

Tableau 5 Résultats de la mise à l’essai

34

Résultats Points forts:

Catégorie C: alignement du soutien phonétique Raison: fiabilité de la fonction interne du SDK de Word:

PhoneticGuide(Text,Alignment,Raise,Font,…), dans le module d’extension (plug-in).

Catégorie E: marquage rouge des voyelles et de leur Sph

Raison: fiabilité de la logique implémentée dans le module d’extension de Word.

Opportunités d’amélioration: Catégorie A: soutien phonétique absent Catégorie B: choix de soutien phonétique erroné Catégorie D: marquage de syllabes muettes. Catégorie F: marquage de liaison (« z’ », « n’ » ou « t’

») Valides : « les amis », « les oiseaux » Sont notamment erronées:

liaison en « t », qui se fait avec une lettre « d », dans « grand arbre » ou « quand il »,

la liaison « n’ » dans « un homme » se fait, même si le « h » est une consonne, et muette de surcroît.

A. Absence du soutien phonétiqueB. Mauvais choix de soutien phonétiqueC. Mauvais alignement du soutien phonétiqueD. Erreur de marquage (gris estompé) d’une syllabe

muetteE. Erreur de marquage (rouge) d’une voyelleF. Erreur de marquage de liaison (« z’ », « n’ » ou « t’ »)

Nb d’erreurs

35

Résultats Raisonnement quant aux opportunités d’amélioration du SPhone:

Entraînement du logiciel limité à un corpus de 10 textes du manuel scolaire Signet 3e année.

Ces textes n’avaient évidemment pas interpellé toutes les règles phonétiques, trouvées dans l’ensemble des 7 textes de validation.

Donc: sans surprise, le modèle des règles du moteur phonétique, laisse place à l’amélioration.

Fichier texte « règles.txt » pourra être amélioré, avec l’utilisation du logiciel. « Les règles de prononciation utilisées pour la traduction en phonèmes sont parfois

insuffisantes » (Collavizza, 2006). Exemple tiré de (Goldman et al., 2001), où “l’analyse syntaxique serait justifiée”:

36

Agenda


37

Conclusion

Retour sur les objectifs:

1. Concevoir et réaliser un logiciel qui ajoute le soutien phonétique aux documents francophones, de format Word, avec un taux d’erreur inférieur à 10%.

2. Rendre l’ajout de soutien phonétique dégressif et personnalisé pour chaque apprenant.

38

ConclusionRetour sur les hypothèses:• H1 : Un logiciel, moteur de génération de soutien phonétique, serait en

mesure d’automatiser le traitement manuel que font les chercheurs du GDA de l’UdM pour ajouter le soutien phonétique et pour estomper les lettres muettes.

• Hypothèse retenue.

• H2 : Le taux d’erreur qu’effectuerait le logiciel, en ajoutant le soutien phonétique, serait inférieur à 10%.

• Hypothèse retenue; taux d’erreur = 2.56%.

• H3 : Le logiciel permettrait de tenir un dossier, pour chaque étudiant, afin d’adapter les règles appliquées en fonction de ses apprentissages. Il s’agit de l’aspect dégressif de l’ajout du soutien phonétique.

• Hypothèse retenue.

Importance de cette conclusion pour le domaine:• L’utilisation d’un logiciel, pour la production de manuels scolaires

adaptés avec le soutien phonétique, peut être envisagée.

39

Communication

Projet de rédaction d'un article de conférence

Collaboration : Bourque P., Langevin J. Mónica Villavicencio

Finissante du doctorat ÉTS Professeur à l’ESPOL (Équateur)

École Polytechnique Supérieure du Littoral

Est hispanophone; a appris le français durant ses études au doctorat

En lien avec le sujet du mémoire: catégorie des personnes allophones

Entame collaboration avec M. Bourque

40

Agenda


41

Recommandations

L1 : Le modèle phonétique du SPhone est centré sur la langue française. Une nouvelle recherche pourrait donc viser à adapter le SPhone pour, traiter d’autres langues comme l’espagnol, l’anglais ou l’italien, entre autres.

L2 : Le logiciel SPhone est limité à ajouter le soutien phonétique aux textes dans le logiciel Word, de Microsoft, conjointement au système d’exploitation Windows. Une nouvelle avenue de recherche pourrait avoir pour objectif d’adapter le logiciel pour d’autres systèmes d’exploitation, comme Android et Mac OS, et des plateformes mobiles telles que l’iPad, le Samsung Galaxy ou le Microsoft Surface Pro.

L3 : Les textes utilisés pour optimiser et valider le SPhone avaient préalablement été simplifiés, pour un manuel scolaire de 3e année du primaire. Une nouvelle recherche pourrait viser à traiter des textes d’un plus grand niveau de complexité, par exemple pour des étudiants du niveau secondaire.

42

Recommandations

Améliorer les règles phonétiques au-delà des 10 textes d’entraînement, avec des textes du même niveau de complexité.

Aspect dégressif /dossiers des étudiants Base de données centralisée sur internet Intégration aux commissions scolaires

43

Mot de la fin

Sph: mot de la fin- Monsieur Anatole France (1844-1924)

Prix Nobel de littérature (1921)

Texte non simplifé

44

Mot de la fin

Décompte des opérations automatisées Une erreur identifiée: ‘om’; règle #12 de la Table de transposition

(Langevin et Rocque, 2011) Correction simple dans le fichier « règles.txt », en ajoutant:

C [[ om ]] p -> on ## « comprendre » 'om' = 'on‘

Démo avec la correction

45

Agenda


46

Discussions

Période de discussions

47

Sources GDA, 2015. Lettre d’intention. CRSH partenariat, 2016-2023. Version finale du 13 février 2015, Montréal.

Ministre de l'Immigration, Kathleen Weil, 2015, La Presse. 8 février 2015.http://www.lapresse.ca/actualites/politique/politique-quebecoise/201501/25/01-4838252-immigration-au-quebec-reforme-majeure-a-venir.php

Viens, J., Langevin, J., Saint-Pierre, M. et Rocque, S. (2012). Pour des technologies accessibles aux élèves handicapés ou en difficulté d’apprentissage ou d’adaptation. Montréal, Québec : Éditions Nouvelles

Langevin, J., 2009. Recueil de textes Université d’Été Incapacités intellectuelles 2009. Montréal : Université de Montréal, Groupe DÉFI Apprentissage

Langevin J., 2009. Programme de recherche et innovation 2010-2014, version 2.5. Montréal : Université de Montréal, Groupe DÉFI Apprentissage

Langevin J., 2014. Une découverte en éducation : les élèves ayant des incapacités intellectuelles. Conférence. Département de psychopédagogie et d'andragogie, Groupe DÉFI Accessibilité (GDA).

Collavizza H., Stromboni J.P. 2006. « Une synthèse vocale destinée aux déficients visuels ». XXVIèmes Journées d‘Étude sur la Parole, Dinard.

Catach, Nina. 2009. L'orthographe, 9e édition. Coll. « Que sais-je ? ». France: Presses universitaires de France, 128 p.

Langlois, M.-C., Analphabétisme et littératie au Canada, 2012. Note de la Colline no 2012-46-F. Parlement du Canada. http://www.parl.gc.ca/Content/LOP/ResearchPublications/2012-46-f.htm

http://www.lapresse.ca/actualites/politique/politique-quebecoise/201501/25/01-4838252-immigration-au-quebec-reforme-majeure-a-venir.php




http://www.parl.gc.ca/Content/LOP/ResearchPublications/2012-46-f.htm

http://www.parl.gc.ca/Content/LOP/ResearchPublications/2012-46-f.htm

48

Sources

Langevin J., Fauteux M., 2003. "Powerpoint 'oto'". Présentation Powerpoint. GDA: Montréal.

Beaulieu, Judith. 2013. « Productivité de manuels scolaires adaptés pour élèves ayant deux années de retard en lecture ». Thèse de doctorat. Montréal, Université de Montréal, 270 p.

Beaulieu, J. 2012. Témoignage: "Estimation du temps moyen que prend l'ajout de soutien phonétique dans un document Word". Courrier électronique envoyé à Patrick Tremblay. Judith Beaulieu, 1 p. Consulté le 5 octobre 2012.

Goldman JP, Gaudinat A, Nerima L, Wehrli, E. 2001. « FipsVox : a French TTS based on a syntactic parser. ». Conference paper. Cahiers de linguistique française. Journal: 2001, no 23 (234 p.). Unité de linguistique française: Genève, Suisse.

France, A. 2015. « Anatole France - Quelques citations ». Tiré du web. 19 mars 2015. http://qqcitations.com/auteur/anatole-france

Photos et images externes: tirées du site www.123rf.com, avec droits d’auteur acquittés.

http://qqcitations.com/auteur/anatole-france



http://www.123rf.com/

49

MERCI !

Maîtrise / Soutien phonétique / Soutenance Patrick Tremblay, ing., M.Ing.

Engineering

Transcript of Maîtrise / Soutien phonétique / Soutenance Patrick Tremblay, ing., M.Ing.