30

Perception de la Langue française Parlée Complétée :

Intégration du trio lèvres-main-son

Clémence Bayard Post doctorante au GIPSA-lab, Grenoble Images Parole Signal Automatique (Grenoble)

1. Introduction théorique

DanscetexposéClémenceBayardvanousprésenterlestravauxdesathèseréaliséeencotutellesous ladirectiondeCécileColinet JacquelineLeybaertà l’UniversitéLibredeBruxelles.Durantses4annéesderechercheelles’estintéresséeàlaperceptiondelaLPCetplus précisément à lamanière dont les décodeurs prenaient en compte les informationslabiales,manuelles et auditives. Avant de vous présenter certaines de ses études voyonsensemblequelquesnotionsthéoriquesindispensablespourcomprendresontravail.

1.1 L’intégration audio-visuelle chez les personnes entendantes

Que savons-nous sur la manière dont les entendants perçoivent la parole ?Imaginonslasituationsuivante:vousêtesdansunendroitbruyant(parexempleunwagonde métro ou un grand magasin) et l’ami qui vous accompagne vous pose la questionsuivante:«Quand-estcequ’onmange?».Commel’environnementestbruyantetqu’ilestdifficile de bien percevoir les informations auditives, quelle stratégie allez-vous utiliser?Vous allez certainement vous focaliser sur le visage de votre locuteur, et sans vous enrendrecompteliresurseslèvres.

31

Eneffet,onsaitaujourd’huiquemêmepourlesentendants,percevoirlaparolen’estpasunphénomènepurementauditif,ilimpliqueàlafoislamodalitéauditiveetlamodalitévisuelle. Les sourds, n’ayant pas totalement accès à l’information auditive, utilisent aussispontanémentcettestratégieetcombinent lesdeux informationspourmieuxpercevoir laparole.Onappellecephénomènel’intégrationaudio-visuelle.

Cetteintégrationaudio-visuelleestunphénomènespontanéetirrépressible,elleestprésente même si l’information auditive est claire (pas de bruit ambiant). Ainsi, pour lamajoritédespersonnessionprésentedeuxinformationscontradictoires,parexempledeslèvres prononçant la syllabe /ka/ avec le son de la syllabe /pa/, et qu’on leur demandequ’avez-vousperçu?,ellesvontrépondrelasyllabe/ta/.Pourquoilasyllabe/ta/?Carelleades caractéristiques auditives communes avec la syllabe /pa/ et des caractéristiquesvisuellescommunesaveclasyllabe/ka/.Onappellecetypederéponseslesréponsesfusionetcette«illusion»l’effetMcGurk(McGurk&MacDonald,1976).

Afindevousconvaincredeceque j’avancevoiciunevidéodedémonstration (lienvidéo, 2min33 - https://www.youtube.com/watch?v=G-lN8vWm3m0). Dans ce film vousallezentendretoujourslemêmeson.Maisselonquevousvousfocaliserezsurlevisagedegaucheousurlevisagededroite,votreperceptiondevraitêtremodifiée.

1.2 L’intégration audio-visuelle chez les personnes sourdes

Malgré les avancées technologiques les informations auditives fournies par lesprothèsesoul’implantcochléairerestentdégradées.Quesepasse-t-ilsionprésentedeuxinformationscontradictoiresàdessourds?Comme l’informationauditiveestdégradée, ilsvontdonnerplusderéponsesvisuelles/ka/que/ta/(Desai,Stickney&Zeng,2008;Leybaert&Colin,2007;Rouger,etal.2008).Cependantcetteprédominancedesréponsesvisuelles

32

n’estpasimmuable.Dansunerécenteétude(Huyse,Berthommier&Leybaert,2012),onaremarquéquesil’ondégradecettefois-cil’informationlabialealorslessourdsvontdonnermoinsderéponsesvisuellesetvontaugmenterleurnombrederéponsesauditives.

Enconclusiononsaitquel’intégrationaudio-visuelleestunprocessusadaptatifquidépend du profil du récepteur (sourds et entendants ne donnent pas le même type deréponse)mais qui dépend aussi de la qualité des informations. Une information auditivedégradéeaugmente lenombrede réponses visuelles.A l’inverseune information visuelledégradéeaugmentelenombrederéponsesauditives.

1.3 Du Cued Speech à la Langue française Parlée Complétée

Commeexpliquéprécédemment, lessourdsontspontanémentrecoursà la lecturelabiale pour identifier un message oral. Or les informations fournies par les lèvres sontambiguës.Certainssonssontpeuvisiblessurleslèvresd’autresontlamêmeimagelabialec’est le cas du /p/ et du /m/. Dans la situation illustrée ci-dessous, sans contexte il estimpossiblepourlafilledesavoirsilegarçonluidemande«tuasvulechameau»ou«tuasvu lechapeau».Si lecontextepeutaider, lesétudesontmontréquel’usageuniquedelalecture labiale ne permet de percevoir correctement qu’environ 50% d’un message oralphonèmes(Montgomery&Jackson,1983;Owens&Blazek,1985;Bernstein,DemorestetTucker,2000;Nicholls&Ling,1982).

Face à ce constat le Dr Orin Cornett a eu une idée : créer un système de gestesmanuelsqui,associésàlalecturelabiale,permetdedésambiguïserl’informationlabiale:leCued Speech (Cornett, 1967). Ce système a été adapté à plus de 60 langues. La versionfrançaise,connuesouslenomdeLanguefrançaiseParléeComplétéeouLPC,aétécrééeen1977etfêteses38ansd’existence.

OrinCornett

33

La LPC : comment ça marche ?

Lapersonnecodeavecsamaintoutcequ’elledit,mêmelesliaisonsentrelesmots,en décomposant ses paroles en suite de syllabes de type CV (Consonne-Voyelle). Lesvoyellessontcodéesparcinqpositionsde lamainpar rapportauvisageet lesconsonnesparhuitconfigurationsdigitales.

Chaque clé code un groupe de phonèmes distincts aux lèvres. Par exemple lapremièreconfigurationdigitalecodelessons/p/,/d/et/j/qui,sionregardeleslèvressonttrèsfacilementdifférenciables.Lessosieslabiauxsonteuxcodéspardesclésdifférentes.(ex:/pa/,/ba/,/ma/).

Les informations labiales et manuelles sont donc complémentaires. Et il estnécessaire d’associer les deux pour percevoir correctement le message oral. Grâce à cesystèmemêmesanscontexte,l’informationlabialeestdésambiguïsée.

La LPC : perception et production

Dans ses recommandationsO.Cornett (1994)préconisait une synchronieentre lesmouvements du code et les sons produits. Toutefois en 2005 l’équipe du GIPSA-LAB deGrenoble s’est demandé comment la LPC était réellement produite (Attina, 2005). Ils ont

34

doncréaliséuneétudeetontrévéléquelesgestesmanuelsétaientproduitsenavanceparrapportauxsons.Ilsontdoncvoulusavoirsicetteavanceétaitutiliséeparlesdécodeursenperception.Et ilsontmontréqueoui.Ainsi lesdécodeursprofitentdel’avancedelamainpour sélectionner un nombre de syllabes potentielles. Puis avec l’information labiale ilsaffinent leur perception. Ces résultats renversent la conception classique de la LPC quiconsidère que les lèvres sont ambigües et que la main vient lever cette ambiguïté.Finalement il serait possible que ce soit l’information manuelle qui, comme elle estdisponibleavant,soitambigüeetqueleslèvresviennentlevercetteambiguïté.

Lamêmeannéeque leGIPSA-LAB, l’équipebruxelloise de l’ULB (Alegria& Lechat,2005).menaituneétudepourrépondreàlaquestionsuivante:quelestlepoidsdechaqueinformationsur lepercept final. Ilsontdoncmenéuneétude inspiréedecellessur l’effetMcGurk.Ilsontcréétroisconditions:

- l’unesansLPC(laconditionlecturelabiale)- l’uneaveclesbonsgestesLPC(laconditionLPCcongruent)- l’une avec demauvais gestes LPC (la condition LPC incongruent, ex la syllabe /fa/

aveclaclécodant/pa,da,ja/)

Ilsonttestédeuxgroupesd’enfantsexposésàlaLPC.L’unexposédefaçonprécoceetl’autre de façon tardive (à l’entrée à l’école). Quels sont les résultats? Les participantsprennentencomptel’informationmanuellemêmequandcelle-ciestincongruente.Deplus,ils ont constaté que le poids de l’information manuelle augmentait avec l’expertise. Legroupeprécocedonnaitplusderéponsemainquelegroupetardif.Lepoidsdel’informationmanuelle augmente aussi quand l’information labiale est dégradée. Enfin, les participantsont donné des réponses «compromis» qui évoquent l’effet McGurk. Ces résultatssuggèrentunevéritableintégrationdel’informationlabialeetmanuelle.

1.4 Objectif de la thèse de Clémence Bayard

Danscetravail,2questionsontétéposées:

1. Quand la LPCestperçuesans son,ya-t-ilounonunevéritable intégrationdesinformationslabialesetmanuelles?Etsiouiquellesensontlescaractéristiques?Comme dans l’intégration AV (Audio-Visuelle) classique, le poids de chaqueinformationdépend-ildustatutauditifdurécepteuretdelaqualitédechacunedesinformations?

35

2. QuandlaLPCestperçueavecduson,commentlesgestesdelamainmodulent-ilsl’intégrationaudio-visuelle(impactdelaLPCsurl’effetMcGurk?)

2. Intégration du duo lèvres-main

Pourrépondreàlapremièrequestion,nousavonsmené3étudesmaisuneseulevavousêtreprésentéeendétail(Bayard,2014).

2.1 Méthode

Dans cette expérience nous nous sommes demandé si les décodeurs intégraientvéritablementlesinformationslabialesetmanuellesetpouvaientparconséquent,percevoirdesfusionsoudescombinaisons.Onadonccrééunetâched’identificationdesyllabesavectroisconditions:

- l’unesansLPC(laconditionlecturelabiale)- l’uneaveclesbonsgestesLPC(laconditionLPCcongruent)- l’uneavecdemauvaisgestesLPC(laconditionLPCincongruent).

Onaégalementvoulutesterl’effetdeladégradationdechaquetyped’information.Ona donc fait varier la visibilité des informations labiales. La moitié des vidéos étaient dessyllabes /apa, aja ou ava/ très facilement reconnaissables sur les lèvres. L’autre moitiéétaientdessyllabes/aka,alaouassa/moinsreconnaissablessurleslèvres.Onaégalementfaitvarierlaqualitédel’informationmanuelle.Dansuntiersdesvidéoslamainétaitnette,dans le deuxième tiers elle étaitmoyennement floutée et enfin dans le dernier tiers elleétaittrèsfloutée.Enfinonatestél’effetdustatutauditif.Enproposantnotreparadigmeàdeuxgroupesdeparticipants:ungroupede15sourdsdécodeursLPCetungroupede15entendantsdécodeursLPC.

Les réponses des participants ont été classées en 4 catégories : réponses correctes,réponses«lèvres», réponses«main» et «combinaison». Par exempledans la conditionlecturelabialeaveclavidéo/apa/onaconsidérécommeréponsecorrectelaréponse/apa/et comme réponse lèvres les réponses /abaet ama/eneffet celles-ci partagent lamêmeimagelabialequelasyllabe/apa/.

Dans la condition LPC congruent : /apa/ est la réponse correcte, /aba et ama/ desréponses lèvreset/adaetaja/desréponsesmain.Eneffet/adaetaja/sontcodéspar lamêmecléque/apa/.DanslaconditionLPCincongruentavec/apa/auxlèvresetlaclé/l,chgn/,iln’yapasderéponsecorrecte;/abaetama/sontdesréponses«lèvres»./ala,achaetagna/desréponses«main»etlesréponses/apla,achpa/desréponses«combinaison».

36

2.2 Hypothèses

Pourcetteétude,nousavonsformulédeuxhypothèses:

- La qualité de l’information module le poids de chacune d’entre elles. Ainsi, sil’information labialeestambiguë lepoidsde lamainaugmente.A l’inversesi c’estl’informationmanuellequiestambiguëlepoidsdeslèvresaugmente.

- Lestatutauditifetceluidel’expertisemodulentlepoidsdechaqueinformation.Lessourds accordent plus de poids à la main. Les entendants moins familiers dudécodageaccordentplusd’importanceàl’informationlabiale.

2.3 Résultats

Les résultats obtenusont-ils confirménoshypothèses?Oui! Lesparticipants intègrentlesdeuxinformations.Lesdeuxgroupesprennentencomptel’informationmanuellemêmeenconditionLPCincongruentetlessourdsontperçudescombinaisons.Ladégradationdel’information labiale augmente bien le poids de l’information manuelle. A l’inverse, ladégradationdel’informationmanuelleaugmentelepoidsdel’informationlabiale.Enfin,legroupe sourd et le groupe entendant affichent des patterns de réponses différents. Lessourds accordent plus de poids à l’informationmanuelle que les entendants qui donnentprioritéàl’informationlabiale.

Notonsque lephénomènede combinaisonaégalementétémisenévidencedansune étude utilisant des vidéos de mots codés. Ainsi, la vidéo présentant des lèvresprononçant«rouge»etunemaincodant«mauve»aétéperçueparcertainsparticipantscomme«rose».Pourquoilacouleurrose?Carlapremièresyllabedumot«rose»partagelamêmeimagelabialequelapremièresyllabedumot«rouge».Etladeuxièmesyllabedumot«rose»estcodéeparlamêmecléqueladeuxièmesyllabedumot«mauve».

37

3. Intégration du trio lèvres-main-son

Dans le deuxième volet de notre travail nous nous sommes demandé ce qu’iladvenait de l’intégration audio-visuelle en présence de clés LPC? Comment l’informationmanuellemodule-t-ellel’intégrationaudio-visuelle?L’informationportéeparlesclésvient-elles’intégreraucouplelèvres-son,pourformerunperceptuniqueavecletriolèvres-main-son?

3.1 Méthode

Pourrépondreàcesquestionsnousavonsélaboréuneexpérience(Bayard,Colin&Leybaert,2014)utilisantdesstimuliaudio-visuelsMcGurk(video:audio/pa/etlèvres/ka/)produits ou non avec des clés manuelles. Pour évaluer la contribution de chaqueinformationlaclémanuelleétaitcongruente:

- soitavecl’informationauditive(clécodant/p,d,ʒ),- soitavecl’informationlabiale(clécodant/k,v,z/),- soitaveclafusionattendue(clécodant/m,t,f/).

Danscetteétude,nousavonségalementévaluél’effetdustatutauditifentestantungroupedesourdsdécodeursLPCetungrouped’entendantsdécodeursLPC.

Après chaque vidéo, le participant répétait à voix haute la syllabe perçue. Lesréponsesontétéclasséesenquatrecatégories:fusion(pourlaréponse/ta/),lèvres(pourlaréponse/ka/),son(pourlaréponse/pa/),autrelèvres(pourlaréponse/ga/quiestunsosielabialdu/ka/),autremain(pourlesréponsesenaccordaveclacléetautreque/pa,taouka/)etenfinréponseautre(pourtoutesautrespropositions).

3.2 Résultats

McGurk sans LPC

Sans clé LPC, le groupe«sourds» comme le groupe«entendants»donneun forttauxderéponses«fusion».Ilsdonnentensuitemajoritairementdesréponses«son».

Clé LPC congruente avec l’information auditive

L’ajout d’une clé en accord avec le son produit un effet différent sur les groupes.Chez les entendants cela fait diminuer le nombre de réponse fusion et sans surpriseaugmenter lenombrede réponses son. Legroupededécodeurs sourds, luinedonnepasplus de réponses audio mais opte pour une réponse «autre» codée avec la même clé

38

manuelle(àsavoir/da/ou/ʒa/).Ainsi,endépitdebonnesperformancesenconditionaudioseule, les participants sourds semblent davantage s’attacher aux informations visuellesfourniesparleslèvresetlamain,qu’auxinformationsauditives.

Clé LPC congruente avec l’information labiale

Quesepasse-t-ilquand lacléestenaccordavec les lèvres?Pour lesdeuxgroupesl’effetestlemême:ily’aunediminutiondesréponsesfusionetuneaugmentationnettedesréponseslèvres.

Clé LPC congruente avec la fusion

Maintenant quels sont les résultats quand on ajoute une clé en accord avec lafusion?Onconstatequepourlesdeuxgroupeslerésultatestlemême:commesanscléletauxdefusionestdéjàtrèsélevéiln’yapasd’effetsignificatif.Lesparticipantsdonnentlemêmepourcentagedefusion.

3.3 Conclusion et implications théoriques

Enrésuméqu’avons-nousapprisgrâceàcetteétude?

LaLPCest intégréeautraitementaudio-visuel«naturel».Onabienvuavec les réponsesdes participants, qu’ils prennent en compte l’information manuelle. Nos résultats ontégalement montré que le poids de chaque information sur le percept final n’est pasimmuable:ilvarieenfonctiondelacléassociée.Enfinaveccetteétudenousnousrendonsbien compte que les deux groupes se comportent différemment. De façon surprenante,mêmequandlamainestenaccordavecleson,legroupesourdsembleplusconfiantdansles informations visuelles que les informations auditives. Il est difficile pour euxd’ignorerl’information manuelle. Les entendants en revanche se fient davantage à l’informationauditiveetpeuventfacilementignorerl’informationmanuelle.

Cesrésultatsnousontamenéàimaginerdeuxmodèlesdeperceptiondelaparole.Lepremiermodèlecorrespondà lamanièredont lesentendantstraitent les informations.Dans celui-ci le récepteur effectue d’abord une intégration audio-visuelle classique (lesinformations labiales et auditives sont combinées). Ensuite si nécessaire l’informationmanuelle est prise en compte. Dans le second modèle, correspondant au traitementeffectuéparlessourds,lerécepteurcombined’abordlesinformationsvisuellesdisponibles(à savoir l’information labiale et l’information manuelle), puis dans un second tempsl’informationauditiveestpriseenconsidération.

Si ces premiers résultats sont prometteurs, il faut rester prudent dans nosconclusions. En effet le groupede sourds était limité (seuls 8 participants ont participé ànotre étude). En plus, on sait que la population sourde est très hétérogène. On a doncconduitunenouvelleétude(Bayard,Colin&Leybaert,2015)avec lemêmematériel.Maiscettefoisnousnoussommesdemandésilamanièredetraiterlesinformationsétaitliéeàla

39

récupérationauditiveplutôtqu’austatutauditif.Nousavonsdonctesté36sourdsimplantéssachantdécoder la LPC. 17d’entre eux avait unebonne récupération auditive. Et 19unemoinsbonnerécupérationauditive.

Lesrésultatsontrévélédespatronsderéponsesdifférentsselonlegroupe.

SansclésLPC,legroupeavecbonnerécupérationauditivedonneunemajoritéderéponses«fusion», puis ensuite une forte proportion de réponses «lèvres». Le groupe avec unemoins bonne récupération auditive donne lui une majorité de réponse «lèvres», puisensuiteuneforteproportionderéponses«fusion».

Commentvariecepatronderéponsesquandonajouteunecléenaccordavecleson?Chezlesdeuxgroupesl’informationmanuellediminuelaproportionderéponses«lèvres».Maispourlegroupeavecunebonnerécupérationauditivec’estauprofitdesréponses«sons».Alors que pour le groupe avec une moins bonne récupération auditive, comme pour legroupe«sourds»del’étudeprécédente,c’estauprofitdesréponses«main».

Quels sont les résultatsquand lacléestenaccordavec les lèvres?Pour lesdeuxgroupesl’effet est lemême: il y a une diminution des réponses fusion et une augmentation desréponseslèvresmêmesicelle-cin’estpassignificative.

Enfinquelssontlesrésultatsquandonajouteunecléenaccordaveclafusion?Onconstateque pour les deux groupes le résultat est le même: la main fait diminuer le nombre deréponses«lèvres»etaugmentetrèsfortementlenombrederéponses«fusion».

Ces nouveaux résultats nous amènent à nuancer nos précédentes conclusions. Le poidsaccordé à chaquemodalité dépend davantage de la récupération auditive que du statutauditif. Les sourds avec une bonne récupération auditive se comportent comme lesentendantsdel’étudeprécédente.

Cesrésultatsnousamènentàreconsidérernosmodèles:

- Les entendants et sourds avec une bonne récupération auditive, commenceraientpar intégrer les informations labialesetauditives.Puis ils traiteraient l’informationmanuelle.

- Les sourds avec une moins bonne récupération auditive, commenceraient parintégrer les informations labiales et manuelles, puis ils traiteraient l’informationauditive.

40

4. Discussion

4.1 Que nous apprennent les résultats obtenus dans ce travail de thèse ?

Lepremierélément,etnondesmoindres,c’estquelaLPC,parlaprésenceconjointed’indicesvisuels(liésauxlèvresetàlamain)etd’indicesauditifs(vialesprothèsesauditivesou l’implant cochléaire), offre un cadre idéal pour les recherches sur l’intégrationmultimodaledans letraitementde laparole.Dansnotretravail, faceausuccès indéniabledelaméthodeLPCnousnoussommesposédeuxgrandesquestions:

Comment se fait-il qu’un système inventéde toutepiècepuisse être aussi bien associé àl’informationnaturellementtransmiseparlalecturelabiale?End’autrestermesya-t-ilunevéritable intégrationduduo lèvres-main?Nosétudesontmontréqueouietcommedansl’intégration audio-visuelle, le poids de chaque info sur le percept final dépend du statutauditifdudécodeuretdelaqualitédechacunedesinformations.

Avec lesavancéestechnologiques,nombreuxsont lessourdséquipésd’implantcochléaireet/oudeprothèsesauditives.Uncertainnombred’entreeuxutiliseaussilaLPC.Commentse faitalors l’intégrationdu trio lèvres-main-son?End’autres termes la LPCmodule-t-ellel’intégration«naturelle»desinformationsauditivesetlabiales?Nosdeuxdernièresétudesmontrentqueoui.

4.2 Quelles sont les implications pratiques de nos études ?

Lepremierélémentàsoulignerc’estqueletrio lèvres-main-sonfonctionneetqu’ilapporte un argument en faveur de l’utilisation combinée de l’implant et de la LPC. Parailleurslesnombreusesétudessurlesentendantsontrévélélecaractèremultimodaldelaparole. Il est naturel de combiner à la fois les informations provenant de la modalitéauditive et celles provenant de la modalité visuelle. Nous doutons donc de l’intérêt desrééducationspurementauditives.Lesétudesdéjàréaliséessurcesujetontd’ailleursrévélélebénéficequ’ilyaàopterpourunerééducationmultimodale.Lesenfantsentrainésàlafois avec l’information auditive et visuelle ont ensuite demeilleures performances face àdes informations purement auditives que les enfants entrainés uniquement dans lamodalitéauditive.

Onsaitqu’ilestmoinsnaturelpourlesenfantsimplantésderegardersurleslèvres,ilestdoncnécessairederééduquerleregarddel’enfantpourutilisercecanald’information.A l’heure actuelle l’enjeu des thérapeutes va être de trouver un bon équilibre entre lesdifférentesmodalités.

5. Conclusion

41

Ellecode,jedécode:çaàl’airtoutsimpleetnaturel.LaLPCayantétécrééedetoutepièce, ça n’était pourtant pas gagné. Qu’est ce qui explique ce succès? Tout d’abord laparole codéepartageuncertainnombredecaractéristiquesavec laparoleaudio-visuelle.Lesinformationssontcomplémentairesetcommel’informationlabialeestenavancesurleson, l’information manuelle est en avance sur l’information labiale. Ce qui induit unvéritable ancrage de la main. L’avance de l’informationmanuelle sur le mouvement deslèvres alerte le décodeur et semble permettre une optimisation du traitement desinformationslabiales.

Au termedenosétudes,nous rejoignons lesauteursquiqualifient le codeLPCde«greffe»cognitiveréussie.Cescaractéristiquesfontqu’ilaététotalementincorporédanslesprocessusdéjàexistantsdutraitementdelaparole.L’informationmanuellen’estplusunsimple outil d’aide à la perception de la parole, elle fait partie intégrante de «l’objetparole» et accepte certaines distorsions. Il suffit de voir les sourds s’exprimer entre euxpourserendrecomptequ’ilspeuventdécoderunmessageoralmêmesilelocuteurparleenmangeant,sicelui-cinedonnequedesinformationssurlesvoyellesousurlesconsonnes.

6. Références

Alegria,J.,Lechat,J.(2005).Phonologicalprocessingindeafchildren:whenlipreadingandcuesare

incongruent.JournalofDeafStudiesandDeafEducation,10(2),122-133.

Attina, V. (2005). “ La Langue française Parlée Complétée: Production et Perception.” PhD diss.,

InstitutNationalPolytechniquedeGrenoble.

Bayard,C.(2014)“PerceptiondelaLanguefrançaiseParléeComplétée:intégrationdutriolèvres-

main-son.”PhDdiss.,CenterforResearchinCognitionandNeurosciences.

42

Bayard,C.,Colin,C.,Leybaert,J.(2014).HowistheMcGurkeffectmodulatedbyCuedSpeechindeaf

andhearingadults?Frontiersinpsychology,5,1-10.doi:10.3389/fpsyg.2014.00416.

Bayard, C., Colin, C., Leybart, J. (2015). Integration of auditory, labial andmanual signals in cued

speechperceptionbydeafadults:anadaptationoftheMcGurkparadigm.InFAAVSP-2015,

163-168.

Bernstein, L. E., Tucker, P. E., & Demorest, M. E. (2000). Speech perception without hearing.

Perception&Psychophysics,62(2),233-252.

Cornett,R.O.(1967).CuedSpeech,AmericanAnnalsoftheDeaf,3-13.

Desai,S.,Stickney,G.,&Zeng,F.G.(2008).Auditory-visualspeechperceptioninnormal-hearingand

cochlear-implantlisteners.JAcoustSocAm,123(1),428-440.doi:10.1121/1.2816573.

Huyse, A., Berthommier, F., & Leybaert, J. (2012). Degradation of labial information modifies

audiovisualspeechperceptionincochlear-implantedchildren.Earandhearing,34(1),110-121

Leybaert,J.,&Colin,C.(2007).Lerôledesinformationsvisuellesdansledéveloppementdulangage

del'enfantsourdmunid'unimplantcochléaire.Enfance,59(3),245-253.

McGurk,H.,&MacDonald,J.(1976).Hearinglipsandseeingvoices.Nature,264,746-748.

Montgomery, A. A., & Jackson, P. L. (1983). Physical characteristics of the lips underlying vowel

lipreadingperformance.JAcoustSocAm,73(6),2134-2144.

Nicholls,G.H.,&Ling,D.(1982).CuedSpeechandthereceptionofspokenlanguage.JSpeechHear

Res,25(2),262-269.

Owens, E., & Blazek, B. (1985). Visemes observed by hearing-impaired and normal-hearing adult

viewers.JSpeechHearRes,28(3),381-393.

Rouger,J.,Fraysse,B.,Deguine,O.,&Barone,P.(2008).McGurkeffectsincochlear-implanteddeaf

subjects.BrainResearch,1188,87-99.