Analyse des réponses neuronales du cortex visuel primaire ...
LES ARCHITECTURES NEURONALES POUR LA...
Transcript of LES ARCHITECTURES NEURONALES POUR LA...
LES ARCHITECTURES NEURONALES POUR LA TRANSCRIPTION DE PAROLE
QUELS PROGRÈS AMÈNENT-ELLES?
POUR QUELS USAGES ?
Copyright © Bertin IT 2017, Société du groupe CNIM
Ariane Nabeth-Halber
SAFE&SMARTITSOLUTIONS
Forum GFII, 5 Décembre 2017
© Copyright - Bertin IT 2017
2
Editeur de Technologie - 120 pers. - 50% dédiées à la R&D
30 ans d’expérience en développement logiciel
France | Royaume-Uni | Allemagne | Maroc
QUI EST BERTIN IT ?
CYBERSÉCURITÉ INTELLIGENCE DIGITALE TRAITEMENT DE LA PAROLE
Protection des systèmes d’information d’importance
vitale, Anticipation des cyber menaces
Cyber intelligence Veille stratégique
Market intelligence
Transcription vocale multilingue pour Radio-TV-Video &
Conversations Téléphoniques
Commande vocale embarquée
Société du groupe
© Copyright - Bertin IT 2017
APPROCHES NEURONALES
APPRENTISSAGE PROFOND
© Copyright - Bertin IT 2017
4 LES ARCHITECTURES NEURONALES PROFONDES NE SONT PAS NOUVELLES
Source : Nikko Ström and Arpit Gupta, AWS Re:INVENT 30 Nov. 2016
© Copyright - Bertin IT 2017
5 PAS NOUVELLES EN TRAITEMENT DE PAROLE NON PLUS…
Source : Nikko Ström and Arpit Gupta, AWS Re:INVENT 30 Nov. 2016
© Copyright - Bertin IT 2017
6
Traitement d’image
Traitement de parole
Traduction automatique
Traitement du langage
Plus de puissance de
calcul parallèle (GPU)
Plus de volumes de
Données
Des algorithmes qui
rendent possible
l’apprentissage
POURQUOI MAINTENANT ?
© Copyright - Bertin IT 2017
CE QUE ÇA CHANGE ?
© Copyright - Bertin IT 2017
8 DES DÉCLARATIONS CHOC…
Hi, Cortana. (AP Photo/Eric Risberg)
Octobre 2016
© Copyright - Bertin IT 2017
9 VÉRIDIQUES MAIS NON DÉNUÉES DE BIAIS…
Source : Awni Y. Hannun Stanford University blog, Nov. 2017
© Copyright - Bertin IT 2017
10 LES TÂCHES QUI RESTENT DIFFICILES À L’ÈRE POST-DNN
Source : Awni Y. Hannun Stanford University blog, Nov. 2017
Baidu publication, Dec. 2015
Une histoire post-DNN
© Copyright - Bertin IT 2017
12 CONTEXTE : INFLATION DE LA RÉGLEMENTATION BANCAIRE
Janvier 2018 : Obligation de contrôler les
communications téléphoniques
2018
MiFID
2
2017
2016
2017
MAD2
MAR
2014
2013
Bâle |||
2012
EMIR
2010
Dodd-
Frank
FATCA
2007
Bâle |||
MIFID |
CRD IV
CRBF 97-02 Code of
Conduct
FOREX
RENFORCEMENT & TRANSFORMATION
DE LA FONCTION CONFORMITÉ
Spectre des contrôles
Nombre de Contrôles
Montant des Sanctions
ex. 2014 : 20 Milliards€ (sanctions Banques Européennes)
PÉRIMÈTRES COMMUNS
Salles de marché Europe + Worldwide
Transcription quotidienne
automatique des communications téléphoniques des traders
ENJEUX COMMUNS
Se conformer à MIFID2 et autres réglementations (Dodd-Franck, MAR,
Code of Conduct)
Faire converger Téléphone/Mail/Chat pour une surveillance globale
systématisée
Augmenter l’efficience des compliance officers
Permettre monitoring & discovery,
détection signaux faibles d’infraction
SPÉCIFICITÉS
Implantations & effectifs
Spécialisations métier
Organisations Compliance et monitoring
CAS CLIENTS : BANQUES DE FINANCEMENT ET D’INVESTISSEMENT
BANKS / CIB
N°6
LE DÉFI langues et langages des traders
Les spécificités des
conversations de traders :
premier palier de difficultés
…
relativement maitrisé
CENTRE DE CONTACT CLASSIQUE TRADERS
Codec G711=64kb/s GSM=13kb/s
Bruit Modéré ++
Spontanéité Modérée ++
Langage Un peu de vocabulaire spécifique Jargon métier ++
N°11
Les spécificités des
conversations de traders:
ce qui compte le plus
…
spécifique à l’Europe !
-- et régions hors US –
ANGLAIS+
Lexique technique fermé
Mais Accent majoritairement non-natif
FRANÇAIS+
Accent natif
Mais Lexique ouvert avec énormément d’anglicismes
MULTILINGUISME
Variété des langues et des accents + impact additionnel d’éventuelles altérations audio dans l’extraction automatisée
N°12
LA SOLUTION adaptation & deep learning
© Copyright - Bertin IT 2017
18 ADAPTATION
Trans-
criptions
manuelles
Textes corporate /
emails / chats
Trans-
criptions
manuelles ADAP
TATI
ON
Financial
feeds
LEXIQUE PHONÉTIQUE
MODÈLE DE LANGUE MODÈLE
ACOUSTIQUE
Sources textuelles
DONNÉES VECSYS + DONNÉES OUVERTES
Trans-
criptions
manuelles
Ready-made models
DONNÉES SPÉCIFIQUES CLIENT
© Copyright - Bertin IT 2017
19 DEEP LEARNING
Approches neuronales
Deep Learning (apprentissage
profond)
Intelligence Artificielle (IA)
Machine Learning (apprentissage automatique)
DNN = Deep Neural Networks
= réseaux de neurones profonds
Variantes DNN : time-delay networks recurrent networks
etc.
Un apprentissage de modèle = 2000 cœurs GPU pendant 4 semaines 24/7…
Sélection de données Augmentation de données
LE RÉSULTAT
60% erreur 40% reconnaissance
80% reconnaissance 20% erreur
90+% reconnaissance 10-% erreur
Jan2017 - Initiale – avant adaptation et améliorations
Septembre 2017 - À date GLOBAL
US ENG
GLOBAL
Mars 2017 - Intermédiaire 70% reconnaissance 30% erreur
85% reconnaissance 15% erreur
GLOBAL
US ENG
Performances sur les conversations
de traders / FRE & ENG
N°17
© Copyright - Bertin IT 2017
22 EXEMPLE DE TRANSCRIPTION
Couleurs = niveau de confiance auto-attribué par le système Ici l’extrait est fidèlement transcrit à plus de 95%
© Copyright - Bertin IT 2017
23
Extraction automatique multi-
enregistreurs des conversations
traders
Transcription Speech-To-Text systématique
Indexation toutes communications
unifiées (Emails, Chats, Tél)
Accessible équipe compliance
pour revue
TRADING-FLOOR,
JOUR J
- journée écoulée -
COMPLIANCE,
JOUR J+1
- Lendemain matin -
Chaîne 100% automatisée
du Front-Office à la compliance
© Copyright - Bertin IT 2017
24
ANGLAIS US
« You’re close to perfect! »
ANGLAIS UK ET ACCENTS NON-NATIFS
Améliorations significatives obtenues
Niveau initialement visé atteint
Les travaux continuent pour améliorer encore…
RÉSULTATS TECHNIQUES
© Copyright - Bertin IT 2017
www.bertin-it.com
SIÈGE
10 bis avenue Ampère 78180 Montigny-le-Bretonneux
FRANCE
T. +33(0)1 69 29 87 87 E. [email protected]
http://bertin-it.com/vecsys @bertin_IT
BT.
D4
6.D
B
T.D
46
.D