MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N....

MAJORDOME : Assistant personnel et Messagerie unifiée

G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard,

A. Acoulon, F. Yvon, M. Sigelle, F. Yvon(étude finançée par le projet Eureka MAJORDOME)

Majordome GET - 24/02/2004

Garde la mémoire (adresses, agenda, infos personnelles)

Communique (au téléphone) avec vos interlocuteurs

Interprète votre messagerie écrite, vocale et vos

télécopies

Vérifie votre identité Répond à vos questions

Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué.

Le MAJORDOME est un assistant intelligent personnel qui :


Les fonctionnalités du Majordome

• Speaker verification

• Dialogue

• Routing

• Updating the agenda

• Automatic summary

Voice

Fax

E-mail


Authentification du locuteur

Fonctionnalités du Majordome


Fonctionalités du Majordome

Tâches de fond (au niveau du serveur):– Tri, interprétation et filtrage de messages

(E-mail, voice, fax, SMS,…);– extraction des informations pertinentes pour le client

(nom de l'expéditeur, objet du message,…).

Dialogue avec le client (par le téléphone ou internet)– Le système présente l'état de la messagerie

intégrée, le type de messages, l'expéditeur, l’objet, offre un résumé synthétique à la demande;

– Le client accède a sa messagerie, son carnet d'adresses, son agenda, ...


SP 1 : EXTRACTION D’INFORMATION DANS LES IMAGES DE TEXTE


1.Construction d’une base de données

2. Extraction de la structure des champs principaux

– localisation des champs : utilisation du texte et de l’image

• recherche tolérante de chaînes + groupement perceptif

– sélection des blocs EXPEDITEUR

3. Reconnaissance de caractères

– OCR, HCR

– modélisation des caractères par réseaux bayésiens

3. Extraction des noms propres

– vecteur de caractéristiques extrait sur chaque mot

• applications de règles (Prénom+NOM, typographie)

– classification par réseau neuronal

Traitement du texte (télécopies)


BASE DE DONNEES ECRIT base d’images de télécopies base de caractères ENST-FAX


étiquetage

/****************************************************************//* code1 : 1 : expediteur 2 : destinataire *//* code2 : 1 : intitule 2 : Nom+prenom 3 : intitule Nom*//* *//* code1 code2 x1 y1 longueur hauteur *//* imprime/manuscrit chaine de caracteres Print/Handw *//****************************************************************/1 3 950 469 108 22 Print Nom Name1 2 948 496 543 38 Handw DORIZZI BERNADETTE2 1 230 406 362 22 Print Destinataire2 3 231 467 108 21 Print Nom Name2 2 239 484 343 43 Handw Claudie Faure


BASES (suite)

150 images de télécopies étiquetage des champs expéditeur / destinataire position + nom

base de caractères ENST-FAX 6000 caractères (~270/classe)


Traitement des télécopies (suite)

DETECTIONCHAMPS

COMBINAISON

LECTUREOCR

DETECTION DES NOMS PROPRES

EXTRACTION BLOCS HYP. EXPEDITEUR

CHAMPSHYPOTHESES

EXTRACTIONDES BLOCS

DISCRIMINATIONImprimé/manuscrit

PSEUDO MOTS

CHAÎNESDE CARACTÈRES

CARACTÉRISTIQUESTEXTUELLES

CARACTERISTIQUESIMAGE


Extraction des noms propres Score=9

Score=8

Score=5

Score=5


reconnaissance des caractères

caractères dégradés imprimés HMMs et réseaux bayésiens

base de chiffres MNIST réseaux neuronaux réseaux bayésiens

base de caractères ENST-FAX méthode statistique : distance de Mahalanobis apprentissage sur base NIST


reconnaissance par réseaux bayésiens

dépendances modélisées dans une structure graphique+ distributions locales de probabilités CPD


réseaux bayésiens : résultats

UW-MajusculesMNIST

Chiffres

DBN-vertical 88.45 92.07

DBN-horizontal 86.92 89.19

Trajectoire-vert 90.53 92.97

Trajectoire-hor 87.04 90.13

couplage 1 94.78 93.79

couplage 2 96.86 94.23

couplage 3 95.92 93.83

couplage 4 97.12 _


1. Mesure pour chaque phrase d’un « score » de

représentativité (% de mots-clés)– à partir du pourcentage de mots clés dans la phrase mots

2. Extraction des phrases ayant leur score au-dessus d’un seuil donné

3. Concaténation des phrases choisies

Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible

Traitement des messages textuels


SP 2 & 3 : RECONNAISSANCE DE NOMS PROPRESAUTHENTIFICATION


1. Reconnaissance de l'appelant

– Noms propres et épellation du nom

2. Vérification du locuteur

– Sur la prononciation du nom du client (dépendant du texte)

– Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie

– Reconnaissance des requêtes 4. Synthèse vocale

– Résumé de messages électroniques

– Informations sur les télécopies

Interface téléphonique


MessageImageFaxPersonal Info

PDA Interface


Command (input) execution

Functions

output

Environemental events

state

Interface

Majordome pour Handicapés

Users

VoiceGesture (hand, foot, head movements)

4


Partenaires et collaborations réunions sur les applications

– EDF, Corebridge, Holistique, Software602, Integro adaptation du logiciel Swesum au français

– KTH-Euroseek+ENST montages de projets

– 1. Eureka MajorCall : Software602 (TCH), Multitel-TCTS (B), WCL-Univ. de Patras (GR), Knowledge S.A. (GR), Harpax s.r.l. (IT), GVZ (TK)

– 2. RNTL AMI : Cyber-Act, VRTV-Studio, Edf, Holistique

– 3. Calima (UPC, ENST) réception de messages

– plateforme Netcentrex


1. Dépôt d'un message dans la boite d'un client

– Reconnaissance du nom du client

– Enregistrement du nom de l'appelant

2. Réception et traitement d'une télécopie

– Reconnaissance du destinataire et de l'envoyeur

– Transfert vers la messagerie électronique du destinataire

Démonstration (1)


3. Accès à la messagerie à partir d'un téléphone mobile

– Reconnaissance du nom du client

– Vérification de l'identité de l'appelant

– Dialogue vocal pour accéder aux messages choisis

– Restitution des messages vocaux

– Synthèse des résumés de mél et des informations sur les

télécopies

Démonstration (2)


Démonstration (3)

4. reconnaissance de caractères

– caractères : ENST-FAX (statistique)

– chiffres : MNIST (NN)

– réseaux bayésiens (DBN)

MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N....

Documents

Transcript of MAJORDOME : Assistant personnel et Messagerie unifiée G. Chollet, L. Likforman, K. Hallouli, N....