La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Click here to load reader

  • date post

    15-Nov-2014
  • Category

    Technology

  • view

    3.257
  • download

    0

Embed Size (px)

description

La reconnaissance des entités nommées et l'extraction de donnéesAvec Jean Veronis Enseignant Chercheur à l'Université de Provence. Spécialiste du Traitement Automatisé du Langage (TAL) et de l'informatique appliquée à la linguistique. http://www.seo-campus.org/programme/samedi

Transcript of La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

  • 1. Entits nommes
    Jean Vronis
    SeoCampus 2010

2. Cest quoi ?
jvTech Jean Vronis Technologies
3. Extraction dinformation
En France, il est interdit daccrocher les mots travailler, gagner plus et moins, sur une faade.
C'est ironique,
quand on est un artiste chinois,
d'tre censur en France pour subversion politique. Critiquer Hu Jintao Pkin, c'est possible. Mais Nicolas Sarkozy Paris, a non, c'est interdit. L'artiste Siu Lan Ko, 33 ans, en a fait les frais hier matin. Son installation a t dcroche en toute hte de la faade des Beaux-Arts de Paris la demande de son directeur Henry-Claude Cousseau
Tlrama 11 fvrier 2010
jvTech Jean Vronis Technologies
4. ~Noms propres

  • Personnes, lieux, marques, entreprises, organismes, etc.

5. France 6. Hu Jintao 7. Pkin 8. Nicolas Sarkozy 9. Paris 10. Siu Lan Ko 11. Beaux-Arts 12. Henry-Claude CousseaujvTech Jean Vronis Technologies
13. Mais pas seulement
Pourcentages, dates, montant montaires, etc.
La faiblesse de la croissance en zone euro au quatrime trimestre 2009 (+0,1%) et la stagnation du Produit intrieur brut (PIB) en Allemagne sur la mme priode a dprim les valeurs automobiles: Volkswagen a lch 1,91% 56,06 euros, BMW -1,66% 29 euros, Daimler -0,95% 32,46 euros.
jvTech Jean Vronis Technologies
14. Tche mal dfinie
Pourquoi entits nommes si on ne se limite pas aux noms propres ?
O sarrte-t-on ?
Dpend fortement de lapplication
La faiblesse de la croissance en zone euro au quatrime trimestre 2009 (+0,1%) et la stagnation du Produit intrieur brut (PIB) en Allemagne sur la mme priode a dprim les valeurs automobiles: Volkswagen a lch 1,91% 56,06 euros, BMW -1,66% 29 euros, Daimler -0,95% 32,46 euros.
jvTech Jean Vronis Technologies
15. A quoi a sert ?
jvTech Jean Vronis Technologies
16. Buzz

  • Navigation

17. SEOjvTech Jean Vronis Technologies
18. Veille, suivi de tendances
polmique
Polanski

  • Exemples

propos sur lAuvergnat
Brice Hortefeux ~ Frdric Mitterand
jvTech Jean Vronis Technologies
19.

  • marques

pisode de la F1
Renault ~Peugeot
jvTech Jean Vronis Technologies
20.

  • e-reputation

vague de suicides
France Tlcom ~ Suicides
jvTech Jean Vronis Technologies
21. Moteurs de recherche
actu
jvTech Jean Vronis Technologies
22. Moteurs de recherche
pas dactu
jvTech Jean Vronis Technologies
23. Nombreuses autres applications

  • Traduction automatique

Guillaume Portes a conu le logiciel Fentres
jvTech Jean Vronis Technologies
24. Nombreuses autres applications

  • Classification de documents

25. Textmining 26. Constitution de bases de faits 27. etc.jvTech Jean Vronis Technologies
28.

  • Exemple:

29. siloBreakerjvTech Jean Vronis Technologies
30. jvTech Jean Vronis Technologies
31. jvTech Jean Vronis Technologies
32. ClearForestGnosis projet OpenCalais
jvTech Jean Vronis Technologies
33. Comment a marche ?
jvTech Jean Vronis Technologies
34. Deux problmes
...blabla Orange blabla
dtection
interprtation

jvTech Jean Vronis Technologies
35. Dtection
Le problme semble simple
Dtection de chanes dans un texte
Exemple :
Oui, mais
PARIS - Un bras de fer s'est engag entre une artiste chinoise auteur d'une oeuvre faisant rfrence un slogan du prsident Nicolas Sarkozy et l'cole des Beaux-Arts de Paris, accuse de "censure".
jvTech Jean Vronis Technologies
36. Base de donnes
Sources
Wikipedia/DBPedia
Fichiers dentreprises
Base Geonames
etc.
Aucune base nest exhaustive
variabilit infinie
entits nouvelles
37. Variabilit
Personnes :
Ted Kennedy
Edward Kennedy
Edward M. Kennedy
Edward Moore Kennedy
Edward Moore Kennedy Sr.
Edward Moore "Ted" Kennedy
Ted
jvTech Jean Vronis Technologies
38. Variabilit
Socits :
Air France
Socit Air France (nom officiel)
Air France-KLM (groupe)
AF (bourse)
AFR (code aviation civile)
jvTech Jean Vronis Technologies
39. Erreurs orthographiques
488941 britneyspears
40134 brittanyspears
36315 brittneyspears
24342 britanyspears
7331 britnyspears
6633 britenyspears
2696 brittenyspears
1807 brineyspears
1635 brittnyspears
1479 brinteyspears
1479 britannyspears
1338 britinyspears
1211 britnetspears
1096 britineyspears
991 britaneyspears
991 britnayspears
811 brithneyspears
811 brtineyspears
664 birtneyspears
664 brintneyspears
664 briteneyspears
601 bitneyspears
601 brintyspears
544 brittaneyspears
544 brittnayspears
364 briteyspears
364 brittinyspears
329 brtneyspears
269 bretneyspears
269 britneysspears
244 britnespears
244 brytneyspears
220 breatneyspears
220 britianyspears
199 britnneyspears
163 britnryspears
147 breatnyspears
147 brittineyspears
147 brittyspears
147 brotneyspears
147 brutneyspears
133 britteneyspears
121 bittanyspears
121 bridneyspears
121 britainyspears
121 britmeyspears
109 brietneyspears
109 brithnyspears
109 britnispears
109 brittantspears

http://labs.google.com/britney.html
jvTech Jean Vronis Technologies
40. Pas toujours exceptionnel :
Jean-Pierre Pernault ?
Jean-Pierre Pernaut ?
jvTech Jean Vronis Technologies
41. Multilinguisme
Exemples
Benot XVI (fr)
Benedict XVI (en)
Benedikt XVI (de)
Benedetto XVI (it)
Benedicto XVI (es)
Londres ~ London
jvTech Jean Vronis Technologies
42. Translittrations
Pkin
Beijing

  • Mouhammar

43. Mohammar 44. Mouammar 45. Moammar 46. Muammar 47. Muammar 48. 49. Kadafi 50. Algathafi 51. al-Kadhafi 52. al-Gaddafi 53. Al Qadafi 54. Gueddafi 55. El-Gueddafi 56. X
jvTech Jean Vronis Technologies
57. Entits inconnues
Exemple : actualit
inconnu dans Wikipedia
12 fvrier 2010
jvTech Jean Vronis Technologies
58. Heuristiques
Typographie : Majuscule, mais
variantes
lEcole des Beaux-Arts (le Parisien)
lcole des Beaux-Arts (lExpress)
lEcole des beaux-arts (le Monde)
noms composs
Henri de la Ville de Mirmont
Htel de Ville de Mirmont
Jean Baptiste de la Croix de Chevrires de Saint Vallier
Jean-Baptiste Belley de Saint-Domingue
autres langues
allemand (majuscule sur tous les noms)
arabe, chinois, etc. (pas de majuscules)
jvTech Jean Vronis Technologies
59. Heuristiques
Base patronymes et prnoms connus, mais :
Nombreuses ambiguts
Prnoms: April, Art, Earl, France, Israel, Logan, Nol, Renault, etc.
luvre de Nol de Rgemorte
le march de Nol de Montbliard
Patronymes: Charpentier, Mer, Vaillant
ministre de l'Economie Francis Mer
Charpentier fut remarqu et apprci par Louis XIV
Charpentier au talent prometteur, ce compagnon
Inconnus
Barack
jvTech Jean Vronis Technologies
60. Heuristiques
Statistiques (contexte)
Exemples :
le photographe italienPietro Mastrurzo a remport
lItalien Pietro Mastrurzo a reu
le Franais Alexis Contin sest class
le patineur de vitesse franaisAlexis Contin
jvTech Jean Vronis Technologies
61. Interprtation
Deux problmes lis :
Dsambigusation
Orange, Total, Opium, etc.
Catgorisation
Personne
Entreprise
Toponyme
etc.
jvTech Jean Vronis Technologies
62. page dhomonymie
Wikipedia :
Orange
jvTech Jean Vronis Technologies
63. Trs difficile
Noms communs/marques
La majuscule ne suffit pas
Personnes/marques
etc.
Yves Saint Laurent lance Opium
Shanga : Opium, jeux, prostitution
la turbulente histoire de la Chine depuis la Guerre de l'Opium
Alain Chamfort met Yves Saint Laurent en musique
il rend hommage Yves Saint Laurent
Yves Saint Laurent lance une dition collector du parfum Elle
jvTech Jean Vronis Technologies
64. Typologie
Personnes, lieux, et..?
Difficults pour lhumain :
Orange = marque / entreprise ?
iPhone = produit / marque ?
Dpend de lapplication
classification de Sekine
jvTech Jean Vronis Technologies
65. 66. tant vont les fleuves la mer
et la mer nest jamais remplie
jvTech Jean Vronis Technologies