Apache Solr pour le eCommerce chez Allopneus avec France Labs - Lib'day2014
Comment ES permet d’organiser le flux de mégadonnées d’une … - Dixit 2016.pdf ·...
Transcript of Comment ES permet d’organiser le flux de mégadonnées d’une … - Dixit 2016.pdf ·...
Comment ES permet d’organiser le flux de mégadonnées d’une cellule
de veille ?
17.06
Nicolas BOMBOURG – Findout [email protected]
@Nbombourg
Que voyez-vous ?
2
De nouvelles technologies au service de la veille
20/06/2016 3
• Analytics • Modeling • Learning Algorithm
• Big data infrastructure (Index, NoSQL…)
• Parallele Computing • Data Processing
• Market Research • Competitive intelligence • Economics
Market Intelligence
Data Science
IT Big Data
Exemple d’utilisation d’ES Permettre aux Cellule de Veille d’identifier, annoter et partager
les statistiques et rapports publiés par les Sources Officielles
4
Filtre Contextualisation
Index
200M documents
Crawl
3M rapports 40M tableaux & graphs 300M séries Statistiques
250 K+ sources 2 M urls
ES couvre 3 besoins 1. Construire des index
2. Classer des résultats
3. Assurer Performance, Stabilité, Disponibilité, et Scalabilité
5
Quels sont nos challenges ? • Insertions et suppressions d’information en
continu
• Mises à jour régulières – Métadonnées recalculées tous les trimestres – Nouvelles métadonnées crées en permanence
• Formats hétérogènes – Rapports entiers vs Chapitres vs News – Tableaux Pdf vs Statistiques vs Datasets
6
SOLUTION
7
4 raisons de choisir ES 1. Pour la gestion du volume de données
2. Pour gagner en agilité au niveau de l’infrastructure
3. Pour la finesse du mapping et du requêtage
4. Pour ses avantages face à SolR
8
IMPLEMENTATION
9
2 phases d’intégration….. • Déploiement
– Difficulté : Compétences
• Croissance – Difficulté : Volume
10
…..4 étapes
1er Définir les environnements
● Qu’est-ce qu’un environnement ?
● Quels sont les environnements autour d’ES ? ○ Cluster de développement ○ Cluster de Test ○ Cluster de recherche de nos outils et de nos clients
(Production)
⇒ Nous avons établis 3 environnement distincts
11
2ème Affiner les algos de classement • Qu’est-ce que le ranking selon ES ?
• Que permet ES ? – Exposer le fonds documentaire – Diversifier les résultats – Faire découvrir les nouveautés
⇒ Nous avons monté un projet Search UX en interne
12
3ème Mettre à jour les index • Qu’est-ce que les index selon ES ?
• Pourquoi faut-il les mettre à jour ? • Combien de temps faut-il pour mettre à jour un
index ? – Etudes de marché, 3M de rapports, 1TB, 3 jours – Datasets, 62M de documents, 260 GB, 1 jour
13
4ème Mettre à jour les versions ● Comment fonctionne le versioning d’ES ?
● Pourquoi faut-il les mettre à jour ? - Améliorer les temps de réponses qui peuvent
s’allonger - Mieux comprendre les raisons d’un crash - Identifier plus facilement les requêtes fautives - Bénéficier du support le plus en pointe
⇒ Choisir à partir de l’ES 2.x pour éviter les incompatibilités avec les
versions 1.7 et précédentes
14
Nos utilisateurs ne veulent que la dernière info, peu importe le format
• …nous devons relever 2 nouveaux challenges
1. Anticiper les changements sur la longue traine est difficile
2. Le nombre d’utilisateurs utilisant notre solution croit
- 20K visiteurs uniques / jour prévus en Septembre
15
BONUS
17
Vision
« Utiliser les technologies d’intelligence artificielle sur des mégadonnées permet de détecter mieux que jamais les signaux faibles d’un marché »
18
De nouvelles compétences au service des veilleurs
19
Ingénieurs Statisticiens
Analystes
UX Designers
Taxonomistes
Gestionnaires données Economistes
LctReportlinker• My SQL • Big data to the
masses
Apache Solr • Utilisation Apache
SolR • 1st Iphone Release
Generalisation ES • Version 1 ES disponible • Rise of Mobile Devices
1er test ES 0.20 • Creation ES Bv • Big Data Initiative
ES accélère • Montée en
puissance
2007 2008 2012 2013 2016
Changement de MySql vers ES