Migration d'Exalead vers Solr - IFCE et France Labs - Search Day 2014
-
Upload
francelabs -
Category
Software
-
view
360 -
download
0
description
Transcript of Migration d'Exalead vers Solr - IFCE et France Labs - Search Day 2014
Migration d’Exalead versApache Solr à l’IFCE
CÉDRIC ULMER, PRÉSIDENT - FRANCE LABSALBAN FERIGNAC, CHEF DE PROJET - IFCE
SEARCH’DAY - NOVEMBRE 2014
AgendaIFCE
• L’organisme
• L’outil de recherche sous Exalead
• Les raisons de la migration
• Les besoins techniques et fonctionnels
Apache Solr: Pourquoi et comment ?
• L’open source à la rescousse
• Mise en oeuvre du projet
• Informations techniques
• Statu quo de la migration
IFCE: les prochaines étapes
France Labs: Qui sommes-nous ?
IFCE
Institut Français du Cheval et de l'Equitation (IFCE)
Issue du regroupement Haras nationaux et cadre noir en 2010
~ 900 Employés
Missions ?
Nombreux sites
IFCE – La recherche avec Exalead
Rechercher dans divers modules de notre coeur de métier
Chevaux
Eleveur
Démarches
Site web
Besoin des éleveurs et du milieu de la compétition hippique
Mettre en valeur notre site de consultation des données “cheval”
IFCE – Les raisons de la migrationManque de Maitrise
Pas de communauté
Besoin du support ou d'une prestation pour le moindre soucis
Coût
75K€ pour 6M de documents
15K€ annuel de support
Support
Manque de réactivité sur des bugs bloquants
Politique
Mise à jour majeur payante
Demande du ministère de se tourner vers l'open source.
IFCE – Quelques chiffres
1.250.000 pages vues / mois
130.000 visiteurs uniques / mois
~ 3.000.000 chevaux
~ 1.200.000 personnes
IFCE – Besoins techniques et fonctionnels
Périmètre fonctionnel constant
Temps de réponse moyen par requête < 300 ms
Temps de mise à jour à l’ajout d’un cheval < 10 sec
Stabilité > 98%
Capacité de gérer 10 millions d’entrées
Temps pour l’indexation complète < 3h
IFCE – Les fonctions de recherche
Recherche multi-catégories (poulains, contacts, chevaux, formulaires…)
Recherche multi-types (pdf, base de données, html, doc…)
Faceting (profil, pays, races…)
Pagination / tri produits
Recherche full texte
Apache Solr – Moteur de recherche open source
Open Source: rappel
Liberté d’exécuter le programme, pour tous les usages
Liberté d’étudier le fonctionnement du programme et de l’adapter à ses besoins
Liberté de redistribuer des copies du programme
Liberté d’améliorer le programme et de distribuer ces améliorations
Apache Solr – Moteur de recherche open source
Créé en 2006
Géré par la fondation Apache
Surcouche de l’API Java Lucene, moteur ultrapopulaire
Moteur de recherche scalable horizontalement (clusterisation)
Compatible Big Data
Déjà de nombreux exemples de migrations vers Solr (notamment depuis FAST)
Apache Solr – Capacités
Peut gérer plusieurs milliards de documents
Gestion de nombreux types de documents (pdf, word, xls, zip, images, mp3, open office…)
Système de plugins pour les améliorations
Autocompletion, correction orthographique, suggestion
Multilingues
Clustering
Schéma dynamique
Quasi temps réel
Apache Solr - Autocomplétion
Apache Solr – correction orthographique
Apache Solr: recommandations
Solr@IFCE: mise en œuvre du projet
“D’abord le moteur, ensuite les fonctionnalités”
Migration vers Solr démarée en Juillet 2014 pour 4 collections (~5 Millions de docs)
Recette terminé en décembre 2013
Mise en production en février 2014 pour les 4 collections
Ajout de la base Equide comme collection supplémentaire en juillet 2014
Un chef de projet côté IFCE (20%), un expert Solr côté France Labs (100%)
Budget total de 15K€
Solr@IFCE: informations techniques
5 millions de documents indexés
Taille de l’index : 3 Go
Stabilité: 99%
Nombre de champs: 170 pour les chevaux
Hardware: VM avec 4 procs, 12 Go RAM dont 4 pour la JVM
Index en mémoire
Data Sources
Moteur de recherche
Front end
Admin UI
Pipeline d’indexation
DB Oracle
Site web
Apache Solr 4
IFCE – Architecture
DIH
Core 1
Core 4
ManifoldCF
Solr@IFCE: statu quo
Périmètre fonctionnel conservé
Réduction drastique des coûts
Esprit de partage grâce à l’open source
Réalisation du POC pour SolrCloud, démarrée en août 2014. Fin prévue en décembre 2014.
Solr@IFCE: prochaines étapes
Passage à SolrCloud pour la section Chevaux de Haras Nationaux (4 millions de chevaux)
Passage à SolrCloud pour toutes les sections de Haras Nationaux (50 millions de documents)
Hardware prévu: 3 VM, 50 M de docs et 9 shards (replication x3)
Moteur interne à l’IFCE
Vision à 3 ans : Géolocalisation, ...
France Labs – Nos prestations
Formation Consulting
Installation
Editeur logiciel
France Labs – Notre présence
Clientèle européenne, grands comptes comme TPE.
Participation active dans l’écosystème
• Local : commission open source de Telecom Valley, Tech Conf, RE:Conf
• National : organisateur de l’Enterprise Search Meetup à Paris, interventions au Search Day
• International: interventions à Enterprise Search Europe.
Datafari – notre solution complète de recherche – est disponible en open source, licence Apache
DES QUESTIONS ? (mais que représente le logo de France Labs ?!)
A VOTRE DISPOSITION AUJOURD’HUI
[email protected]@FRANCELABS