Big data pierreevenou
22
Big Data Définition, enjeux, technologies
Transcript of Big data pierreevenou
Big Data
Définition, enjeux, technologies
Définition
Qu’est ce que le phénomène big data ?
2
Accumulation sans fin de données
numériques
Gartner 20083Semaine européenne de l’Open Data | Pierre Evenou |
Big DataMardi 22 mai
Liée à un contexte nouveau+ de produits, de documents
+d’applications
de services+
d’échanges,de transactions,
de trafic +de terminaux,
de devices
+ de clients, d’utilisateurs
Tout est conservé !4Semaine européenne de l’Open Data | Pierre Evenou |
Big DataMardi 22 mai
Principales sources
Média et divertissementsSanté
Sciences de la vieVidéo surveillance
Transports, logistique, télécommunications
5Semaine européenne de l’Open Data | Pierre Evenou | Big Data
Mardi 22 mai
Des données différentes
Structurées
Organisées ;
Types prédéterminés ;
Relations bien connues ;
Accès transactionnel.
Non structurées
Produites en temps réel ;
En flots continus ;
Méta taguées de façon disparate ;
De sources très disparates.
6Semaine européenne de l’Open Data | Pierre Evenou | Big Data
Mardi 22 mai
3 caractéristiques
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
7
x 44 en 10 ans
8Semaine européenne de l’Open Data | Pierre Evenou | Big Data
Mardi 22 mai
Zo Eo Po To Go1 000 000 000
000
25 000 000 000 000 000 000 de conteneurs (quatrillion)
Impacts sur les Data Centers.
Pour les dix ans à venir
Nombre de serveurs x 10
Nombre de fichiers x 75
Le volume de données en data
center x 50La taille des équipes
IT x 1,5
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
9
Big data Big value
Une valeur statistiqueReporting
Data miningAnalyse prédictive
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
10
De nouvelles opportunités
Marché en croissance de 40% d’ici 2015 (IDC) ;Stockage la progression de 61% ;Convergence Big Data & Cloud Computing ;Un nouveau métier : Data Scientist.
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
11
De nouveaux défis
AcquérirSources multiples – Vélocité
OrganiserStockage – Passage à l’échelle – Performances
AnalyserFouille de données – Business intelligence
12Semaine européenne de l’Open Data | Pierre Evenou | Big Data
Mardi 22 mai
Solutions technologiques
Tendances, concepts et produits
Enablers
Hyperscale computing
+commodity hardware
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
14
Un datacenter en mode open source
Scale out storage
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
15
NouvellesRessources
Ressources
Ressources
Réseau
interne
(bus ou
mémoire)
Système de stockage
Ressources Ressources NouvellesRessources
Réseau externe Ensemble de nœuds agissant comme système
de stockage
SCALE UP SCALE OUT
• Plus extensible• Plus performant• Plus économique (-50 %)
NotOnlySQL
Bases de Données non relationnellesClé / valeurDocumentColonneGrapheAdapté aux architectures distribuéesFournit la tolérance aux pannes
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
16
Map Reduce
2004, Google - MapReduce: Simplified Data Processing on Large ClusterDiviser les données traitées en parallèle (Map)Combiner l’ensemble des résultats (Reduce)
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
17
Plateforme Big Data
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
18
Une architecture unifiée
L’open data
Dans tout ça
Données ouvertes
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
20
Données variablesUn volume potentiellement conséquentDes mises à jour fréquentesUne valeur liée à l’analyse
Big Data
Exemple
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
21
Elastic Map
Reduce
WebApp
Merci de votre attention
Mardi 22 mai
Semaine européenne de l’Open Data | Pierre Evenou | Big Data
22
