Post on 24-May-2020
Architecture/Azure/Cloud
La démystification
du Big Data
Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb
Benjamin Guinebertière
Technical Evangelist
Microsoft France
@benjguin
François Simoës
V-Traffic ( Mediamobile)
www.v-traffic.com
Sébastien Etcheverry
V-Traffic ( Mediamobile)
www.v-traffic.com
Architecture/Azure/Cloud#mstechdays
Depuis votre smartphone sur :
http://notes.mstechdays.fr
De nombreux lots à gagner toute les heures !!!
Claviers, souris et jeux Microsoft…
Merci de nous aider à améliorer les Techdays !
Donnez votre avis !
Master Chief utilise Big Data
Une analyse du jeu permet de
détecter les tricheurs et améliore
l'expérience pour tous
Permet des campagnes ciblées qui
améliorent la fidélisation des
clients
Architecture/Azure/Cloud#mstechdays
Big Data – tendances du marché
Attentes desutilisateurs
Création des données en temps réel
Coûts du stockage et des matériels
Grands volumes de données Nombreux types de données
Architecture/Azure/Cloud#mstechdays
Plateforme Big Data de Microsoft – vue d’ensembleVolume x Variété x Vélocité x Visualisation = Valeur
MA
RK
ETP
LAC
E
SER
VIC
ES E
T D
ON
NEES
EX
TER
NES
Polybase
Architecture/Azure/Cloud#mstechdays
Hadoop ouvert,
partenariat stratégique Hortonworks
+Hortonworks Data Platformfor Windows
HDInsight
Architecture/Azure/Cloud#mstechdays
Map/Reduce: Word Count
Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 »
Architecture/Azure/Cloud#mstechdays
Hive
Architecture/Azure/Cloud#mstechdays
Gérez des données de tous types et toutes tailles
Sécurisez votre cluster Hadoop avec un nœud de sécurité dans HDInsight
Intégration étroite avec la plateforme de données Microsoft
HDInsight
Nœud de sécurité
Nœud de tête
Nœuds de traitement,HDFS local
Stockage Windows Azure
Stockage à long terme
redondélocalement
[et géographiquement]
hdfs:// wasb://
Architecture/Azure/Cloud#mstechdays
Architecture
Architecture/Azure/Cloud#mstechdays
Cas d’usage : APVX Aide a la Prévision des Ventes
Architecture/Azure/Cloud#mstechdays
Cas d’usage : APVX
Architecture/Azure/Cloud#mstechdays
HDINSIGHT
• Création d’un cluster
• Hive : Table Externe - Table Interne – View - UDF …
• Sqoop : Transfert
Architecture/Azure/Cloud#mstechdays
BI & POWER BI
• Automatisation : SSIS & PowerShell
• Power Pivot, Power Query
• Power View, Power Q&A
SSIS HDInsight Tasks
Architecture/Azure/Cloud#mstechdays
V-TRAFFIC
Notre Ambition : Offrir les informations les plus pertinentes et fiables
pour le confort des utilisateurs, sur n’importe quel support
Architecture/Azure/Cloud#mstechdays
Architecture/Azure/Cloud#mstechdays
Publiques
Privées
Partenariats
FCD/FMD
RDS TMC
DAB
GPRS/3G
WEB
Récolte des données avec plus de 100 sources
Analyse, modélisation, traitement et édition
Distribution par des multiples canaux
TIC
V-Traffic Spécialistes en solution d’aide à la mobilité depuis 1996
Architecture/Azure/Cloud#mstechdays
Utilisations des véhicules traceurs (FCD) - Suivi de véhicule
1. Les taxis envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile
2. Nos fournisseurs récoltent les données de géo-localisation
3. Mediamobile collecte ces données
Lat2,Long2,D2
4. Suivi du véhicule : localisation sur le réseau routier
Lat1,Long1,D1
5. Détermination de la vitesse du véhicule sur le réseau
Architecture/Azure/Cloud#mstechdays
Cartographie du trafic routier avec FCD:Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)
Fusion
Capteurs statiques Véhicules traceurs
Diffusion
Architecture/Azure/Cloud#mstechdays
Cartographie du trafic routier avec FCD:Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)
Fusion
Capteurs statiques Véhicules traceurs
Diffusion
Architecture/Azure/Cloud#mstechdays
• Localisation de chaque position dans une des 36000 villes de France
• 1 job Hive qui réalise 3 tâches :
-Load des données dans des tables Hive (external)
-Traitement Python ( PointInPolygon)
-GroupBy
• Le volume : 3777912 véhicules envoient 77 millions de positions pour 30 j
• Outil d’aide à la décision( comparer les fournisseurs )
HDInsight pour V-Traffic
Architecture/Azure/Cloud#mstechdays
DÉMO
Architecture/Azure/Cloud#mstechdays
Architecture
Architecture/Azure/Cloud#mstechdays
Visualisation/Résultat SSRS
Architecture/Azure/Cloud#mstechdays
Benchmarks / Performances29
19
16 16 16 16
0123456789
101112131415161718192021222324252627282930
3 nodes 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes
Temps de traitement par cluster
77 millions de positions en 16 minutes =
80208 points/sec !!
Architecture/Azure/Cloud#mstechdays
Benchmarks / Performances
10 MAP 22 MAP 30 MAP 30 MAP 30 MAP 30 MAP
12 mapMAX
24 mapMAX
36 mapMAX
60 mapMAX
72 mapMAX
120 mapMAX
29 mins
19 mins16 mins 16 mins 16 mins 16 mins
0
5
10
15
20
25
30
35
40
45
50
55
60
65
70
75
80
85
90
95
100
105
110
115
120
3 nodes 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes
Max MAP Capacity
Real MAP Nb
Duree (mins)
1,192 €/h
4,767 €/h
7,389 €/h
1,907 €/h
2,622 €/h
4,052€/h
Testez dès maintenant Windows Azure !
MSDN:
150€ de ressources
Poursuivez la discussion
sur le stand “au coeur du SI”
Partenaires:
http://aka.ms/Azure/Partner
http://aka.ms/free/trial
http://aka.ms/MSDN/Avantages/Abo
Digital is business