Hadoop et bases de données relationnelles ultra performantes : le meilleur des 2 mondes avec ...

tech.days 2015#mstechdaysMicrosoft Analytics Platform System#mstechdays techdays.microsoft.fr

tech.days 2015#mstechdaysMicrosoft Analytics Platform System

Hadoop Expérimentation

External TableData integration

Social channels

Analytics

Big DataDisponibilité

Performance

Datawarehouse moderne

Azure

Détection de fraude

Scalabilité

Customer experienceBig SQL No SQL New SQL

Hive

Predictive maintenance

Machine Learning

Règlementation et archive

Hortonworks

Real-Time

Map Reduce

Statistical models

Unstructured Data

SécuritéHybrid

Datasources

BI

Internal systems

Customer services

Advanced Analytics

Data Lake

Data Hub

Health Care

Manufacturing

RetailFinancialsl

Marketing

HR

Innovation


Réponse Microsoft : Analytics platform System -


Ajout de

Capacité Ajout de

Capacité


Intégration en simplicité d’Hadoop

Analytics

Platform

System

Hortonworks

(Windows, Linux),

Cloudera

Microsoft Azure

HDInsight

Azure Cloudera VMS

Microsoft

HDInsight

Result set

PolyBase

Select…


Intégration des données

Archivage des données


AdvendureWorks / Factsales

Scénario fonctionnel : Evolution des ventes

Fichiers formats RCF


CREATE EXTERNAL DATA SOURCE HDP_Source

WITH (TYPE = HADOOP,

LOCATION = 'hdfs://10.9.50.11/',

JOB_TRACKER_LOCATION = '10.9.50.11:50300'

);

CREATE EXTERNAL DATA SOURCE WABS_Source

WITH (TYPE = HADOOP,

LOCATION = 'wasbs://[email protected]/'

);


CREATE EXTERNAL FILE FORMAT

WITH ( = ,

(

= '|',

DATE_FORMAT = '',

= False)

);


WITH ( = ,

(

= '|',

DATE_FORMAT = ''),

= 'org.apache.hadoop.io.compress.GzipCodec'

);


WITH ( = ,

= 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe',

= 'org.apache.hadoop.io.compress.DefaultCodec'

);


CREATE EXTERNAL TABLE [my_Schema].[my_Table] (

[C_Timestamp] datetime2(7) NULL,

…

[LineageID] varchar(40) NULL

)

WITH (LOCATION='/user/lionelp/my_Folder',

DATA_SOURCE = HDP_Source,

FILE_FORMAT = my_GZipFileFormat,

REJECT_TYPE = VALUE,

REJECT_VALUE = 0

);


Système intelligent : de la collecte des données temps réel jusqu’à l’analyse predictive pour répondre aux défis de la sécurité


Stream Analytics

TransformIngest

Antivirus logs

Present &

decide

Devices /OS

Social Data

Event Hubs HDInsight

Azure Data

Factory

Azure SQL DB

Azure Blob Storage

Azure Machine

Learning

Power BI

Web

dashboards

Mobile devices

DW / Long-term

storagePredictive analytics

Event & data

producers

APS

DW historique (faits + dim)

+ Analyse temps réel social datas

Données Tweets

Données Logs Analyse avancée et prédictive


7x moins cher que Teradata

3x plus rapide

Respect obligation réglementaire

Compréhension des fluctuations de revenus

163x plus rapidePowerful analytics platform to improve

performance and customer services. The

bank implemented a Microsoft SQL Server

2012 Parallel Data Warehouse appliance to

increase productivity by 40 percent for faster

response to business needs.

“Coeo have enabled us to rapidly deliver ROI to the business, achieve

incredible efficiencies and even introduce Agile project methodologies that

have made everyone’s lives easier. They are consistently impressive.

Solution largement déployée

tech.days 2015#mstechdaysMicrosoft Analytics Platform System tech.days 2015#mstechdays

Activez vos bénéfices Azure jusqu’à

115€ de ressources mensuelles

offertes

115€ /mois

x5 membres

x3 ans

= 4 175€ de ressources offertes

http://azure.com http://aka.ms/azurepourmsdn

150€ de ressources offertes

Sans engagement

Pour tousUn mois d’essai offert

http://www.microsoft.com/bizspark/

Les Ressources Azure

Pour les startupsBizspark

= 49 000€ de ressources offertes

pendant un an

Pour les abonnés MSDN

http://azure.com/

http://aka.ms/azurepourmsdn

http://www.microsoft.com/bizspark/

tech.days 2015#mstechdaysMicrosoft Analytics Platform System tech.days 2015#mstechdays

L’accompagne

Inscrivez-vous : http://aka.ms/pepiniereazure

Coaching technique et business

Ressources

La Pépinière Microsoft Azure

Visibilité

Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à

votre disposition de l’aide personnalisée.

Hadoop et bases de données relationnelles ultra performantes : le meilleur des 2 mondes avec ...

Technology

Transcript of Hadoop et bases de données relationnelles ultra performantes : le meilleur des 2 mondes avec ...