GAB 2015 - Nouveautes sur le stockage de donnees dans Azure

27
#GlobalAzure Nouveautés sur le stockage de données dans Azure Jean-Luc Boucho

Transcript of GAB 2015 - Nouveautes sur le stockage de donnees dans Azure

Page 1: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

#GlobalAzure

Nouveautés sur le stockage de données dans Azure Jean-Luc Boucho

Page 2: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

THE BIGGEST MICROSOFT AZURE COMMUNITY EVENT

192 LOCATIONS57 COUNTRIES

+10000 PEOPLE

Page 3: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Global Sponsors

Page 4: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Jean-Luc Boucho

About me

• Architecte à Infosys•MVP Azure

Page 5: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Introduction■Stockage■Autour du Stockage■Questions

Agenda

Page 6: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Introduction

Page 7: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Enjeux de la gestion des données

Stockage

Coût

Performance

Disponibilité - Continuité

Sauvegarde

Traitement

Web

Client 360°Social

Internet des Objets

Explosion des données

Structure

Sécurité

Page 8: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Services de Données Microsoft Azure

Transform+ analyze

Visualize+ decide

Capture+ manage

Data

Visualize + decide

MobileReportsNatural LanguageDashboardsApplications

Complex Event Processing

Transform + analyze

Orchestration PredictionQueryInformation management

Search Streaming

Capture + manage

RelationalInternal & external

Non-relational

Page 9: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Architecture IoTEvent Queuing System

Collection Presentation and action

Event producers Transformation Long-term storage

Event Hubs

Storage adapters

Stream processin

g

Cloud gateways(web APIs)

Field gateways

Applications

Search and query

Data analytics (Excel)

Web/thick client dashboards

Live Dashboards

Apache Storm on HDInsight

Devices to take action

Kafka /RabbitMQ /ActiveMQ

Web and Social

Devices

Sensors

Azure Stream

Analytics

HDFS

Azure DBs

Azure storage

HBase

Page 10: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Application polyglotte

"Cloud Ninja Polyglot Persistence (CN2P)“Application

https://cn2p.codeplex.com/

Page 11: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Stockage

Page 12: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Services de stockage

• Relationnel

• Document

• Clé/Valeur

• Graphe

• Colonne

• PaaS / IaaS

• Microsoft / Partenaires

SQL Database

DocumentDB

Azure Storage

SQL Server (VM)

VM : tout !

Stockage

MySQL database

Azure Files

Page 13: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Caractéristiques des services

SGDBR complet

Traitement transactionnel

Requête riche

Fourni “as-a-service”

Scalable

Accessible via internet http/rest

Modèle de donnée sans schéma

Formats arbitraires

Page 14: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Premium Storage■Disques SSD (3 tailles)■Pour page blobs et disques VM■Redondance : LRS uniquement (rappel : LRS > ZRS > GRS > RA-GRS)

■Tarif : environ 7x Standard

■Azure Files (preview)■Cloud Drive■Partage de fichiers entre VMs■Protocoles : SMB2.1, REST API

■Append Blob (annoncé)■Fonction : écriture à la fin uniquement■Scenario : logging, auditing, multi-writer

Azure Storage

Page 15: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Nouvelles séries de VMs équipés de SSD local■D (SSD pour disque temporaire : mettre TempDB/Buffer Pool Extensions

sur D:\ )■DS (SSD: 25% pour disque temporaire, 75% pour cache des autres

disques)■Seule série pouvant attacher des disques Premium Storage■Jusqu’à 32To, 64.000 IOPs / VM■ Gain performance : x6 (backup SQL DB), x30 (restore)

■AlwaysOn + ILB■"SQL Server Managed Backup to Windows Azure“

■Type et fréquence déterminés automatiquement

■Intégration avec Azure Search via change tracking

SQL Server dans une VM

Page 16: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Compatibilité SQL Server■ Requêtes parallèles, tables partitionnées, indexation online■ Intégration CLR, T-SQL window functions, indexes XML, Change tracking■ Index columnstore en mémoire■ Améliorations ALTER DATABASE, 100 nouvelles DMVs, plus de limite de transactions (2Go), table sans index

cluster■ SQL Server Management Studio 2014 CU 5+

■Continuité■ Backup : rétention 7 / 14 / 35 jours selon l’édition Basic / Standard / Premium■ Géo-réplication : réplica passif (Standard) ou 1 à 4 géo-réplicas actifs en lecture (Premium)■ Restore : Point in Time, Geo-Restore

■Sécurité■ Row-level security (Preview) : filtrage de lignes (multi-tenant)■ Dynamic data masking (Preview) : masque de colonnes via une règle à définir dans le portail■ Audit des opérations (Données, DDL, DML…) + template de rapport Excel

■SLA 99.99%, tarification à l’heure, Septembre 2015 : éditions Web et Business

SQL Database (V12)

Page 17: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Scalabilité SQL horizontale■Gestion de centaines/milliers de tenants■Gestion de données temporelles partitionnées par date■…

■Pas un nouveau service mais une librairie .NET■Gestion Shard Map■Routage Data-Dependent■Requêtes Multi-Shard■Split-Merge

■SQL Azure federation

SQL Database / Elastic Scale (Preview)

Page 18: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Stockage de documents JSON■Requêtes SQL-like et JavaScript■Indexation automatique■Transactions multi-documents ACID (JavaScript proc/stoc, triggers et fonctions

utilisateurs)■4 Niveaux de cohérence (cohérence vs latence)

■Mise en œuvre■SDKs: .NET, Node, Java, Python■Outil “Data Migration Tool” (depuis MongoDB, SQL Server, fichiers CSV, JSON)■Portail : ajout mode bulk, syntaxe des requêtes, édition des documents■Intégration avec Azure Search

■3 niveaux de performances (de 19 à 75 EUR/mois)■Taille max de la base : 1 To (/100 collections mais déblocable)

■Essayer: http://www.documentdb.com/sql/demo

DocumentDB

Page 19: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Demo

Page 20: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Autour du stockage

Page 21: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Autour du Stockage

Stockage

Mise enCache

Azure Cache(Redis)

CDN

Filesd’at-tente

ServiceBus

EventHubs

NotificationHubs

Protection

Backup

Site Recovery

Key Vault

StorSimple

HDInsight

StreamAnalytics

MachineLearning

AzureSearch

MediaServices

BizTalkServices

DataFactory

Page 22: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Cache open source Redis, fourni as-a-Service■Réplication dans la configuration à deux nœuds (Standard)■Portail : monitoring et alertes (règles)■SDKs Redis: C/C++, .NET, Java, Node.js, Perl, PHP, Python, Ruby…

■7 niveaux de tailles (de 31 à 1164 EUR/mois)■Tailles de la base : 250Mo, 1Go, 2,5Go, 6Go, 13Go, 26 Go, 53 Go

■Autres options ?■Managed Cache Service■In-Role Cache■Shared Caching■“We recommend all new developments use Azure Redis Cache” (MSDN)

Azure Cache (Redis)

Page 23: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Fonctionnalités■Support On-premises : VMs Hyper-V (Windows ou Linux) avec/sans

System Center Data Protection Manager (DPM), Windows Server (SQL Server, Exchange, SharePoint, Dynamics, File Server, Server 2008+), Windows Client (7+)

■Support Azure : VMs IaaS Windows ou Linux (Preview)■Backup à chaud, incrémental■Backup initial : possibilité de l’envoyer par disque (service Import/Export)■Redondance : LRS ou GRS■Rétention long terme (99 années)

■Tarif : fonction du nombre et taille de machines concernées + coût de stockage Blob

Backup

Page 24: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Récupération de site■Réplication de machines virtuelles■Suivi du bon fonctionnement■Plans de récupération personnalisables et testables sans impact sur la

production■Orchestration de la récupération

■Réplication■Serveurs physiques, VMs Hyper-V, VMs VMware (Preview)■Différentes configurations : de Hyper-V/VMware vers

Azure/Hyper-V/VMware■Support : Stockage SMI-S, VHDX partagés, target iSCSI

■Facilite la migration de workload on-premises vers Azure

Site Recovery

Page 25: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

■Stockage de secrets■Clés, mots de passe, fichiers .pfx, …■Sécurisé par module matériel (HSM Thales

nShield)■Consommation permise aux applications

autorisées dans Azure Active Directory

■Usage■Cryptage de données SQL Server (TDE…)■Cryptage de VMs (CloudLink SecureVM)■…

■Tarif : nombre de clés + opérations■Ex Azure RMS BYOK (bring-your-own-key)

Key Vault (Preview)

Page 26: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Jean-Luc Boucho

Questions ?

[email protected]•@JeanLucBoucho

Page 27: GAB 2015  - Nouveautes sur le stockage de donnees dans Azure

Thanks!