Virtualisation, Cloud Computing et Big DataVirtualisation, Cloud Computing et Big Data

Présenté par Ahmed Khoudir

Février 2014

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

2

Virtualisation : DéfinitionVirtualisation : Définition

Technique consistant à faire fonctionner plusieurs systèmes d'exploitation, en même temps, sur un même ordinateur (LAROUSSE)

Abstraction des ressources d'un système informatique

3

Virtualisation : HistoriqueVirtualisation : Historique

Concept introduit dans les années 60

– But : partitionner les ressources des coûteux mainframes

– Naissance du terme « pseudo-machine » Perte d'intérêt dans les années 80

– Architecture client-serveur• Coût élevé de l'infrastructure physique• Problèmes en cas de panne

4

Virtualisation : ChronologieVirtualisation : Chronologie

~1960 : IBM M44/44X 1999 : VMware Workstation 2001 : Microsoft Virtual PC ; VMware ESX 2003 : Xen (para-virtualisation) 2005 / 2006 : Extensions Intel VT-x et AMD-V 2007 : KVM intégré au noyau Linux 2008 : Microsoft Hyper-V

5

Virtualisation : Virtualisation : PrincipesPrincipes

Critères de Popek et Goldberg (*)

– Critères d’équivalence

• Comportement d’exécution similaire virtuel ou pas

– Critère d’efficacité

• Le processeur physique exécute directement les instructions du processeur virtuel

– Critère de contrôle des ressources

• Le système de virtualisation doit avoir un contrôle total des ressources

(*) Formal Requirements for Virtualizable Third Generation Architectures. Communications of the ACM, Vol. 17, No. 7, July, 1974, pp. 412–421.

6

Instruction Set Architecture (ISA)Instruction Set Architecture (ISA)

Trois groupes d’instructions ISA selon Popek et Goldberg

– Instructions privilégiées (Privileged instructions)

• S'exécutent dans un mode privilégié du processeur

– Instructions sensibles à la configuration (Control sensitive instructions)

• Ont la possibilité d'interroger ou modifier la configuration du système

– Instructions sensibles au comportement (Behavior sensitive instructions)

• Leurs comportement dépend de l’état ou la disponibilité des ressources

7

Virtualisation : Architecture IA-32Virtualisation : Architecture IA-32

Non-prévue pour la virtualisation

– Un certain nombre d'instructions sont problématiques car elles dérogent aux règles de Popek et Goldberg (*)

Solution apportée par VMware

– Virtualisation totale : VMware Workstation Xen a par la suite proposé une autre solution

– Para-virtualisation : Les instructions qui posent problème sont remplacées par des hyper-appels

(*) John Scott Robin and Cynthia E. Irvine "Analysis of the Intel Pentium's Ability to Support a Secure Virtual Machine Monitor" Proceedings of the 9th USENIX Security Symposium, Denver, Colorado, USA August 14-17, 2000

8

Virtualisation : Architecture IA-32Virtualisation : Architecture IA-32

9

Ces instructions dérogent aux règles de Popek et Goldberg Sensitive register instructions

– SGDT, SIDT, SLDT, SMSW, PUSHF, POPF Protection system instructions

– LAR, LSL, VERR, VERW, POP, PUSH, CALL, JMP, INT n, RET, STR, MOV

10

Virtualisation : Architecture IA-64Virtualisation : Architecture IA-64

(*) Kadir Karadeniz "ANALYSIS OF INTEL IA-64 PROCESSOR SUPPORT FOR A SECURE VIRTUAL MACHINE MONITOR" NAVAL POSTGRADUATE SCHOOL, Monterey, California, March 2001

18 instructions dérogent aux règles de Popek et Goldberg (*)

11

Virtualisation : Architecture IA-64Virtualisation : Architecture IA-64

3a1: References or changes the mode of the processor 3a2: References or changes the state of the processor 3b1: References or changes sensitive registers 3b2: References or changes sensitive memory locations 3c1: References or changes privilege level 3c2: References the memory system 3c3: Interferes with address translations 3d: I/O instructions

Virtualisation : TypesVirtualisation : Types

Émulateur (Hyperviseur de type 2)

– Simulation totale du matériel

– Virtualisation complète Isolation

– Virtualisation applicative

– Virtualisation au niveau du noyau (Partitionnement) Para-virtualisation (Hyperviseur de type 1)

12

Virtualisation :Virtualisation : Émulateurs Émulateurs

Simulation totale du matériel

– Vieilles consoles de jeux

– Vieux ordinateurs• Amiga, Atari, etc.

– QEMU, Gxemul, PearPC, Bochs, etc. Virtualisation complète

– Le système d'exploitation invité n'a pas conscience d'être virtualisé

– VMware Workstation, Oracle VM VirtualBox, VMware Server, Virtual PC

13

Virtualisation :Virtualisation : Émulateurs Émulateurs

14

Virtualisation : Virtualisation : IsolationIsolation

Virtualisation applicative

– Technique permettant d'emprisonner l'exécution des applications dans des contextes ou zones d'exécution

• Chroot, BSD Jail

– Plusieurs instances d'une même application• Apache, Tomcat, etc.

15

Virtualisation : Virtualisation : IsolationIsolation

Virtualisation au niveau du noyau

– Elle fait croire à la présence de plusieurs machines

– Il n’est pas possible d’utiliser des noyaux différents en même temps.

• Linux vserver, OpenVZ, Solaris zones, etc.

16

Virtualisation Virtualisation : Isolation: Isolation

17

Virtualisation Virtualisation : Para-virtualisation: Para-virtualisation

Le système d'exploitation invité est conscient d'être virtualisé Il communique avec l'hyperviseur via des API de

communication Les appels système au matériel du serveur physique se font par

l'intermédiaire de l'hyperviseur Nécessite une modification du système invité pour remplacer les

instructions non « virtualisables » par des hyper-appels VMware vSphere (ESXi), Citrix XenServer, Microsoft Hyper-V

18

Virtualisation Virtualisation : Para-virtualisation: Para-virtualisation

19

Virtualisation : UsageVirtualisation : Usage

Domaines d'application

– Virtualisation d’applications

– Virtualisation de serveurs

– Virtualisation de stockage

– Virtualisation de réseaux

– ...

20

Virtualisation : AvantagesVirtualisation : Avantages

Optimiser l’infrastructure physique, mutualiser les ressources

Améliorer la disponibilité des services Simplifier la gestion et le déploiement du système

– Automatisation des tâches

– Efficacité et gain de temps Réduire la consommation électrique Faire des économies ...

21

Virtualisation : InconvénientsVirtualisation : Inconvénients

Infrastructure souvent complexe, nécessite des connaissances techniques approfondies

Nécessite une solution de stockage « partagée » efficiente et sans faille

La facilité de déploiement des VM peut être un inconvénient

– Multiplication non justifiée des VM La gestion du cycle de vie des VM doit être rigoureuse Coût des licences et de la maintenance ...

22

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

23

Virtualisation du serveur Virtualisation du serveur

24

Source (Oct 2013) : http://www.virtualizationmatrix.com/matrix.php?category_search=all

VMware vSphereVMware vSphere

25

VMware vSphere : FonctionnalitésVMware vSphere : Fonctionnalités

Virtual SMP vMotion Storage vMotion DRS (Distributed Resource Scheduler) DRS Host Affinity HA (High Availability) App HA Fault Tolerance DPM (Distributed Power Management) ...

26

VMware vSphere : Virtual SMPVMware vSphere : Virtual SMP

27

CPU virtuel (vCPU) réglable selon les besoins de la VM - Un ou plusieurs Cœurs - Une ou plusieurs Sockets

VMware vSphere : vMotionVMware vSphere : vMotion

28

Migration à chaud d'une VM d'un serveur physique vers un autre

VMware vSphere : Storage vMotionVMware vSphere : Storage vMotion

29

Migration à chaud du disque d'une VM d'un volume (datastore) vers un autre

VMware vSphere : Resource PoolsVMware vSphere : Resource Pools

30

Les ressources physiques (CPU, Mémoire, etc.) sont organisées sous forme de pools

VMware vSphere : DRSVMware vSphere : DRS

31

Regroupe les ressources du cluster et les distribue aux VM. Équilibrage et déplacement des VM à l'aide de vMotion

VMware vSphere : DRS Host AffinityVMware vSphere : DRS Host Affinity

32

Possibilité de définir des dépendances vis à vis des serveurs physique, DRS tient compte de ces dépendances

VMware vSphere : HAVMware vSphere : HA

33

Redémarrage et relocalisation des VM sur d'autres serveurs physiques en cas de panne

VMware vSphere : App HAVMware vSphere : App HA

34

Assure la surveillance et la disponibilité des applicationsBasé sur des règles, redémarrage de l'application ou de la VM

VMware vSphere : Fault ToleranceVMware vSphere : Fault Tolerance

35

Basculement sur un autre serveur sans redémarrage de la VM (configuration limitée)

VMware vSphere : DPMVMware vSphere : DPM

36

Gestion de la consommation électrique

VMware vSphere : Update ManagerVMware vSphere : Update Manager

37

Mises à jour sans interruption de service

VMware vSphere : AdministrationVMware vSphere : Administration

38

L'administration de l'infrastructure de virtualisation se fait avec un client vSphere et un serveur vCenter

VMware vSphere : AdministrationVMware vSphere : Administration

39

Délégation de la gestion des VM

– Possibilité de définir des utilisateurs et des groupes d'utilisateurs

– Possibilité de définir des rôles et de les affecter : droit d'arrêter ou de démarrer une VM, de faire un snapshot, etc.

– Possibilité d'utiliser un annuaire AD pour authentifier et gérer les utilisateurs

VMware vSphere : Éditions v5.5VMware vSphere : Éditions v5.5

40

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

41

Virtualisation du poste de travail Virtualisation du poste de travail

42

Types de déploiement Streaming d'OS Architecture Virtual Desktop Initiative (VDI) Hyperviseur client

Streaming d'OSStreaming d'OS

43

Diffusion centralisée de l'OS et des applications Code exécuté sur la machine cible Une image par type de machines Gestion intégrée des applications et des pilotes Nécessite une connexion réseau continue

Virtual Desktop Infrastructure (VDI) Virtual Desktop Infrastructure (VDI)

44

Poste de travail hébergé sur les serveurs de virtualisation sous forme de VM

Machines et logiciels virtualisés distribués à la demande Administration centralisée Configuration minimale du poste client

– Périphériques d’entrées / sorties– Composant logiciel de déport d’affichage– Client léger

Nécessite une connexion réseau continue (mode connecté) Coût élevé et infrastructure complexe

Hyperviseur client Hyperviseur client

45

Hyperviseur de type I installé sur le poste client Meilleures performances L'hyperviseur local contrôle un ou plusieurs systèmes

virtualisés Facilite la migration vers un nouveau OS Possibilité de travailler en mode déconnecté Matériel géré par l'hyperviseur : Déploiement d'images

simplifié

Virtualisation du poste de travail Virtualisation du poste de travail

46

Citrix XenDesktop Microsoft (UE-V, App-V, RemoteApp, VDI, Client Hyper-

V, MED-V, Windows Thin PC) VMware Horizon Suite (View, Mirage, Workspace) Oracle Virtual Desktop Infrastructure, Oracle Desktop

Virtualization Clients Red Hat Entreprise Virtualization (RHEV) Etc..

Virtualisation du poste de travail Virtualisation du poste de travail

47

Projets open source– SPICE (protocole de communication) :

http://www.spice-space.org– Cantivo (KVM + SPICE) : http://www.cantivo.org

Tendances– Mobilité et l'usage du Cloud – BYOD (Bring Your Own Device)

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

48

Cloud Computing Cloud Computing

49

Définition– Accès via un réseau de télécommunications, à la demande et

en libre-service, à des ressources informatiques partagées configurables (wikipedia)

– Modèle d’organisation informatique permettant l’accès à des ressources numériques dont le stockage est externalisé sur plusieurs serveurs (Larousse)

Origine– Le mot Cloud, qui signifie « nuage » en anglais, correspond à

l'image généralement utilisée dans le monde informatique pour symboliser le réseau Internet (wikipedia)

Cloud Computing : Historique Cloud Computing : Historique

50

1997 Pr. Ramnath Chellappa, suggère que les frontières de l’informatique seraient définies par la logique économique plus que par les limites techniques (*)

1999 Salesforces fut le premier, à transformer ce concept en « business » avec une offre logiciel

2002 Amazon présente une offre de type « Cloud » comme solution au sur-dimensionnement de son parc de serveurs hors période de fêtes

2007 IBM fait du Cloud Computing une priorité(*) Intermediaries in Cloud-Computing: A New Computing Paradigm, INFORMS

Annual Meeting, Dallas, TX, October 26-29, 1997

Cloud Computing : C'est quoi ? Cloud Computing : C'est quoi ?

51

Ce n'est pas une technologie, mais un ensemble de technologies combinées

C'est un modèle d’exploitation et de distribution informatique orienté services

La virtualisation est au cœur de ce modèle : Usage et infrastructure sont découplés

Repose sur des centres de données modernes, hautement connectés et hautement disponibles

Ressources en libre-service et à la demande Approvisionnement rapide et ajustable Paiement à l'usage

Centres de données modernes Centres de données modernes

52

Administration automatisée au maximum– Intervention humaine réduite au minimum– Ajout et prise en compte automatique d'un matériel

Virtualisation – Optimisation et consolidation des ressources

Fabric Ethernet – Gestion simplifiée et réseau performant

Big Data – Stockage « distribué » de grande quantité de données

Cloud Computing Cloud Computing

53

Défis à relever– Normes et standards– Sécurité

Open Source– Doit jouer un rôle majeur pour relever ces défis – IBM annonce (4 mars 2013) que toute son offre Cloud

sera désormais basée sur l'Open Source (*) et investi massivement (17 septembre 2013) (**)

(*) IBM To Make Its Cloud Services and Software Open Sourced-based « http://www-03.ibm.com/press/us/en/pressrelease/40519.wss »

(**) IBM Commits $1 Billion to Fuel Linux and Open Source Innovation on Power Systems « http://www-03.ibm.com/press/us/en/pressrelease/41926.wss »

Cloud Computing : Cloud Computing : Types de déploiementTypes de déploiement

54

Cloud privé – Réservée à l’usage exclusif d’une seule organisation

Cloud public – Destinée à un usage public

Cloud communautaire – Réservée à l’usage d’une communauté spécifique

Cloud hybride – Combinaison d'au moins deux Cloud (privé, public ou

communautaire) autonomes mais liés entre eux

Cloud Computing : Cloud Computing : Gestion et organisationGestion et organisation

55

Cloud Computing : ServicesCloud Computing : Services

56

Software as a Service (SaaS)

Platform as a Service (PaaS)

Infrastructure as a Service (IaaS)

Cloud Computing Services : SPI model

Modèle de fourniture de logiciels hébergés dans le cloud.Exemples :

Google Apps Office Web Apps LotusLive (IBM)

Modèle de fournitured'un environnement d'exécution rapidement disponible pour des applications spécifiques ou en développement.

Modèle de fourniture de l'infra matériel (serveurs, stockage, réseau).Serveurs virtuels gérés par les clients eux même.

Cloud Computing & Open SourceCloud Computing & Open Source

57

OpenStack : http://www.openstack.org– Créé par Rackspace Hosting et la NASA (juillet 2010)– Licence : Apache v2.0

Piston Cloud Computing : http://www.pistoncloud.com – Offre commerciale basée sur OpenStack

Distributions Linux : OpenStack + KVM + libvirt– Red Hat, SUSE, Debian, Ubuntu, etc..

Apache CloudStack : http://cloudstack.apache.org– Licence : Apache v2.0

Eucalyptus : http://www.eucalyptus.com– Licence : GPL v3.0

OpenNebula : http://opennebula.org/– Licence : Apache v2.0

Cloud Computing Cloud Computing

60

Cloud Computing Cloud Computing

61

Cloud Computing Cloud Computing

62

Cloud Computing Cloud Computing

63

Références– Aspects juridiques du Cloud Computinghttp://www.clusif.asso.fr/fr/production/ouvrages/pdf/CLUSIF-Cloud-2010-Juridique.pdf

– Le Cloud et la sécurité http://www.clusif.asso.fr/fr/production/ouvrages/pdf/clusif-cloud-2010-securite.pdf

– L'évolution maitrisée vers le IaaS/PaaS http://www.eurocloud.fr/doc/lb_eurocloud_iaas.pdf

– CY13-Q3 Community Analysis — OpenStack vs OpenNebula vs Eucalyptus vs CloudStack By John Jiang, October 03, 2013

http://www.eucalyptus.com/blog/2013/10/03/cy13-q3-community-analysis-%E2%80%94-openstack-vs-opennebula-vs-eucalyptus-vs-cloudstack

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

64

Big Data Big Data

65

Définitions– Big Data, littéralement grosses données, parfois appelé

données massives, est une expression anglophone utilisée pour désigner des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information (wikipedia)

– Big Data, règle des 3V : Volume, Vitesse et Variété (Doug Laney, voir références)

• Explosion du Volume de données • Variété du format de données, des sources et des contenus• Vitesse du traitement dynamique des données

Big Data : Selon IBM Big Data : Selon IBM

66

67

Big Data : Performances et haute disponibilité– Hadoop (pionnier du big data) : http://hadoop.apache.org – Hadoop Distributed File System (HDFS), MapReduce

NoSQL : Hbase, Cassandra, MongoDB, etc..– Analyse en temps réel

• Détection de fraude par exemple– Comprendre le passé et le présent

• Prédire l'avenir

Big Data & NoSQLBig Data & NoSQL

68

Idées reçues– Big Data concerne uniquement les données massives ?

• Le Volume n'est qu'un indicateur parmi les 3V selon Doug Laney

– Big Data veut dire Hadoop ? • Hadoop, NoSQL, MPP (Massively Parallel

Processing)– NoSQL veut dire pas de SQL « No SQL » ?

• NoSQL = Not only SQL

Big Data Big Data

Big Data Big Data

69

Références – Real-Time Big Data Analytics: Emerging Architecture, Mike

Barlow http://cdn.oreillystatic.com/oreilly/radarreport/0636920029441/Real_Time_Big_Data_Ana

lytics_Emerging_Architecture.pdf

– Application Delivery Strategies, Doug Laney http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-

Controlling-Data-Volume-Velocity-and-Variety.pdf

– Top 5 Myths About Big Data, Brian Gentile http://mashable.com/2012/06/19/big-data-myths/

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

70

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

71

ConclusionConclusion

Dans cette présentation nous avons pris connaissance de l'historique, des différentes formes et usages de la virtualisation.

La virtualisation n'est pas une technologie nouvelle, mais son usage a augmenté d'une manière significative ces dernières années et ce dans plusieurs domaines.

Avec la mobilité, le nombre grandissant des clients connectés ainsi que l'explosion de données très variées, l'usage de la virtualisation, le Cloud et Big Data devient incontournable.

La maîtrise des coûts et une gestion efficace des ressources dans les centres de données modernes est un élément essentiel et ne peut se faire sans l'usage de la virtualisation.

72

PlanPlan

Introduction– Définition, historique, principes, types

Virtualisation du serveur– VMware vSphere

Virtualisation du poste de travail– État des lieux

Cloud Computing Big Data Démonstration DbaaS Conclusion Questions

73