JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de...

60
JRES 2005 – Marseille Consolidation de serveurs avec Linux VServer & VMware ESX Stéphane Larroque Xavier Montagutelli

Transcript of JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de...

Page 1: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

JRES 2005 – Marseille

Consolidation de serveurs avecLinux VServer & VMware ESX

Stéphane Larroque Xavier Montagutelli

Page 2: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 1/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Plan

Pourquoi consolider ?Techniques de virtualisationLinux VServer

Architecture / Mise en œuvreRetour d’expérience

VMware ESXArchitecture / Mise en œuvreRetour d’expérience

Conclusions & perspectives

Page 3: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 2/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Plan

Pourquoi consolider ?Techniques de virtualisationLinux VServer

Architecture / Mise en œuvreRetour d’expérience

VMware ESXArchitecture / Mise en œuvreRetour d’expérience

Conclusions & perspectives

Page 4: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 3/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Pourquoi consolider ?

État des lieuxProlifération des serveurs

Quantité et traitements de données numériques 1 application = 1 serveur (incompatibilités, facilité, sécurité, simplification de l’administration)Tests et développementsRedondanceSalles techniques saturées, sous-dimensionnées (climatisation, protection électrique)Matériel actif (réseau, SAN)

Éparpillement physique des serveursAdministration plus complexe

Page 5: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 4/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Pourquoi consolider ? (2)

Matériel pas homogèneAutomatisation des installations difficile

Extensibilité du matériel : théoriqueMise à disposition de nouvelles ressources

CommandeRéceptionMontageInstallation du systèmeDéploiement de l’applicatifComplexe

Sous-utilisationCoûts financiers et humains élevés

Page 6: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 5/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Pourquoi consolider ? (3)

Tentative de définitionEn économie : agrégation des comptabilités d’un groupe de sociétés afin d’en calculer les états financiers en simulant une entité uniqueEn informatique : regroupement des ressources pour optimiser leur administration / utilisation (ex. : stockage, serveurs)

Que peut-on en attendre ?Réduction des coûts (matériels, maintenance, …)Amélioration du niveau de serviceRenforcement de la sécuritéSimplification de l’administrationFlexibilité

Page 7: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 6/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Plan

Pourquoi consolider ?Techniques de virtualisationLinux VServer

Architecture / Mise en œuvreRetour d’expérience

VMware ESXArchitecture / Mise en œuvreRetour d’expérience

Conclusions & perspectives

Page 8: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 7/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Concepts

La virtualisation peut intervenir à différents niveaux

Applications

Librairies

Noyau

Matériel

Au niveau applicatif : l’application fait croire qu’il y a plusieurs services

Hôtes virtuels Apache, domaines virtuels Postfix, …Performances optimales

Applications

…App App

Page 9: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 8/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Concepts (2)

Au niveau du noyau : séparation des applications et regroupement dans des « cages »

Un seul noyau, qui fait croire àplusieurs machinesIl répartit les ressourcesBSD Jails, Solaris Zones, Linux VServerPerformances excellentes

App

Lib

Noyau

Matériel

App

Lib

Page 10: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 9/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Concepts (3)

Émulateur : application qui simule un processeur ou une machine complète

Traduction dynamique et complète du codeProcesseur émulé ≠ processeur réelBochs, QEMU, xmamePerformances médiocres

Noyau

Matériel

Émulateur

App

Lib

Noy

Mat

App

Lib

Noy

Mat

Page 11: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 10/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Concepts (4)

Virtualisation de machine : un moniteur de machine virtuelle(ou hyperviseur) fonctionne directement au-dessus du matériel

Les instructions s’exécutent en grande partie nativement sur le processeurVMware, Virtual PC, QEMU avec module d’accélération, XenPerformances bonnes à très bonnes

Noyau

Matériel

MMV

App

Lib

Noy

Mat

App

Lib

Noy

Mat

Page 12: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 11/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Proc. x86

Mode protégé : 4 niveaux de privilègesNiveau 0

Peut tout faireRéservé au noyau

Niveaux 1 et 2 : rarement utilisés en pratiqueNiveau 3

ApplicationsCertaines instructions (sensibles) sont interdites : modification de l’état de la machine, instructions d’e/s, …

0123

Page 13: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 12/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Proc. x86 (2)

Instructions non sensiblesInstructions sensibles dites « privilégiées »

Nécessitent le niveau 0Exécutées en niveau 3 : lèvent une exception

Instructions sensibles non privilégiées (17)Ne lèvent pas d’exception !Exécutées en niveau 3 : ???

Page 14: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 13/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Techniques de virtualisation – Concepts (5)

Le code des MV s’exécute (en général) directement sur le processeur ⇒ performanceLes MMV exploitent les exceptions des instructions privilégiéesMais elles doivent tenir compte des 17 instructions sensibles non privilégiées…Plusieurs approches :

Réécriture de ces instructions à la volée : virtualisation « classique » (VMware)Para-virtualisation (Xen) : remplacement par des « hypercall » à l’hyperviseur ⇒ nécessite une modification du code

Page 15: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 14/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Plan

Pourquoi consolider ?Techniques de virtualisationLinux VServer

Architecture / Mise en œuvreRetour d’expérience

VMware ESXArchitecture / Mise en œuvreRetour d’expérience

Conclusions & perspectives

Page 16: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 15/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Linux VServer

Idée : séparer l'espace utilisateur d'un système GNU/Linux (« hôte ») en unités distinctes (« serveurs privés virtuels » ou « vservers »)Commandes utilisateurs (util-vserver)

Patch sur le noyau Linux (patch-<version_linux>-vs<version_vserver>)http://linux-vserver.org/Liste de diffusion http://list.linux-vserver.org#vserver sur irc.oftc.netDébut du projet en 2001, utilisable depuis 2003

Page 17: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 16/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Isolation de processus

Contexte : nouvelle structure du noyau, identifié par un entierChaque processus fait partie d’un contexteInteractions entre processus (signaux, IPC…) limitées à un contexteContexte de l’hôte : 0

Peut créer de nouveaux contextesPeut changer de contexte

Contexte « spectateur » : 1Un contexte ≈ un vserver

Page 18: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 17/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Jouer avec les contextes# chcontext --xid 33 /bin/bashNew security context is 33# sleep 1000 &# ps auxwUSER PID COMMANDroot 4400 /bin/bashroot 4418 sleep 1000root 4419 ps auxw

# ps auxw | grep sleep[1]+ Terminated sleep 1000

# ps auxw | grep sleeproot 4421 grep sleep# vps auxw | grep sleeproot 4418 sleep 1000root 4427 grep sleep# kill 4418

Page 19: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 18/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Isolation réseau

L’hôte dispose de plusieurs adresses réseaux (éventuellement des alias)Les processus d’un vserver sont limités à une (ou plusieurs) adresse(s)

Page 20: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 19/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Isolation système de fichiers

ChrootNouvel attribut du système de fichiers pour se prémunir de l’évasion (barrier)Utilisation des espaces de noms (namespaces) de la couche VFSAssociation d’un fichier à un contexte

Clé d’accèsNécessaire pour avoir une limite de l’espace disque par vserver et des quotas par vserver dans le cas d’une partition partagée

Page 21: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 20/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Limitation du super-utilisateur

CapacitésNorme POSIX, partiellement supportée depuis Linux 2.2Jeton présenté par un processus pour prouver qu’il est autorisé à faire une actionOn peut fixer une limite aux capacités d’un contexte ⇒ root ne pourra pas tout faire

Nouvelles capacités. Exemple :CAP_NET_RAW trop fort. Mais sans lui, pas de ping…Solution : VXC_RAW_ICMP

Page 22: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 21/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Isolation et extension de /proc

/procSystème de fichiers virtuelAccès aux informations du noyau

Nécessaire dans un vserver : uptime, liste des processus, type de cpu, mémoire utilisée, points de montage, …Mais pas tout

Les processus des autres contextes n’apparaissent pasCertaines entrées sont « cachées » à l’aide d’attributs supplémentaires

Extensions sous /proc/virtual/ et /proc/virtnet/

Page 23: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 22/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Limiter les ressources

Coopération des processus et allocation des ressources : par le noyau (classiquement)ulimit par vserver : limitation de la mémoire, du nombre de processus, …Consommation de CPU limitable par un algorithme « seau de jeton »Disque

Une partition par vserver…… ou utiliser le marquage des fichiers par contexte

Page 24: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 23/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Jouer avec les ressources# cat /proc/meminfoMemTotal: 127016 kBSwapTotal: 200804 kB

# vlimit --xid 33 --as 30000

# chcontext --xid 33 bashNew security context is 33# ./me 250250 Mo : ok.# ./me 320320 Mo : Cannot allocate memory# ./me 110110 Mo : ok.# ./me 120120 Mo : Cannot allocate memory

S3

Page 25: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

Diapositive 24

S3 Limite l'espace d'adressage (i.e. la mémoire virtuelle maximale)Unité : bloc de 4 ko !!SCI; 19/11/2005

Page 26: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 24/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Autres éléments

Virtualisation d’informations systèmesNom d’hôte, version et release d’OS, type de machine, processeur (utsname, uname –a) UptimeQuantité de mémoire disponible (en fonction des limites fixées)

UnificationPartager des fichiers entre vservers à travers des liens en dur, idéalement tout / sauf …Gain de disqueMise à jour

Page 27: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 25/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Limites

Pas d’interface de boucle localePas de NFS en mode noyauPas de table de routage par vserver (sauf en jouant avec iproute2) ⇒ difficulté pour avoir des vservers sur plusieurs VLANNécessité de bien connaître GNU/LinuxCompréhension des mécanismes ci-dessus…

S4

Page 28: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

Diapositive 26

S4 pourquoi lo est-il dangereux ?SCI; 18/11/2005

Page 29: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 26/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Construction de l’hôte

Installer une distribution GNU/Linux (minimale)Recompiler le noyau après patchCompiler et installer les outilsFinir l’installation « à la main »

3 scripts de démarrage (/etc/init.d/{vprocunhide, vservers-default, rebootmgr})Attribut « hidden » sur le répertoire des vservers

Configurer les services réseaux de l’hôte pour ne pas faire de bind ANY (sur 0.0.0.0)

Page 30: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 27/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Construction d’un vserver# vserver vs build –m apt-rpm --context 33 \

--hostname vs.jres.org \--interface vs=eth0:10.1.1.2 --flags virt_uptime,virt_mem \-- -d rhel4

« vserver » : gérer les vservers« -m apt-rpm » : méthode de construction

Valeurs possibles : skeleton, debootstrap, yum, rpm, apt-rpmSous redhat : rpm pas très souple, yum pour Fedora ⇒ apt-rpm

« -- -d rhel4 » : option pour la méthode« rhel4 » définit la distribution : paquets àinstaller, script de pré et post création du vserver (/usr/local/lib/util-vserver/distributions/)

Page 31: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 28/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Construction d’un vserver (2)

Un vserver = Répertoire de configuration /etc/vservers/<vs>Répertoire chroot /vservers/<vs>Répertoire pour la gestion des paquets /vservers/.pkg/<vs>

Exemples de paramètres à configurerMots de passe md5 / mot de passe rootTimezone/etc/resolv.confScript /etc/init.d/halt

Taille typique : serveur avec SSHD + Apache + PHP + MySQL ≈ 300 Mo

Page 32: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 29/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Construction par virtualisation

Créer un vserver « squelette » (-m skeleton)Recopier le serveur réel :

Par « tar »Exclure les répertoires inutiles (/dev, /proc, /mnt, /sys)

Désactiver les services inutiles (détection du matériel par ex.)Éventuellement, modifier le script de démarrage ou d’arrêt

# vserver vs build –m skeleton --context 33 \--hostname vs.jres.org \--interface vs=eth0:10.1.1.2 --flags virt_uptime,virt_mem

S5

Page 33: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

Diapositive 30

S5 Le squelette comprend le répertoire de configuration, et une arborescence minimale avec les périphériques (/dev) nécessaires à un vserverSCI; 20/11/2005

Page 34: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 30/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Démarrage d’un vserver

Par défaut : /etc/rc 3Runlevel modifiable : /etc/vservers/<vs>/apps/init/runlevel.startÉmulation « faux » processus init

Ou alors option « plain » (vrai init) /etc/vservers/<vs>/apps/init/styleDémarré à l’amorçage de l’hôte ? /etc/vservers/<vs>/apps/init/markfstab : dans l’espace de noms du vserver /etc/vservers/<vs>/fstab

# vserver vs start

Page 35: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 31/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Surveillance# vserver-statCTX PROC VSZ RSS userTIME sysTIME UPTIME NAME0 40 81.9M 7.9M 0m06s69 1m06s94 2h25m57 root server33 9 37.6M 12.4M 0m00s20 0m00s25 0m05s10 vs# vps auxw# vtop

vps (nouvelle colonne pour afficher le contexte)vtop/proc/virtual

Page 36: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 32/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Gestion des paquets

Depuis l’hôte : vrpm, vapt-getSur plusieurs vservers en même temps

La gestion des paquets peutÊtre interne au vserver (délégation)Rester la prérogative de l’hôte

Page 37: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 33/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VServer – Retour d’expérience

INSA : version 1.2 depuis 2004P4, RAM 1Go, LVM sur disques locaux en miroirsServeur www institutionnel8 autres serveurs (applications web), pour répondre à des demandes rapidement

Université de Limoges : version 2.0 depuis septembre 2005

Bi Xeon, RAM 5Go, LVM sur SANPour sécuriser (cloisonner) les sites webs hébergés (avant, hôtes virtuels Apache)Serveur de courrier étudiantRépondre à des demandes d’hébergement

Page 38: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 34/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Plan

Pourquoi consolider ?Techniques de virtualisationLinux VServer

Architecture / Mise en œuvreRetour d’expérience

VMware ESXArchitecture / Mise en œuvreRetour d’expérience

Conclusions & perspectives

Page 39: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 35/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Architecture

avec l’aimable autorisation de VMware Inc.VMM : virtualise le processeur, gère la mémoire, E/S ⇒ VMkernelSC : amorce le système, puis VMkernel + VMM, gère les périph. « lents », UI, configurationVM :

Matériel et BIOSSystème et App.

RM : alloue les ressources aux VMHIL = pilotes + VMFSVMkernel = RM + HIL

Page 40: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 36/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Architecture (2)

Allocation dynamique des ressourcesProcesseur : min/max/unités de partage/SMPMémoire : min/max/partages variables (taxe)Disque : unités de partages (nombre op. SCSI)Réseau : BP moyenne/pic/taille rafale (en sortie)

VMFSPerformances élevéesStockage « à plat » de gros fichiersAccès concurrent depuis plusieurs machines

RéseauCommutateurs « privés » (monde virtuel)Commutateurs « publics » (cartes physiques)

Page 41: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 37/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Histoire de commutateurs

Serveur ESX

Commutateur virtuel

Commutateur virtuel

RéseauphysiqueRéseauphysique

Serveur web Serveur LDAP Serveur debases de données

Pare-feu

Page 42: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 38/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Mise en œuvre côté serveur

Démarche :Connaissance de ses machines / administrateursSélection des serveurs à virtualiser

Consommateurs intenses de ressourcesGrand nombre d’opérations en mode noyau Ressources physiques, activité, utilisateurs

Consultation des guides de compatibilitéChoix des produits : Virtual SMP, VC, Vmotion, …Dimensionnement des serveurs

Nombre de VM / profils (+ VM à migrer)Surcharge due à la virtualisation (mémoire, réseau)

Installation de ESX (texte, graphique, kickstart)Configuration

Page 43: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 39/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Mise en œuvre côté VM

Déploiement des VMDéfinition des paramètres de la VM

Configuration matérielleConnexion au réseau virtuelTaille du(des) disque(s) et mode d’utilisationRessources

à la la taille des disques et au nombre de proc.

Du monde physique au monde virtuelOutils spécialisés P2VOutils classiques

Nouvelles installationsInstallation classique du système d’exploitation

Outils VMware (pilotes, mémoire, synchro., …)

!

Page 44: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 40/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Administration via le web

Page 45: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 41/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Configuration virtuelle des VM

Page 46: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 42/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Attribution de ressources

Page 47: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 43/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – État de la mémoire

Page 48: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 44/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Apports

Flexibilité dans la création de serveursSystème d’installation automatiséeImages traditionnelles facilement réalisablesImages depuis VC (+ fichiers de réponses)

Migration de VM sans interruption de serviceRééquilibrage de chargeMaintenance

SupervisionvmkusageVC (graphes, alarmes)

Diagnosticesxtop

Page 49: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 45/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Vmotion en action

Page 50: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 46/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Activité d’un serveur hôte

Page 51: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 47/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Vision d’ensemble

Page 52: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 48/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – E/S disque d’une VM

Page 53: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 49/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – esxtop

Page 54: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 50/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Notre configuration

Architecture physique

RéseauRéseau

Baie de stockage 1 To

Attachement direct FO

2 serveurs ESX

3+1 liens Gb/s

Page 55: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 51/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Notre configuration (2)

Baie de stockageAlimentation, ventilation, batterie, processeur de stockage, redondants et extractibles à chaudDisques

11 disques durs 146Go 10 Ktpm2 groupes RAID de 5 disques / 1 spare

Répartition des LUNLUN 0 : boot serveur 1LUN 1 : boot serveur 1 (test)LUN 2 : machines virtuelles (serveurs 1 & 2)LUN 10 : boot serveur 2LUN 11 : images (serveurs 1 & 2)LUN 12 : machines virtuelles (serveurs 1 & 2)

Page 56: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 52/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Notre configuration (3)

ServeursBi Xeon EM64T à 3.06 Ghz4 Go de RAM2 Disques 73 Go Ultra320 10 Ktpm (RAID1)Alimentation et ventilation redondantes et extractibles à chaud4 ports Gigabit Cuivre2 Cartes FC

LogicielsVMware ESX 2.5.1 VirtualVirtual SMP InfrastructureAgent Virtual Center + Vmotion Node

Page 57: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 53/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

VMware ESX – Retour d’expérience

Machines virtuelles déployées :Virtual CenterServeur DHCP / DNSContrôleur de domaine Windows 2003Serveur LDAP + SambaServeur EdT (Appli. + BD + Apache + Tomcat)2 serveurs « auberges » (Linux VServer)Serveur anti-virusServeur d’installation (Ghost + RIS)Serveur de licences, FAIServeur paie

Page 58: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 54/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Plan

Pourquoi consolider ?Techniques de virtualisationLinux VServer

Architecture / Mise en œuvreRetour d’expérience

VMware ESXArchitecture / Mise en œuvreRetour d’expérience

Conclusions & perspectives

Page 59: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 55/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Conclusions & perspectives

Deux solutions qui ont tenu leurs promessesIl nous reste des points à améliorer

DisponibilitéSupervision

Approche de consolidation à intégrer dans une démarche globaleL’avenir sera riche en innovations

Nouveaux processeurs virtualisables : AMD Pacifica, Intel Virtualisation TechnologyÉvolution des solutions de virtualisation : VMware ESX 3, Virtual Center 2, Xen 3

Page 60: JRES 2005 – Marseille · Consolidation de serveurs avec Linux VServer & VMware ESX Techniques de virtualisation – Concepts (4) Virtualisation de machine : un moniteur de machine

07/12/2005 JRES 2005 56/56

Conso

lidat

ion d

e se

rveu

rs a

vec

Linux

VSer

ver

& V

Mw

are

ESX

Conclusions & perspectives (2)