Cloud Computing et Calcul Haute Performance(HPC High Performance Computing)

Olivier Richard (MdC- université de Grenoble)

LIG/UJF/INPG/CNRS/UPMF/INRIA

21 octobre, 2011, Formation-CNRS/ANGD

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Sommaire

Généralité, Historique et Classification

Modèle en couche et services

Type de déploiement

Exemple de solutions orientées infrastructure

Le HPC traditionnel

Les performances

Comparaison avec d’autres approches

Standardisation

Le contrôle / sécurité / confidentialité

Les images/environnements

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Cloud Computing

Ou l’Informatique en Nuage ou Infonuagique1

1http://fr.wikipedia.org/wiki/Cloud_computingOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Apparition du Cloud Computing

Dans les années 1960, John McCarthy : “computation maysomeday be organized as a public utility.”

Métaphore des réseaux électriques (1966 Douglas Parkhill’s)

Grid Computing

Computing On demand (essai de Sun entre autre)

Le retour en force de la virtualisation (pour la consolidation deserveur)

Amazon : suite à l’éclatement de la bulle Internet exploitation demachine inutilisé avec Amazon EC2

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Caractéristiques

Agilité/Flexible: simplicité d’accès, de mise en oeuvre pour leclient

Coût: seulement à l’usage

Pas de durée d’usage

Elasticity / Scalable dynamic (“on-demand”) provisioning(déploiement)

Vision infinie du nombre de ressources (en pratique ?)

Performant (pour les infrastructures web)

Maintenance simplifier des applications (pas d’installationcomplexe)

Maintenance nulle de l’infrastructure

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Couches

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Les couches du CLoud Computing

Client: laptop, telephone, navigateur...Application: “Software as a Service (SaaS)” bureautique,web-mail(gmail), flickr ...Plateforme (logicielle): “Platform as a Service (PaaS)”, pilelogicielles. Google App Engine, Azure Services Platform,MapReduce, DB..Infrastructure: “infrastructure as a service” (IaaS) :instrastructure de calcul “computing”, de serveur (généralementvirtuel)Serveur: matériel pour le cloud ???

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Tout est service: XAAS

Un mantra marketing ?

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Types de cloud (de déploiement)

Public cloudPrivate cloudCommunity cloudHybrid cloud (Sky Computing)InterCloud: “cloud of clouds ???

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Exemples (IASS,DASS,CAAS)

Amazon

Eucalyptus

OpenNebula

OpenStack

Nimbus

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Amazon

page 108-125 - http://www.slideshare.net/DSPIP/cloud-computing-introduction-2978287/downloadDSP-IP: Société de consulting

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Eucalyptus

Compatibilité AWS: EC2, EBS, S3

Techno de virtualisation: Xen, KVM, et VMware

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

OpenNebula

OpenNebula2 projet originaire d’UCMadrid (Académique, ProjetEuropéen puis startup C12G)

Private et Hybride Cloud

2http://opennebula.orgOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

OpenNebula

Ecosystéme riche et intéressant : Partenariat, Plugins,Extension, utilisation en recherche sur les CLouds...

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

OpenStack

OpenStack is an IaaS cloud computing project by RackspaceCloud and NASA. Currently more than 120 companies have joinedthe project among which are Citrix Systems, Dell, AMD, Intel,Canonical, SUSE Linux, HP, and Cisco.[1] [2] It is free open sourcesoftware released under the terms of the Apache License.3

3http://en.wikipedia.org/wiki/OpenStackOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

OpenStack

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Nimbus

http://www.nimbusproject.org/

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Grid versus Cloud

www.dsp-ip.com

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Cloud et HPC

PerformancesMaitrise des workloads (tâches)Gestionnaire de tâches et de ressourcesIntégration du Cloud et autres approches dans l’infrastructure decalculMaitrise des environnementsContrôle, Sécurité et confidentialité

Le Cloud pour absorber les pics ? Pour remplacer le HPCclassique ?

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Performance: virtualisation

Pour les applications séquentiel: CPU bound OKPour les applications séq. avec I/O disque: peu depertePour les applications parallèles résultats pas très bonsVirtualisation de matériels spécifiques: Ce n’est pas encore ca

GPGPUCartes réseaux type Infiniband

La virtualisation des couches réseaux peut êtrecouteusesPb Pour les très gros sites avoir beaucoup de VM à platavec une IP par VM (boum les caches ARP)Le problème du bruit système (OS Noise) est amplifié(à grande échelle)

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Performances: en parallèle

Sur Amazon EC2 et benchmark parallèle NAS-NPB4, 32 noeuds.

4Edward Walker: ”Benchmarking Amazon EC2 for high-performances cientificcomputing“, revue LOGIN 10/08

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Maitrise des workloads en HPC

Les gestionnaires de tâches et de ressources: Batch SchedulerSlurm, LSF, PBSpro, OGE(sge), OAR

Domaine bien connu, assez bien maîtrisé et classiquement utilisésur les grappes (cluster) de calcul.

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Batch scheduler

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Batch scheduler

Politiques d’ordonnancements

BackfillingFairSharingTimesharingAdvance ReservationGangSchedulingPrise en compte de contrainte de topologie(réseau, CPU)

Pas très satisfaisant avec des applications qui comporte beaucoup I/OFileSystem (besoin d’une meilleure intégration avec l’ordonnancementdes tâches vers un ordo tâches/transferts)

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Dans le Cloud Computing

Vous payez à l’utilisation !

Consolidation / Equilibrage de charge

Pas de garantie en débit de calcul5

Délicat pour des applis parallèles qui doivent être relativement synchrone(si pls VM sur le même noeud)

Amazon EC2 plante(ait) au bout de 20 VM

Amazon demo avec 30000 coeur (en 10/11)

5jusqu’à très récemmentOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Batch scheduler et Cloud Computing

Un marriage possible

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Moab / Adaptive Computing

Une variation

6http://www.adaptivecomputing.comOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Entropy

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

StratusLab (Cloud et Grid Computing)

StratusLab6 “Infrastructure as a Service” cloud by European GridInfrastructure (EGI) communitie. Basé sur OpenNebula

7http://stratuslab.eu/index.phpOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Grid’5000

Une plate-forme pour l’expérimentation7 : une plate-forme de HaaS8 ?

8http://www.grid5000.fr9Hardware as a Service

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Grid’5000

Une gestionnaire de tâches et de ressources (batchscheduler) par site (OAR).Une outil de déploiement d’image9 bas-niveauaccessible au utilisateur (Kadeploy).Un outil de confinement réseau (Kvlan).Une API de type REST.Stokage NFS par siteLDAP et SSHPare-Feux en entrée et en sortie

du HaaS qui permet à l’utilisateur (expérimentateur) de testern’importe quelle couche logiciel (même un solution de CloudComputing IaaS (OpenNebula, Nimbus)

10provisioningOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

ComputeMode

Des solutions légères: le calcul sur Intranet

Wake-On-Lan - Déploiement via iPXE (OS-environement enRAM) + gestionnaire de tâche et ressource (OAR)

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Standard

OVF Open Virtualization Format: format standard pour lesimages virtuelles (virtual appliances)

De fait: Amazon EC2 et S3

OCCI (p72-p78 DSP-IP)

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

DeltaCloud

Deltacloud is an API developed by Red Hat that abstractsdifferences between clouds. It was announced on September 3,2009.Each Infrastructure-as-a-Service clouds existing today provides itsown API. The purpose of Deltacloud is to provide one unifiedREST-based API that can be used to manage services on anycloud. Each particular cloud is controlled through an adaptor called”driver.“ As of October 2010, drivers exist for the following cloudplatforms: Amazon EC2, GoGrid, OpenNebula,Rackspace(OpenStack), RHEV-M, and RimuHosting, with two morecoming soon: Terremark and VMWare vCloud.10

11http://en.wikipedia.org/wiki/DeltacloudOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Contrôle, sécurité et confidentialité

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Contrôle, sécurité et confidentialité

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Les environnements

Question importante (sous-estimée)Analogie avec les voitures anciennes / moderneMaîtrise de complexité ?A la mainOutils spécialisés et hétérogénes

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Conclusion

Le Cloud Computing a supplanté le Grid Compting ?

Recouvre énormément de contextes différents

Le Cloud pour le HPC, contexte un peu particulier

Attention aux performances pour certains types d’application

Niveau de complexité ??? pour le client/l’admin ???

Question des images (construction, maintenance...)

Est-ce vraiment une révolution du point de vue du HPC ? * c’estde l’équilibrage de charge + des VM ? * et les services alors ?(trop de marketing ?)

HPC classique et Cloud Computing se rejoigne, se teintentmutuellement, se mixent ?

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)