Cloud Computing et Calcul Haute Performance (HPC High ...Grid Computing Computing On demand (essai...

Cloud Computing et Calcul Haute Performance(HPC High Performance Computing)

Olivier Richard (MdC- université de Grenoble)

LIG/UJF/INPG/CNRS/UPMF/INRIA

21 octobre, 2011, Formation-CNRS/ANGD

Olivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Sommaire

Généralité, Historique et Classification

Modèle en couche et services

Type de déploiement

Exemple de solutions orientées infrastructure

Le HPC traditionnel

Les performances

Comparaison avec d’autres approches

Standardisation

Le contrôle / sécurité / confidentialité

Les images/environnements


Cloud Computing

Ou l’Informatique en Nuage ou Infonuagique1

1http://fr.wikipedia.org/wiki/Cloud_computingOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

http://fr.wikipedia.org/wiki/Cloud_computing

Apparition du Cloud Computing

Dans les années 1960, John McCarthy : “computation maysomeday be organized as a public utility.”

Métaphore des réseaux électriques (1966 Douglas Parkhill’s)

Grid Computing

Computing On demand (essai de Sun entre autre)

Le retour en force de la virtualisation (pour la consolidation deserveur)

Amazon : suite à l’éclatement de la bulle Internet exploitation demachine inutilisé avec Amazon EC2


Caractéristiques

Agilité/Flexible: simplicité d’accès, de mise en oeuvre pour leclient

Coût: seulement à l’usage

Pas de durée d’usage

Elasticity / Scalable dynamic (“on-demand”) provisioning(déploiement)

Vision infinie du nombre de ressources (en pratique ?)

Performant (pour les infrastructures web)

Maintenance simplifier des applications (pas d’installationcomplexe)

Maintenance nulle de l’infrastructure


Couches


Les couches du CLoud Computing

Client: laptop, telephone, navigateur...Application: “Software as a Service (SaaS)” bureautique,web-mail(gmail), flickr ...Plateforme (logicielle): “Platform as a Service (PaaS)”, pilelogicielles. Google App Engine, Azure Services Platform,MapReduce, DB..Infrastructure: “infrastructure as a service” (IaaS) :instrastructure de calcul “computing”, de serveur (généralementvirtuel)Serveur: matériel pour le cloud ???


Tout est service: XAAS

Un mantra marketing ?


Types de cloud (de déploiement)

Public cloudPrivate cloudCommunity cloudHybrid cloud (Sky Computing)InterCloud: “cloud of clouds ???


Exemples (IASS,DASS,CAAS)

Amazon

Eucalyptus

OpenNebula

OpenStack

Nimbus


Amazon

page 108-125 - http://www.slideshare.net/DSPIP/cloud-computing-introduction-2978287/downloadDSP-IP: Société de consulting


http://www.slideshare.net/DSPIP/cloud-computing-introduction-2978287/download

http://www.slideshare.net/DSPIP/cloud-computing-introduction-2978287/download

Eucalyptus

Compatibilité AWS: EC2, EBS, S3

Techno de virtualisation: Xen, KVM, et VMware


OpenNebula

OpenNebula2 projet originaire d’UCMadrid (Académique, ProjetEuropéen puis startup C12G)

Private et Hybride Cloud

2http://opennebula.orgOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

http://opennebula.org

OpenNebula

Ecosystéme riche et intéressant : Partenariat, Plugins,Extension, utilisation en recherche sur les CLouds...


OpenStack

OpenStack is an IaaS cloud computing project by RackspaceCloud and NASA. Currently more than 120 companies have joinedthe project among which are Citrix Systems, Dell, AMD, Intel,Canonical, SUSE Linux, HP, and Cisco.[1] [2] It is free open sourcesoftware released under the terms of the Apache License.3

3http://en.wikipedia.org/wiki/OpenStackOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

http://en.wikipedia.org/wiki/OpenStack

OpenStack


Nimbus

http://www.nimbusproject.org/


http://www.nimbusproject.org/

Grid versus Cloud

www.dsp-ip.com


Cloud et HPC

PerformancesMaitrise des workloads (tâches)Gestionnaire de tâches et de ressourcesIntégration du Cloud et autres approches dans l’infrastructure decalculMaitrise des environnementsContrôle, Sécurité et confidentialité

Le Cloud pour absorber les pics ? Pour remplacer le HPCclassique ?


Performance: virtualisation

Pour les applications séquentiel: CPU bound OKPour les applications séq. avec I/O disque: peu depertePour les applications parallèles résultats pas très bonsVirtualisation de matériels spécifiques: Ce n’est pas encore ca

GPGPUCartes réseaux type Infiniband

La virtualisation des couches réseaux peut êtrecouteusesPb Pour les très gros sites avoir beaucoup de VM à platavec une IP par VM (boum les caches ARP)Le problème du bruit système (OS Noise) est amplifié(à grande échelle)


Performances: en parallèle

Sur Amazon EC2 et benchmark parallèle NAS-NPB4, 32 noeuds.

4Edward Walker: ”Benchmarking Amazon EC2 for high-performances cientificcomputing“, revue LOGIN 10/08


Maitrise des workloads en HPC

Les gestionnaires de tâches et de ressources: Batch SchedulerSlurm, LSF, PBSpro, OGE(sge), OAR

Domaine bien connu, assez bien maîtrisé et classiquement utilisésur les grappes (cluster) de calcul.


Batch scheduler


Batch scheduler

Politiques d’ordonnancements

BackfillingFairSharingTimesharingAdvance ReservationGangSchedulingPrise en compte de contrainte de topologie(réseau, CPU)

Pas très satisfaisant avec des applications qui comporte beaucoup I/OFileSystem (besoin d’une meilleure intégration avec l’ordonnancementdes tâches vers un ordo tâches/transferts)


Dans le Cloud Computing

Vous payez à l’utilisation !

Consolidation / Equilibrage de charge

Pas de garantie en débit de calcul5

Délicat pour des applis parallèles qui doivent être relativement synchrone(si pls VM sur le même noeud)

Amazon EC2 plante(ait) au bout de 20 VM

Amazon demo avec 30000 coeur (en 10/11)

5jusqu’à très récemmentOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

Batch scheduler et Cloud Computing

Un marriage possible


Moab / Adaptive Computing

Une variation

6http://www.adaptivecomputing.comOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

http://www.adaptivecomputing.com

Entropy


StratusLab (Cloud et Grid Computing)

StratusLab6 “Infrastructure as a Service” cloud by European GridInfrastructure (EGI) communitie. Basé sur OpenNebula

7http://stratuslab.eu/index.phpOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

http://stratuslab.eu/index.php

Grid’5000

Une plate-forme pour l’expérimentation7 : une plate-forme de HaaS8 ?

8http://www.grid5000.fr9Hardware as a Service


http://www.grid5000.fr

Grid’5000

Une gestionnaire de tâches et de ressources (batchscheduler) par site (OAR).Une outil de déploiement d’image9 bas-niveauaccessible au utilisateur (Kadeploy).Un outil de confinement réseau (Kvlan).Une API de type REST.Stokage NFS par siteLDAP et SSHPare-Feux en entrée et en sortie

du HaaS qui permet à l’utilisateur (expérimentateur) de testern’importe quelle couche logiciel (même un solution de CloudComputing IaaS (OpenNebula, Nimbus)

10provisioningOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

ComputeMode

Des solutions légères: le calcul sur Intranet

Wake-On-Lan - Déploiement via iPXE (OS-environement enRAM) + gestionnaire de tâche et ressource (OAR)


Standard

OVF Open Virtualization Format: format standard pour lesimages virtuelles (virtual appliances)

De fait: Amazon EC2 et S3

OCCI (p72-p78 DSP-IP)


DeltaCloud

Deltacloud is an API developed by Red Hat that abstractsdifferences between clouds. It was announced on September 3,2009.Each Infrastructure-as-a-Service clouds existing today provides itsown API. The purpose of Deltacloud is to provide one unifiedREST-based API that can be used to manage services on anycloud. Each particular cloud is controlled through an adaptor called”driver.“ As of October 2010, drivers exist for the following cloudplatforms: Amazon EC2, GoGrid, OpenNebula,Rackspace(OpenStack), RHEV-M, and RimuHosting, with two morecoming soon: Terremark and VMWare vCloud.10

11http://en.wikipedia.org/wiki/DeltacloudOlivier Richard (MdC- université de Grenoble) Cloud Computing et Calcul Haute Performance (HPC High Performance Computing)

http://en.wikipedia.org/wiki/Deltacloud

Contrôle, sécurité et confidentialité


Les environnements

Question importante (sous-estimée)Analogie avec les voitures anciennes / moderneMaîtrise de complexité ?A la mainOutils spécialisés et hétérogénes


Conclusion

Le Cloud Computing a supplanté le Grid Compting ?

Recouvre énormément de contextes différents

Le Cloud pour le HPC, contexte un peu particulier

Attention aux performances pour certains types d’application

Niveau de complexité ??? pour le client/l’admin ???

Question des images (construction, maintenance...)

Est-ce vraiment une révolution du point de vue du HPC ? * c’estde l’équilibrage de charge + des VM ? * et les services alors ?(trop de marketing ?)

HPC classique et Cloud Computing se rejoigne, se teintentmutuellement, se mixent ?


Cloud Computing et Calcul Haute Performance (HPC High ...Grid Computing Computing On demand (essai...

Documents

Transcript of Cloud Computing et Calcul Haute Performance (HPC High ...Grid Computing Computing On demand (essai...