Eric Vernié, Ramin Barreto & Fabrice MeillonMicrosoft France

Vue d’ensemble Compute Cluster Server 2003

Calcul Haute Performance (HPC)Les projets à la pointe en sciences, ingénierie, finance…

nécessitent des capacités supérieures à celles offertes par les machines indépendantesBesoin d’accélérer les cycles de recherche, d’innovation, de développement de produits tout en améliorant la qualité des résultats et en diminuant les coûts

Conception d’aéronefs utilisant des matériaux compositesAmélioration de la consommation et de la sécurité des véhiculesSimulations de catalyse d’enzymesSimulation de réservoir et traitements sismiquesConception de matériaux et de médicamentsSimulation électronique nanoscopiqueModélisation du risque des portefeuilles financiersCréation et traitement de contenu numériqueModélisation et optimisation de la chaine de production

Les économies de volume apportées par les composants standard et les logiciels commerciaux contribuent à rendre les capacités du HPC de plus en plus disponibles pour un plus grand nombre d’utilisateurs

Tendances Top 500 Supercomputer

Usage dans l’ industri

e augme

nte

GigE augmente (50%

des systeme

s)

Clusters plus

de 70%

x86 est leader(Pentium 41%,EM64T 16%,

Opteron 11%)

Perspectives du marché1991 1998 2005

Système Cray Y-MP C916 Sun HPC10000 Small Form Factor PCs

Architecture 16 x Vector4GB, Bus

24 x 333MHz Ultra-SPARCII, 24GB, SBus

4 x 2.2GHz Athlon644GB, GigE

OS UNICOS Solaris 2.5.1 Windows Server 2003 SP1

GFlops ~10 ~10 ~10

Top500 # 1 500 N/A

Prix $40,000,000 $1,000,000 (40x drop) < $4,000 (250x drop)

Clients Government Labs Large Enterprises Every Engineer & Scientist

Applications Classified, Climate, Physics Research

Manufacturing, Energy, Finance, Telecom

Bioinformatics, Materials Sciences, Digital Media

Les problématiques du monde HPC

“…mettre en place un cluster est trop complexe”

“.. Faire plus de science et moins d’informatique”“..Disposer d’une solution simple d’utilisation”

“...le développement d’applications parallèles est difficile”“.. Pas suffisamment d’outils”

Utilisateurs

IT Pros

Développeurs

La vision Microsoft pour le HPC

Permettre aux chercheurs et ingénieurs d’utiliser des ressources de calcul massives pour résoudre les problèmes techniques complexes

Faciliter le développement sur les ressources de calcul distribuées et diminuer la complexité et le coût d’opérations

Packaging de Windows CCS

Windows Server 2003 Compute Cluster Edition

Compute Cluster Pack (CCP)+ =

Microsoft Windows Compute Cluster

Server (CCS) 2003

• Identique à Windows Server 2003 x64 Standard Edition

• Tarif plus agressif mais l’utilisation est limitée aux solutions de calcul

• Support RDMA pour les connexions inter-noeuds de haute performance (Gigabit Ethernet, Infiniband, Myrinet, et autres)

• Composants additionnels pour les calculs parallèles

• Support du standard de l’industrie : MPI2

• Ordonnanceur intégré• Outils de gestion du

cluster• Options d’installation :

Head Node, Compute Node, machine cliente,

• Solution intégrée “out of the box”

• Tire parti des investissements réalisés dnas les compétences et outils Windows

• Rend l’opération du cluster aussi simple et sécurisée que celle d’un système unique

Partenaires

Windows Compute Cluster Server 2003 vue de l’IT Pro

Réseau MPI

Réseau privé

Réseau public

Infrastructure IT

NœudNœud maître

AD

DNS

DHCP

Windows Update

Supervision

• MOM• 3rd party

Administration des systèmes• SMS• 3rd party

Compute Cluster

Topologie du cluster de calcul

Admin / User Cons

RIS(optional)

Job Scheduler

Management

NAT (optional)

Node Manager

MPI

Management

Nœud

Node Manager

MPI

Management

Installation et configuration du nœud maître

Démo

Installation du noeud maître (Head Node)

Le nœud maitre doit hébergé la version Windows Server 2003, Compute Cluster Edition ou une version Windows Server 2003 X64 EditionLe nœud maître doit être connecté à au moins un réseau dépendant du choix de la topologie de cluster que vous avez retenu et vous devez posséder les privilèges administrateur local de la machineLe nœud maître doit être membre d’un domaine Active Directory (recommandé) ou être contrôleur de domaine du domaine du cluster (non recommandé)

Ajout d’un nœud de calcul

Démo

Mode d’installation souple des nœuds

3 façons pour ajouter un nœud au clusterAutomatiquement via RIS. “Simplement démarrer le nœud et F12”

Outils de déploiement tierce partie : setup.exe -

computenode:<Headnodename>

Manuellement via le setup CCP-CD2Nœuds sont déjà installé via une solution tierce ou manuellement

Lancer l’assista

nt ajouter

un nœud

Manuelle

Automatique (RIS)

Nœuds (OS+CCP) installés automatiquement

Automatique ou

Manuelle?

Réseau privé

Réseau public

Nœud de calcul Nœud maître

AD

Console Admin / User

AdministrationAdministration

Corp\John

Corp\Sally

Administrators LocalUsers Local

Administrators Local

Users Local

Propagation

Administration du cluster basée sur des rôles

Administration du cluster de calcul CCS 2003

Démo

Fonctions clés d’administration

Intégration avec l’infrastructure existantePrise en charge d’Active Directory et des concepts de sécurité WindowsPas de permission spéciale pour installer un cluster de calculIntégration avec les solutions d’administration Microsoft et tierces parties (MOM, SMS, etc…)

Opérations d’administration et de déploiement simplifiées

Configuration basée sur un séquencement des taches pour le nœud maitre et les nœuds de calculDe multiples façons d’ajouter un nœudGestion des nœuds au travers d’une console graphique, la ligne de commande et le scriptingSupervision au travers de MOM ou de solutions tiercesAdministration en ligne de commande cluscfg.exe

Windows Compute Cluster Server 2003

Ordonnanceur de travaux (“Job Scheduler”)

User App

MPI

Node Manager

Job Execution

DB/FS

Utilisateur

Ligne de commande

Application

Job Mgr UI

Admin

Console

Admin

Ligne de

commande

Head Node

Job Mgmt

Resource Mgmt

Cluster Mgmt

Scheduling

High speed, low latency interconnect

Tasks

Man

ag

em

en

t

Jobs Policy, reports

Active Directory

Données

Inp

ut

Domaine\Utilisateur

Job Scheduler Windows CCS 2003

ConceptsTerme Description

Cluster L'unité d'organisation de CCP: Un « Head Node » et un ensemble de nœuds de calcul « Compute Node », une file d'attente et des Jobs.

Queue Contient des jobs en attente, en cours d’exécution ou terminés. Il y a seulement une file d'attente dans un cluster CCP. Les jobs terminés sont purgés périodiquement de la file d'attente.

Job Une collection de tâches. Les Jobs sont utilisés pour allouer des ressources pour l'usage d’un ou plusieurs tâches.

Tâche(Task) Une tâche représente l'exécution d'un programme sur des noeuds de calcul. Une tâche peut être un programme séquentiel ou un programme MPI avec multiples processeurs.

Nœud(Node)

Un simple noeud de calcul, avec un ou plusieurs processeurs.

Model Conceptuel Job/Tâche(Task)Serial Job

Tâche

Proc

Parallel MPI Job

Tâche

Proc ProcIPC

Parameter Sweep Job

Tâche

Proc

Tâche

Proc

Tâche

Proc

Task Flow Job

Tâche

Tâche

Tâche

Tâche

Ordonnanceur de travaux Windows CCS 2003

Démo

L’interface en ligne de commande (CLI)Job job new [job_terms] create a job container

job add jobID [task_terms] add tasks to a job

job submit /id:jobid submit job / tasks

job submit [job_terms][task_terms] submit a job

job cancel jobID cancel a job

job modify [options] modify a job

job requeue JobID requeue a job

job list list jobs in the cluster job listtasks list tasks of a job job view JobID view details of a job

Tâche (Task)

task view view details of a task

task cancel cancel a task

task requeue requeue a task

Cluscfg cluscfg view view details of a cluster

cluscfg params/setparams view/set config params

cluscfg listenvs/setenv list / set cluster wide env

cluscfg delcreds/setcreds set /delete user cred

Job

Terme Descriptionnumprocessors

Indique le nombre de processeurs à réserver à travers un ensemble de noeuds

askednodes Spécifie la liste des noeuds

priority Highest Cluster AdminAboveNormal Cluster AdminNormal Cluster UserBelowNormal Cluster UserLowest Cluster User

runtime Indique le temps limite d'exécution d‘un Job

exclusive Indique si les noeuds sont assignés au Job exclusivement

name Indique le nom associé au Job

project Indique le nom de projet associé au Job pour l’accounting

license Indique les licences nécessaires pour l’exécution du Job

Windows Compute Cluster Server 2003

vue du developpeur

L’environnement de développement de Windows CCS

Job Scheduler de CCSSoumission de job via une interface de programmation

MPI (Message Passing Interface) de CCSOpenMPVisual Studio 2005

Nouveau débuggeur parallèle

Utilisation des APIs du job Scheduler

Démo

En résumé …

Le calcul parallèle est un domaine d’utilisation de l’informatique en pleine croissance et appelé à se développer fortement

Windows Compute Cluster Server 2003 est la première étape de l’initiative de Microsoft visant à rendre le HPC accessible à tous les chercheurs, ingénieurs et à tout type d’entreprise

Windows Compute Cluster Server 2003 permet …Une obtention plus rapide des résultats grâce à une simplification du déploiement du cluster, de la soumission et du suivi d’un jobL’intégration avec l’infrastructure Windows permettant d’utiliser la technologie et les compétences existantesUn environnement de développement intégré permettant aux développeurs d’écrire et de déboguer des applications parallèles depuis l’environnement Visual Studio 2005

Feuille de route Windows CCS

Windows Compute Cluster Server 2003Lancé officiellement le 12 juinDisponible sur le marché depuis le 1er aoûtPack d’administration pour Microsoft Operations

Manager

2006

Windows CCS 2003 Service Pack 1Support de Windows Deployment ServicesSupport de Windows Server 2003 SP2Améliorations ergonomiques

2007

Windows CCS V2

2008

Parcours CCS/HPC aux TechDays

SessionsIntroduction au HPC pour les développeurs

Mardi 6 février 17h30 – 18h30

Migration de code de calcul Unix/Linux vers une plate-forme cluster Windows

Mercredi 7 février 13h – 14h

RessourcesSite produit Microsoft HPC

http://www.microsoft.com/france/hpchttp://www.microsoft.com/hpc

Site technique Microsoft HPC (articles, webcasts et e demos)http://www.microsoft.com/france/technet/produits/ccs/default.mspx.http://www.microsoft.com/windowsserver2003/ccs/techresources/default.mspx

Sites communautaireshttp://windowshpc.net/

GotDotNet Gallery pour HPChttp://www.gotdotnet.com/codegallery/codegallery.aspx?id=0c12237e-58e3-4a9f-9637-ec6a4b9efe4d

Bloghttp://blogs.msdn.com/hpc

Newsgrouphttp://www.microsoft.com/france/communautes/webnews/France/default.mspx?dg=microsoft.public.fr.hpc

La référence technique

pour les IT Pros :technet.microsoft.com

La référence technique

pour les développeurs :

msdn.microsoft.com

S’informer - Un portail d’informations, des événements, une newsletter bimensuelle personnalisée

Se former - Des webcasts, des articles techniques, des téléchargements, des forums pour échanger avec vos pairs

Bénéficier de services - Des cursus de formations et de certifications, des offres de support technique

Visual Studio 2005 +

Abonnement MSDN Premium

Abonnement TechNet Plus :

Versions d’éval + 2 incidents support

© 2007 Microsoft France

Votre potentiel, notre passion TM