Projet TAGProjet TAG

Géophysique – IPGS (UMR 7516)

Calcul numérique -IRMA (UMR 7501)

Chimie théorique - LCQMM (UMR 7551)

Informatique - LSIIT/ICPS (UMR 7005)

1

IntroductionIntroduction

Objectif : montrer que la transformation de code peut apporter une amélioration des performances sur la grille

Moyens : tester notre théorie sur des applications réelles et sur une grille réelle

Résultats : un outil de transformations et d'exécution

1

Le cadre de l'étudeLe cadre de l'étude

Programmes parallèles MPI

Une grille réelle

Trois applications scientifiques :

Physique des plasmas

Géophysique

Chimie théorique

1

Les effectifsLes effectifs

Ingénieurs (2)

Doctorants (2), stagiaire DEA (1)

ATER (1)

Maîtres de Conférences (3)

Directeur de recherches et professeurs (4)

13 personnes, dont 6 impliquées fortement

1

Organisation du groupeOrganisation du groupe

S.G.(MCF)

B.S. (Ing)

A.G. (Doct)

M.G. (Doct)M.G. (DR)

R.D. (Ing)

C.M. (Prof)

M.R. (DR)F.F. (ATER)

E.S. (Prof)

E.V. (MCF)

D.S. (DEA)

Géophysique

Chimie Physique

Informatique

P.D.(MCF)Réseau

1

Les tâches du projetLes tâches du projet

Équipe informatique

Installation de la grille test

Mesures de performances

Bibliographie

Algorithme d'ordonnancement

Transformation de programmes

Partenaires

Développement des codes scientifiques

Parallélisation

1

Une grille réelleUne grille réelle

Choix logiciel : GlobusANL, NSCA, NASA, Chigago U., HPCL, Illinois U.

Logiciel le plus répandu

Sources disponibles

Choix matériel : Grille test + DataGrid

Ressources de calcul hétérogènes

Liaisons réseaux hétérogènes

1

Notre grille testNotre grille test

Strasbourg-IllkirchPC 933 (1), PC 350 (1), PC 800 (2), PC 1800 (1)

SGI Origin 2k (52)

Strasbourg-EsplanadePC 1000 (2), PC 700 (1)

Sun-Ultra (4)

Montpellier-CINESSGI Origin 3200 (512)

1

Réseau OsirisRéseau Osiris

Réseau métropolitain couvrant la quasi-totalité de la communauté « enseignement-supérieur et recherche » strasbourgeoise15 établissementsEnviron 100 bâtiments, 15 000 machinesInfrastructure en fibre optique privativeExploitation : Centre Réseau Communication (CRC)

1

Infrastructureoptique

• 26 km defourreaux

• 622 Mb/sinter-campus

• 155 Mb/sinter-bâtiments

Projet Osiris 2Projet Osiris 2

● Passage aux très hauts débits– 10 Gb/s inter-campus

– 1 Gb/s inter-bâtiments

● Étape préparatoire : maquette– Objectif : préparer le cahier des charges

– Lien Gb/s entre ICPS et IRMA

1

Résultats attendusRésultats attendus

Quantifier l’effet des très hauts débits sur les performances de calcul

Définir les besoins spécifiques « grille »

Intégrer ces besoins spécifiques dans le cahier des charges Osiris 2

1

Physique des PlasmasPhysique des Plasmas

Modéliser la focalisation d'un faisceau de particules dans un tokamak

Simuler un plasma fusionnel

1

Physique des plasmasPhysique des plasmas

Le plasma ou faisceau représenté par une fonction de distribution f(t,x,v) (x et v en 3D)Utilisation d'une grille de l'espace des phases (6 dimensions) : 646 points de discrétisation

Étude dans le plan transverse 4D : utilise plus de 1284 points

Objectif : décrire avec précision l'évolution du plasma sur des temps longs (plusieurs milliers d'itérations)

Volumétrie :

644 points, 2D : 300 Mo de données, 1h/8 procs

646 points, 3D : 500 Go de données

1

GéophysiqueGéophysique

Modèle de Terre réaliste par tomographie sismique

tracé de 5 millions de rais sismiques dans un maillage de Terre de plusieurs millions de cellules

Les cellules portent plus ou moins d'information selon le nombre de rais les ayant traversées

1

GéophysiqueGéophysique

Les informations du maillage permettent de construire un système d'équations, pour la résolution d'un modèle de vitesse.

L'adaptation du maillage permet de diminuer le nombre d'inconnues du système.

1

Chimie QuantiqueChimie QuantiqueSimulation d'interactions moléculaires

Méthodes : Chimie QuantiqueMonte-CarloMéthodes spécifiques

Propriétés étudiées :Électriques (moments multipolaires, polarisabilité)Interactions intermoléculaires (énergie, surfaces..)

Types d'interactions :Effets de solvantAgrégats, molécules de van der Waals

1

Chimie QuantiqueChimie QuantiqueSimulation d'interactions moléculaires

Applications : AtmosphèreAstrophysiqueRéactivité organométallique

1

Objectifs du projetObjectifs du projet

Théorique Élaborer un modèle de performances adapté

Étudier les transformations des communications

Construire un système d'ordonnancement adapté

PratiqueParalléliser les applications scientifiques

Fournir un outil orienté utilisateur

Exécuter des simulations ambitieuses

1

Que veut l'utilisateur ?Que veut l'utilisateur ?

Pouvoir exécuter une application qu'il ne peut faire tourner sur une de ses machines (RAM, durée)

Ne pas chercher lui-même les ressources à utiliser

Spécifier ses contraintes simplement (ex : « Il me faut au moins 10 Go de RAM »)

Le temps d'exécution ne doit pas devenir « rédhibitoire »

1

Réponses aux besoinsRéponses aux besoins

Un outil de sélection des ressources : l'ordonnanceur

Un outil de transformation du code

utilise l'annuaire de la grille utilise les traces de l'application utilise un modèle de performance sélectionne un ensemble de ressources

adapte de la distribution des données (court terme) transforme les schémas de communications (long terme)

1

Mécanisme d'exécutionMécanisme d'exécutionP.c

MPI_Scatter(...)

P '.c

log_scatter(...)T2

analyse.log

mpirun -np param_size

P '

mpiccT1

P ''.c

MPI_ScatterV(...)

param_scatter

Ordonnanceur Grid_state

mpirun

P ''

mpicc

1

HypothèsesHypothèses

Les débits réseaux et charges CPU sont connus au début de l'exécution (annuaire Globus, NWS)

Les débits réseaux et charges CPU sont constants durant l'exécution (réaliste pour exécution courte, court terme)

L'intervalle de temps entre ordonnancement et exécution doit être réduit pour garder le bénéfice de la distribution.

1

Calendrier prévisionnelCalendrier prévisionnel2001 (Sept-Dec) : installation grille

2002 (Jan-Avr) : rapport

parallélisation/exécution des codes de physique et géophysique

tests d'équilibrage des communications

mesures de performances

2002 (Mai-Juillet) : rapport

intégration DataGrid

algorithme d'ordonnancement

2002 (Sept-Dec) : logiciel d'ordonnancement

2003 (Jan-Mars) : logiciel d'adaptation des communications

1

ConclusionsConclusions

Difficultés techniquesLiées à Globus

Liées à l'orientation utilisateur du projet

Importance du cadre de travailCollaboration avec utilisateurs

Travail sur une grille réelle

Originalité de l'approche transformation de code