GDS : Bilan PARIS

Gabriel AntoniuIRISA / INRIA Rennes

Réunion projet GDS13 octobre 2006

2

Le projet GDS Projet de l’ACI Masses de Données (2003) Objectif :

Spécifier, réaliser et valider expérimentalement

un service de partage de données pour la grille,

adapté au calcul scientifique

Partenaires Projet GRAAL (LIP, Lyon) Projet PARIS (IRISA, Rennes) Projet REGAL (LIP6, Paris)

3

GDS : objectifs Propriétés visées

Accès transparent aux données Persistance des données

Contraintes Extensibilité à l’échelle d’une grille

Quelques milliers de nœuds Cohérence des données répliquées Tolérance aux fautes Performance

Conception et validation expérimentale du service sur la plate-forme JuxMem (PARIS) et intégration avec l’environnement DIET (GRAAL)

4

GDS : interaction des partenaires

GDS

PARIS• Plate-forme de gestion

des données Juxmem

REGAL• Détecteur hiérarchique

de défaillances

GRAAL• Environnement

de calcul sur grille DIET

• Accès transparent • Persistance • Ordonnancement conjointdonnées/calculs

• Détection de défaillances• Techniques de réplication• Protocoles de cohérence

5

Etat du projet à T0+36

12 réunions GDS entre septembre 2003 et octobre 2006

Visites des doctorants (sur 2-3 jours) 2 visites de Mathieu Jan (PARIS) chez GRAAL 1 visite de Fabio Picconi (REGAL) chez PARIS 2 visites de Sébastien Monnet (PARIS) chez REGAL

Logiciels en cours de développement : PARIS : plate-forme JuxMem, outils de déploiement JDF et ADAGE

REGAL : simulateur de systèmes à large échelle LS3, système de fichiers P2P Pastis

GRAAL : plate-forme DIET, outil de déploiement GoDIET de visualisation (VizDIET)

6

Etat du projet à T0+36 (suite)

Intégration réussie ! Détecteur hiérarchique de fautes GFD (REGAL) intégré

dans JuxMem (PARIS) Utilisation de JuxMem par DIET

Persistance des données Accès transparent Passage des paramètres GridRPC par référence Evaluation avec DGEMM

Limitations/commentaires GFD/JuxMem : limité à la version JuxMem-Java DIET/JuxMem : pas encore de validation

« dimensionante » avec des applications réelles Expériences préliminaires avec TLSE Travail en cours (Mathieu Jan)

Aspects non abordés Accès parallèles aux données et redistribution Ordonnancement conjoint calcul/données

7

Projet PARIS

Personnels impliqués directement dans GDS 2 permanents:

Luc Bougé (Prof. ENS Cachan/Bretagne) Gabriel Antoniu (CR INRIA)

3 doctorants Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD - GDS) Loïc Cudennec (INRIA/Région Bretagne)

4 stages de Master de recherche/DEA Mathieu Jan (DEA, INSA Rennes) Jean-François Deverge (DEA IFSIC) Loïc Cudennec (M2RI, INSA Rennes) Voichita Almasan (M2RI, ENS Cachan/Bretagne)

4 projets de fin d’études David Noblet (PFE, UNH) Chester Tse (PFE, MIT) Arvind Saraf (PFE, MIT) Landry Breuil (PFE, ISIMA)

8

Thèse de Mathieu Jan (2003-2006)

Architecture et mise en œuvre du service de partage de données (plate-forme JuxMem)

Localisation transparente Persistance Architecture P2P Mise en œuvre sur JXTA Validation du modèle d’accès transparent aux données

Environnements GridRPC : DIET Environnements à base composants (CCM, CCA)

Adaptation de JXTA pour une utilisation sur grilles

Déploiement avec JDF/ADAGE Amélioration des performances des communications de

JXTA Utilisation de Padico-TM

Communication zéro-copie

9

Thèse de Sébastien Monnet (2003-2006)

Architecture découplée générique pour la gestion de la tolérance aux fautes et de la cohérence des données

Protocoles hiérarchiques de cohérence Mécanismes hiérarchiques de réplication (gestion de

groupe, consensus) Expérimentations multi-protocoles Mise en œuvre dans JuxMem Expérimentations multi-cluster sur Grid’5000

Réseau logique malléable Gestion efficace de groupes de grande taille Collaboration avec Indranil Gupta (UIUC)

10

Publications GDS 2003-2007

Publications communes GDS Un chapitre de livre (Dagstuhl) Un papier soumis à IPDPS 2007 … ?

2 « thèses GDS » à soutenir en 2006 Journaux internationaux

CCPE (2006), SCPE (2005) Conférences internationales

2003 : PACT (WIP) 2004 : CCGRID, Euro-Par 2005 : HPCC 2006 : SRDS, CCGRID (2) 2007 : soumission à IPDPS (avec Sun)

Colloques internationaux 2003 : AGRIDM (PACT) 2004 : AGRIDM (PACT) 2005 : GP2PC (CC-GRID) 2006 : WCGC (VECPAR), HPDGrid (VECPAR), HPC-GECO (HPDC)

Communications nationales 2003 : RenPar 2004 : Ecole DRUIDE (3), GridUSe 2005 : RenPar, CDUR

11

Interactions avec d’autres projets

Collaborations internationales et industrielles Sun Microsystems : JXTA (Mathieu Jan, Loïc Cudennec) UIUC (Indranil Gupta) : partage de données sur des

infrastructures P2P pour des applications à base de groupes (Sébastien Monnet)

Grid5000 Evaluations multi-sites à grande échelle

ACI MD 2003 GDX – expérimentations sur une grappe de grande taille

ACI GRID DataGraal (animation) Ecolé thématique DRUIDE 2004 : Distribution de données à

grande échelle (CNRS, INRIA, GDR ARP, Univ. Rennes 1), Le Croisic, mai 2004

AS : Algorithmique Distribuée et Applications Journées thématiques « algorithmique distribuée et

applications », Porquerolles, septembre 2004

12

Et après GDS ?

Vers un modèle unifié de programmation pour les grilles

Accès transparent aux données, composants, communications efficaces, ordonnancement et déploiement

Validation avec de vraies applications ! Projet LEGO (ANR CIGC, 2006-2009)

Auto-déploiement de JuxMem Applications à caractère dynamique Ajout de ressources à la demande Interaction transparente avec les gestionnaires de

ressources des grilles Thèse de Loïc Cudennec (2005 - 2008)

13

Et après GDS ?

Adaptation de JuxMem pour des applications collaboratives Projet RESPIRE (ANR MDMSA, 2006-2009) Projet DISCUSS (PAI avec l’AIST, Japon, 2006-2007) Collaboration envisagée avec Nanyang Technical University of

Singapore/Sun Microsystems

Partage de données pour les applications de fouille de données

Post-doc de Sébastien Monnet (CoreGRID) Collaboration avec Universita di Calabria

3 sujets de Master de recherche… à la recherche des candidats !

JuxMem + persistance sur disque / collaboration Gfarm + LEGO JuxMem + accès parallèles aux données / LEGO JuxMem et applications collaboratives / collaboration Singapour

+ RESPIRE

14

Pour bien finir :-)

Mise à jour du site GDS (CD à déposer) Principaux résultats scientifiques Publications, logiciels Visites effectuées/reçues Bilan, apports de GDS (1 paragraphe par équipe)

Rapport de fin de projet Même format que le rapport mi-parcours + un paragraphe « Fait(s) marquant(s)

Deadline : 15 novembre