Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

14
Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006

Transcript of Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Page 1: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Contribution du projet PARIS

Christian Pérez

Réunion LEGO

LIP, ENS Lyon

10 février 2006

Page 2: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Activités du projets PARIS

Grid Data Sharing Modèle de composants parallèle Déploiement

Page 3: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

3

JuxMem: a Grid Data-Sharing Service Grid data-sharing service

Grid-scale: 103-104 nodes Data persistence Transparent data localization Data consistency Fault-tolerance

JuxMem = DSM + P2P

Implementation Based on JXTA 2.0 (http://www.jxta.org/

)

Current formalized collaborations French ACI MD: GDS and GdX projects Sun Microsystems, Santa Clara, USA

3 years contract (JXTA/Grid’5000) Univ. Of Illinois at Urbana Champaign AIST, Tsukuba, Japan

Cluster group A

Juxmem group

Cluster group C

Cluster group B

Data group D

http://juxmem.gforge.inria.fr/

Page 4: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Parallel Component Model GridCCM

A parallel distributed component model Extension of CCM Based on PaCO++

PaCO++ A parallel distributed object model Extension of CORBA

Feature of both models MxN data redistribution Plugin for data redistribution Plugin for communication scheduling

Parallel Extension

CORBA ObjectModel

CORBA ComponentModel (CCM)

Parallel ObjectModel (PaCO++)

Parallel ComponentModel (GridCCM)

Parallel Extension

ComponentExtension

ComponentExtension

HPCComponent

A

HPCComponent

B

// Comp. A // Comp. B

Page 5: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

ADAGE Outil de déploiement automatique d’application

pour grille de calcul Unique commande de déploiement

3 infos en entrée Description des ressources Description de l’application Paramètres de contrôle

Choix du planificateur (random, round-robin), …

Un plugin pour chaque type d’application Convertisseur de description Configuration de l’application

CCM, MPICH-P4, MPICH-G2, JXTA Plugin: 400 à 1200 lignes de C++

Page 6: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Contributions principales de PARIS

WP2 Tâche 2.1: Modèle de composant avec accès à des

données partagées Tâche 2.2 : Modèle de composant supportant la

dynamicité (par exemple le paradigme maître-travailleur ou la notion de workflow)

Tâche 2.3 : Modèle de composants et logiciels patrimoniaux

Tâche 2.4 Unification des modèles des tâches 2.1, 2.2 et 2.3.

Page 7: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Enhance the Component Model with Data Sharing Facilities

Allocate

Data Sharing Service Data

Read / WriteRead

Component A Component B

Page 8: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Our Study : A Model Based on Data Ports

B

CA

Data

Introduce a data-oriented port General ‘data port’ model Applied to CCM & CCA

Extend IDL3 Keywords «accesses» «shares» Access through a local interface Flexible Rather decentralized Load balance

data_ref

component C { shares sequence<double> a;};Component A accesses sequence<double> p;};

Page 9: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

JuxMem

Couche d'abstraction de l'accès à la donnée

Fichier local NFS

id = mkstemp(..);id = open(..);close(..);flock(..);lseek(..);x = read(..);write(val);

id = mkstemp(..);id = open(..);close(..);lockf(..);lseek(..);x = read(..);write(val);

juxmem_alloc(size);id = juxmem_map(..);juxmem_acquire(..);juxmem_acquireR(..);juxmem_release(..);x = juxmem_read(..);juxmem_write(val);

Implémentation du modèle intermédiaire3 systèmes de gestion de données

Page 10: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Dynamic behavior and component models

Started with a “simple” and well understood pattern The master-worker pattern

Defined an abstract model for such a relationship between components Applied to

CORBA Component Model Fractal

Current prototype in CCM On going work

Real application validation phase Future work

Add more “dynamic” behavior Workflow!

Page 11: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Overview of the collection idea

Master

portIWorker

portC

Master

portIWorker

portC

Collectionof workers

Introduce the need of abstract ADL

WorkerportC

Page 12: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Example of patterns

Page 13: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

The three type of “collection” relationship

Page 14: Contribution du projet PARIS Christian Pérez Réunion LEGO LIP, ENS Lyon 10 février 2006.

Points d’interactions WP1

Valider le(s) modèle(s) proposé(s) WP2

MW paradigme et DIET Workflow et code patrimoniaux

WP3 Déploiement et algorithmes de placement Exécution et algorithmes de placement

WP4 Juxmem high performance Support de libpthread

WP5