SRB(Storage Resource Broker)

SRB(Storage Resource Broker)

Un outil de distribution de données inter-sites.

Jean-Yves Nief – CCIN2P3

SRB - 01/12/03 - CC-IN2P3 2

SRB en quelques mots.SRB en quelques mots.• Fournit une interface uniforme pour se connecter à des

données hétérogènes (stockés sur bande, disque, base de données) distribuées dans de multiples sites.

• Développé par le SDSC (UC San Diego).• Qui utilise SRB ?

– Biologie: BIRN (Biomedical Informatic Research Network).

– NASA: sciences de l’environnement.– Sciences de la Terre.– HEP: CMS, BaBar, Belle, JLab etc…– Secteur privé: General Atomics.

• Serveurs déployés aux USA, UK, France, Allemagne, Japon, Corée etc..

SRB - 01/12/03 - CC-IN2P3 3

Architecture.Architecture.Nécessite:

– 1 serveur SRB + MetaCatalog (MCAT): contient la liste de tous les fichiers enregistrés dans SRB, ressources physiques, utilisateurs (droits etc…).

– Un ensemble de serveurs SRB (accés à l’emplacement physique des fichiers).

Site 1

SRB

Site 2

SRB

Site 3

Appli.(demande test1.txt)

SRBMCAT

(1)

(3)

(4)(2)

test1.txt

SRB - 01/12/03 - CC-IN2P3 4

Architecture (suite).Architecture (suite).

• SRB porté sur de multiples plateformes:– Linux.– Solaris.– AIX.– etc..

• MCAT, base de données:– Oracle.– DB2.– Sybase.– PostGreSQL.

SRB - 01/12/03 - CC-IN2P3 5

Quelques fonctionnalités.Quelques fonctionnalités.

• Permet l’accés, via des commandes à la sauce Unix, aux données à partir de leurs attributs au lieu de leur nom et emplacement physique (site, type de stockage).

• Ex:

> Sinit # connection au serveur SRB

> Sls /home/nief.ccin2p3 # liste des fichiers du # répertoire /home/nief.ccin2p3

evs_g_isPhysicsEvents_aod004051

test1.txt

• Scd, Spwd … pour naviguer dans l’espace des noms logiques.

SRB - 01/12/03 - CC-IN2P3 6

Quelques fonctionnalités (suite).Quelques fonctionnalités (suite).

• Pour copier chez soi evs_g_isPhysicsEvents_aod004051:> Sget evs_g_isPhysicsEvents_aod004051 <filename>

• Métadonnées associées aux fichiers.Ex: > SgetD evs_g_isPhysicsEvents_aod004051 data-name : evs_g_isPhysicsEvents_aod004051 path_name: /objydatabases/theData/resident/…. data_grp_name: /home/srbbbr.frslac/import/fdb/0103/aod data_size: 24461312 phys_rsrc_name: hpss-ccbbsn04 # accés transparent aux fichiers dans

HPSS Possibilités d’ajouter ses propres meta-données.

SRB - 01/12/03 - CC-IN2P3 7

Quelques fonctionnalités (suite).Quelques fonctionnalités (suite).

• Interface avec MSS (HPSS, Castor etc…).

• Ressources logiques: ensembles de ressources physiques.

Ex: ressources physiques:• ccasn01-unix: file system Unix @ Lyon

• ccbbsn04-hpss: hpss file system @ Lyon

• hostCern-castor: Castor file system @ CERN

• Mettre un fichier dans ces 3 ressources en même temps:> Sput –S logical-res test1.txt <SRB filename>

logical-res

SRB - 01/12/03 - CC-IN2P3 8

MCATs fédérés(« peer to peer »).MCATs fédérés

(« peer to peer »).• SRB V3: 2 serveurs SRB-MCAT (ou +) peuvent

maintenant se connecter l’un à l’autre.• Nouvelle notion de zones. Redondance, système plus robuste en cas d’absence

de l’un des serveurs MCAT.

SRB MCAT

site 1

SRBMCAT

site 1’

SRB

site 2

SRB

site 2’

Zone A Zone B

SRB - 01/12/03 - CC-IN2P3 9

Administration du MCAT.Administration du MCAT.• Commandes lignes pour:

– Déclaration des ressources physiques et logiques.– Création de nouveaux utilisateurs, gestion des

droits, tickets (droit temporaire).– Nouvelles meta-données.

• Ou interface graphique:

SRB - 01/12/03 - CC-IN2P3 10

SRB au CC-IN2P3.SRB au CC-IN2P3.

• Utilitaires clients (Sinit, …) installés sous AFS (Linux + Solaris).

Accés par une commande qui positionne les variables d’environnement nécessaires (équivalente à root_env):

> srb_env

• Hébergement du Métacatalogue sur une base Oracle.

• Hébergement des serveurs SRB sur des machines SUN.

SRB - 01/12/03 - CC-IN2P3 11

SRB au CC-IN2P3 (suite).SRB au CC-IN2P3 (suite).

ccsrb (Portail: nom générique)

SRB SRB

disque

ccsrb01

SRB SRB

disque

ccsrb02

etc

HPSS

SRB - 01/12/03 - CC-IN2P3 12

SRB au CC-IN2P3 (suite).SRB au CC-IN2P3 (suite).

• Utilisé pour l’instant par:

– CMS:

• DC03 + DC04.

– Collaboration SCS-Slac / CC-IN2P3:

• BaBar: ~160 To à transférer en 2004.

• Glast ?

SRB - 01/12/03 - CC-IN2P3 13

Performances de SRB.Performances de SRB.

• Performances en lecture / écriture dans HPSS comparable à RFIO.

• MCAT:– exemple de CMS:

• 20 To de données enregistrées.• 600000 fichiers enregistrés.

Quelques secondes pour lister l’ensemble des fichiers.

uniquement limité par les performances du (ou des) serveur(s) Oracle.

SRB - 01/12/03 - CC-IN2P3 14

Performances de SRB.Performances de SRB.• Performances sur transferts longue distance

inférieures à bbftp, mais tout à fait raisonnable (obtenues avec des serveurs SUN):~ 50 Mbits/s

• Fiabilité des serveurs SRB pour des transferts en continu (24h/24h, démo au SC2003 – Phoenix):

SRB - 01/12/03 - CC-IN2P3 15

SRB et les projets Grid.SRB et les projets Grid.

• Soutenu financièrement par PPDG.

• Projet d’interface de SRB avec EDG (Bristol/RAL):

– Fichiers enregistrés dans SRB accessibles par les outils de grille: interface de SRB/MCAT avec RLS (Replica Location Service).

Localiser les fichiers enregistrés dans SRB avec RLS.

– Interface de SRB avec SRM (Storage Resource Manager).

SRB - 01/12/03 - CC-IN2P3 16

• SRB est un outil très simple d’emploi: permet l’accés aux données, fichiers de façon totalement transparente.

• Vaste palette de besoins couverts par SRB.

• Performance, « scalabilité » (peer to peer MCAT).

• Possibilité de créer des Web services.

• Equipe de développeurs au SDSC à l’écoute des besoins, très réactifs.

Conclusion.Conclusion.