LCG-France

C. Biscarat (LPSC)L. Duflot (LAL)

Conseil de direction LCG France13 mai 2016

Perspectives LCG France

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20162

Plan

● Bilan 2013-2015● Quelques informations supplémentaires

● Scenarii budgétaires sur 2017-2020● Variations des hypothèses de base pour donner des pistes de

réflexions

● État des discussions avec l’IN2P3 + CEA● Discussions + Comité de pilotage + réunion des DU IN2P3

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20163

2011 2012 2013 2014 2015 20160%

2%

4%

6%

8%

10%

12%

14%

Evolution LCG France T1 contribution

% T1 requirements

CPU [HEP-SPEC06]

Disk [TB]

MSS [TB]

Bilan 2013-2015 : part mondiale

La convention a bien joué sont rôle de maintenir la France à sa place mondiale pour le T1 et les T2

2016: T2 ATLAS du CC -> T12016: extension garantie DAS

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20164

T2+T3 capacités CPU & disque

Partie T3 importante sur certainssites et en forte augmentation

NB: pledges en Avril et T3 en décembre

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20165

Financement T2-T3

● Financements ext ~ stable

● Financement continus sur fonds propres

● Les RH sont le plus gros poste

● Depuis la convention, stabilité de la contribution LCGFr

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20166

Dépenses T2 T3

● EDF, fonctionnement selon estimation des sites (parfois université)

● Peu d'infrastructure

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20167

Bilan 2013-2015 : croissance

Investissement 2016 ~150k€

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20168

Futur

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 20169

Requêtes des expériences (prév. 2018)

Présentés C-RRBAvril 2016

T2 disk ATLAS: moins de demande mais moins de sites,par ex demande aux petits sites de ne plus acheter de disque

T1 tapeT1 diskT1 CPU

T2 CPU T2 disk

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201610

Augmentation annuelle (prév.)

A noter :- hypothèse de croissance constante pour LHCb en 2018- la décroissance de disque ATLAS ne veut pas dire moins de disque sur nos sites

Présentés C-RRBAvril 2016

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201611

Croissance à budget plat

[1] CERN-LHCC-2014-04, édité par WLCG (2014)

Modèle CPU DISK TAPE

CERN [1] 20% 15% 15%

CC-IN2P3 [2] 25% 18% 38%[2] R. Vernet, CHEP 2015

● Les agences de financements soutiennent au mieux un budget plat.● 1800 k€ est la base de nos simulations pour les prochaines années, avec l’accord de

l’IN2P3 et du CEA● Convention 2013-2016:

● Budget plat● Prévisions sans décroissance de coût● Croissance du T1 minimale définie en termes de part de budget T1

● Nous sommes plutôt favorables à une planification de croissance des ressources

● Des modèles de croissance annuelle à budget constant sont développés (attention au effets de sauts technologiques) :

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201612

Extrapolation convention – hyp. #1

● Hypothèses● Coûts

● Aucune variation par rapport aux coûts LCG-France 2016

● Croissance CC● 25% CPU, 18% DISK, 38% TAPE● + 6 dérouleurs chaque année

● Maintien T2-T3● 70% exactement chaque année

● Résultat● Dépassement du budget constant

(1800 k€) dès 2017 avec un très fort dépassement sur 2019-2020

● Le maintien seul est difficile

● NB : les années 2017-2018 sont favorables car extension de garanties CPU et disk (2012 et 2013)

Travail en cours

Travail en cours

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201613

Extrapolation convention – hyp. #2

● Hypothèses - optimistes● Coûts

● Décroissance de coût selon modélisation R. Vernet [CHEP15], 25% CPU, 18% DISK, 38% TAPE

● Croissance CC● 25% CPU, 18% DISK, 38% TAPE● + 6 dérouleurs chaque année

● Résultats● Si maintien des T2-T3 70% chaque

année → besoin de 1900k€ en moyenne/an

● Si budget de 1800k€ chaque année sur 4 ans : un taux de soutien des T2-T3 de 50% en moyenne sur 4 ans● NB : exercice difficile de ne pas

avoir taux de soutien constant

Travail en cours

Travail en cours

Maintien T2-T3 70%

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201614

Extrapolation convention – hyp. #3

● Hypothèses● Coûts

● Décroissance de coût modéré● 10% CPU, 10% DISK, 10% TAPE

● Maintien des sites● CC : 100% chaque année● T2-T3 : 70% chaque année

● Budget total● 1800k€ chaque année

● Résultats● Croissance du CC de 13% en moyenne

sur 4 ans (CPU, disk et tape)● Croissance très faible 2019

Travail en cours

Travail en cours

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201615

Sujets en discussion

● Financement uniquement T3 grille● Rapport T3 / (T2+T3) : devrait être < 30 %● Niveau de soutien au renouvellement des T2/T3 (était 70 %)● Feuille de route du numérique + changement exp.

● Forte incitation à tous les sites pour s’inscrire dans un schéma local de mutualisation / collaboration

● Université / école, région, etc

● Évolution du nombre / profil des sites● Exp. supportées, ressources non LCG

● Clefs de répartition entre VO au T1 : → DAS IN2P3

● Possible prolongation de 1 an de la convention 2013-2016

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201616

Sujets en discussion

● Comment rendre la convention plus dynamique pour s’adapter aux computing models

● Durée de la prochaine convention

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201617

Backup

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201618

Sites LCG France

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201619

Support aux VO LHC

● Chaque site● Supporte au moins deux VO LHC● Ouvert à des VO non LHC● Certifié dans EGI● Une exception : Subatech

● Changement en cours - AF● le T2 de ATLAS va être absorbé par le T1

début 2016, ● discussion en cours pour le T2 de CMS

● En terme de support financier● Clé de répartition au CC : 45% ATLAS, 25%

CMS, 15% ALICE and 15% LHCb● Dans les faits, la même clé ressort des

investissements des T2

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201620

https://atrium.in2p3.fr/nuxeo/nxfile/default/344f565f-d967-4ae0-82a6-c862242bb2fc/blobholder:0/Convention_LCG-France_2013-2016_final.pdf

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201621

Base budgetaire du protocole 2013-2016

1

2

1

3

Table établie avec les coûts LCG-FR 2013

Priorités

Part du budget pour croissance

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201622

Budget LCG FranceAnnée 2013

exécuté2014

exécuté2015

exécuté2016

accepté

T1 & AF (maintien) 830 1060 410 418

T1 & AF (croissance) 166 120 730 911

T1 & AF (total) 996 1180 1140 1329

Coût maintien T2-T3 784 930 776 550

Dotation T2-T3 556 655 620 441

Gestion de projet 25 15 40 55

Somme 1577 1850 1800 1825

Balance versus hyp. 1800 constant

+223 -50 +0 -25

Taux de soutien T2-T3 71% 70% 80% 80%

Part de croissance T1&AF(lissée sur 2013-201n)

17% 10% 64%(31%)

68%(41%)

Part du budget pour croissance

NB: contribution du CEA au CCIN2P3 dont une partie pour l'existence du T1

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201623

Part mondiale du T1

Maintien du T1à sa part mondiale++

Respecte les clefsde répartition LCGFr entre expériences

2011 2012 2013 2014 2015 20160%

2%

4%

6%

8%

10%

12%

14%

Evolution LCG France T1 contribution

% T1 requirements

CPU [HEP-SPEC06]

Disk [TB]

MSS [TB]

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201624

Les pledges des T2 (hors AF)

En croissance,contribution soutenue des T2 (hors CC)

Sites hors CC CC

Avec une contribution de LCG-FR partielle au maintien des sites.

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201625

Pledges T2

Des profiles de croissance différentsSauts liés à des CPER, aux rythmes de renouvellement du matériel

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201626

Croissance du T1 + AF

AF : 0 croissance (en accord avec les resp. calculs LCG-FR)

2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 20160

5,000

10,000

15,000

20,000

25,000

30,000

0

20,000

40,000

60,000

80,000

100,000

120,000

140,000

160,000

180,000

Resource Deployment planPledges T1 + AF

Disk [TB] MSS [TB] CPU [HS06] (64b) H

EP

-SP

EC

06

TB

NB: 2016: bonne croissance possible car extention garantie sur disques

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201627

Pledges disque par site

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201628

T2 et T3

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201629

Effort dans chaque site

Nouv. Techno.

Support expériences

Stockage

Système de batch

0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 FTE

● 23 FTE pour les opérations selon un sondage WLCG

● En accord avec ISIS● Stockage + chronophage● R&D quand assez de FTE● Support de nombreuses VO

non LHC

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201630

WLCG

● Va devoir s'adapter à des ressources hétérogènes : cloud, centres HPC…

● Et aussi utilisation de clouds commerciaux

● Comprendre des modèles avec des sites faisant de l'accès distant (cache, diskless) en particulier l'impact sur les réseaux

● Fédérations de stockage● Présenter plusieurs sites comme un point unique

● Accès distants en failover ou overflow ● Simplification des sites pour faire face à la baisse de manpower

dans les sites et les expériences

● Volonté de revenir à des technologies plus répandues

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201631

Requêtes des expériences (approuvées)

Croissances annuelles : - CPU : jusqu'à 30-40% (ALICE, CMS) - Disque : jusqu'à 35% ( ATLAS) et 50% (ALICE, CMS, LHCb) - Tape : entre 35% (CMS) and 80% (ATLAS)

T1 tapeT1 diskT1 CPU

T2 CPU T2 disk

Approuvé en C-RRBOctobre 2015

croissance annuelle (%)au-delà du modèle CC > 25/18/38 pour CPU/disk/tape

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201632

Augmentation annuelle (prév.)

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201633

Clé de répartition budgétaire dans les T2

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201634

Qualité des sites

● Pour WLCG:● Respect des MoU – disponibilité et fiabilité (90% pour les T2, 97% pour les T1)● Rapport mensuel de WLCG par expérience pour chaque site et chaque fédération● Le T1 et les T2 marchent très bien.

● Pour les expériences :● Des sites appréciés ? - “oui” Journées LCG-France décembre 2015

● e.g. dans les meilleurs sites ALICE, T2Data pour LHCb, digi-reco sur T2 CMS, tous les sites T2Direct pour ATLAS, etc...

● Une chose est certaine : notre excellent réseau est une force.

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201635

Evolution des RH

● 2015 : les nouveaux venus● 1 personne remplacée au LPC (~ 0,5 FTE LCG)● 1 nouvel arrivant au LAL (~ 0,5 FTE LCG)

● Sites (hors fédération) avec ~1 FTE :● Semble un minimum --- les sites UK ont pour but le maintien de sites avec 0,5 FTE● A distribuer sur >1 personnes● Pourrait soutenir augmentation de capacités (densité), plus difficile pour les services

● Évolution (enquête auprès des sites) :● Premières conclusions : plusieurs départs à la retraite sur l'horizon 2020, ● Aucun départ annoncé avant cette période ; bémol : LPSC, deux départs en retraite au

CC.

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201636

Modèles de calcul

● Les échéances ne sont pas les mêmes avec ALICE + LHCb évoluant plus tôt que ATLAS et CMS.

● Un processus plus formalisé avec la définition de TDR

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201637

Run 3

● ALICE :● Volume de donnée beaucoup plus important

● Reconstruction en ligne sur une mega ferme online

● Reprocessing aux T0/T1 et MC aux T2

● Pousse vers une organisation en nuages régionaux

● LHCb● Calibration « en ligne » et reconstruction au HLT pour produire une format

d'analyse utilisable tout de suite pour certaines analyses

● Pratiquement que des evts intéressants : au lieu de streaming+stripping utilisation d'un event index

● Concentration des sites de stockage

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201638

Run 3 - Run 4

ATLAS et CMS● Concentration des sites de stockage (commence dès maintenant)

● Sites cache/diskless qui font des accès distants, un défi pour les réseaux

● Spécialiser une partie des sites pour certains workflow.

● Stabilité du stockage: MoU? Niveau de service et/ou financement sur plusieurs années?

● Travail sur la “compression” du data tier d'analyse

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201639

Contexte français

● MENESR :● Feuille de route du numérique Allistène

● Concentration des moyens vers ~ 13 datacenters régionaux (labelisation en 2017)

● CNRS :● COCIN : comité calcul intensif (2010, rapport en 2012)

● Stratégie autour de l'IDRIS et du CCIN2P3

● Explosion des demandes de datacenters locaux / mésocentres

● D. Veygnante mandaté pour implémenter une politique : création Mission Calcul et Données en Janvier 2016

● IDRIS, maison de la simulation, CCIN2P3/non-LCG● Déjà proche de la feuille de route ministère

Conseil de direction LCGFr, C. Biscarat et L. Duflot

13 mai 201640

Résumé

● La convention a bien rempli son rôle :

● Les sites marchent bien, la France reste dans la course● Les financements et engagements ont été respectés

● Les RH sont un peu tendues mais pas réellement problématiques

● Une nouvelle convention est souhaitable

● Une achat aujourd’hui sera encore en service au LS2/Run3● Difficultés préssenties en 2019-2020 ● Évolutions possibles des sites