Prospective CALCUL (HCERES) Observatoire Midi-Pyrénées (OMP)

24 Mai 2019

Centre National de Recherche Scientifique (CNRS)

Institut de Recherche pour le Développement (IRD) Université Paul Sabatier (UPS)

Centre National d’Etudes Spatiales (CNES)

1

30/09/2018

Quinquennat 2021-2025

Etat des lieux

Besoins : (la liste non exhaustive)

I. Calcul - Mutualisation de ressources pour avoir accès à plus de ressources et plus de flexibilité (comme NUWA par exemple) - Nécessité de prise en main de codes existants et développés/utilisés à l’OMP - Nécessité de porter les codes sur plusieurs CPUs ou GPUs ? - Besoins de formations sur des codes et problématiques numériques spécifiques (ex : programmation sur GPUs, librairies parallèles appropriées, algorithmes…), lesquelles ? Intérêt pour des Groupes de retours d’expérience ?

II. Données - Quel volume de stockage serait nécessaire actuellement et d’ici à 2025 ? Sur quelles plateformes : NUWA (LA), SEDOO, CALMIP ou autres (Datacenters régionaux) ? Se préparer au Pétaoctet et aux technologies de type IA (ML/DL,…) Importance de la proximité des données, des logiciels de traitement, et des calculateurs Demande récurrente : proximité des ASR / spécialistes Bases de données / modélisateurs numériques - Visualisation et rapatriement de données à distance ? - Des connections plus rapides (fibre, 10Gb/s) entre OMP/CALMIP, « datacenters », CNES nécessaires ?

III. Ressources humaines nécessaires

Opportunités : Profiter de la dynamique d’ANITI pour se préparer au Poctet et au traitement temps réel pour 1) Dimensionner la machine NUWA sur 5 ans avant de passer sur machines Tier-2 à Tier-0 2) Adapter, renouveler les baies de stockage de données ou se tourner vers du stockage sur Data center privé payant ? Quel positionnement par rapport aux Datacenters à Toulouse ? 3) Gestion de bases de données et portail virtuel associé (SEDOO, CALMIP ?) : avec bases de données au plus près des calculateurs. 4) Développer les infrastructures haut-débit entre l’OMP, CALMIP et CNES via l’UPS : mettre en relation les ASRs OMP et UPS. 5) Créer des Groupes de discussion autour du DL/ML et le calcul haute performance. Avantage de la proximité d’experts à l’OMP en matière de HPC, car pas assez de soutien à CALMIP pour couvrir tous les codes et thématiques. 6) Faire bénéficier d’autres projets non liés à l’IA mais très gourmands en ressources.

FIN DE LA PRESENTATON

6

30/09/2018

Plateformes de calcul

- (Tiers 3) GET : serveur calcul et données OROGEN : Testo2 , 24 processeurs parallèles - (Tiers 3) Machine OMP : NUWA / ~1600 coeurs et 8 GPUs - (Tiers 2) CALMIP : machine EOS ~12240 processeurs Ivy Bridge Intel (~4M heures/an) - (Tiers 0 et 1) Machines GENCI : CURIE-II/CEA et OCCIGEN/CINES (~2 M heures/an) EOS remplacée par OLYMPE : 13464 processeurs Skylake (comme la nouvelle machine IRENE du CEA) + 48 Gpus CURIE remplacée par IRENE (Nov. 2018) : ~80000 procs Skylake

Besoins Pérenniser Nuwa et obtenir un soutien (financier) de l’INSU :

- Veille technologique : par exemple dernière carte GPU pour tester algorithmes et portage de codes sur les centres Tier-2 à Tier-0

- Formation des étudiants/ ingénieurs /chercheurs sur les codes spécifiques développés à l’OMP et les aspects calcul parallèle associés

- Pas assez de fonction support sur les centres régionaux/nationaux malgré grande flexibilité d’ouverture de comptes (mais pas pour du déboggage)

- Conserver/renforcer la proximité avec les personnes compétentes pour aider au développement des codes et assurer le lien avec les grands centres

- Eviter la multiplication des machines multi-coeurs personnelles (impliquant des problèmes d’installation, maintenance, sécurité).

- Nécessité d’une connection plus rapide entre OMP, CALMIP et centres Nationaux (vers la fibre / 10Gb/s entre UPS et CALMIP ?)

- Maintenir, renouveler et/ou aider au développement de plateformes à l’OMP avec financements mutualisés : 1 ou 2 noeuds de nouvelle génération dans Nuwa ~ 15 k€ tous les 3 ans. Faire le lien avec le LA (D. Gazen)

Données / Stockage :

- Où stocker les données : sur Nuwa / SEDOO / Datacenter ?

- Besoin de fonctions de soutien/Support : Gestion de bases de données et portail virtuel associé (SEDOO, CALMIP ?)

- Gros calculs sur CALMIP et moins volumineux à l’OMP

- Question du transfert des données massives , leur traitement et leur visualisation (in-situ ou à distance ?)

- Le stockage des données d’observation (par exemple en sismologie) est géré par projet.

- La production de données est tellement importante que les centres nationaux ne sont pas suffisants

(vers le paiement de service de stockage sur des datacenters privés ???)

- Problèmes liés à la proximité entre espaces de stockage et les calculateurs : quelles données (pérennes, de travail au quotidien, données satellites etc…).

Intelligence Artificielle: besoin de dimensionner les machines pour des données massives et où tourner les codes de traitement : Nuwa, CALMIP, etc … Se préparer au Poctet et au temps réel

Achat pour NUWA dans les 5 ans:

- Avantages de inconvénients

- L’espace, l’électricité et la climatisation sont limités. Donc extension impossible et seulement renouvellement des noeuds vieillissants + baie de stockage

- Avantage de Merlin Méheut a acheté un noeud de 2 fois 10 coeurs (qui remplacera les noeuds de Fred Béjina)

Guillaume Morin (postdoc) : traitement de données Sentinelle au CNES

Analyse SWOT Forces : - Existence de modélisateurs (numérique et/ou théoriques) dans la plupart des équipes GET - Différentes méthodes de modélisation numérique et d’inversion/imagerie innovantes - Grande richesse des thématiques et points communs au niveau modèles, équations et algorithmes - Chantiers nationaux (Pyrénées, Futur RGF Alpes) et internationaux (Andes, Sibérie, Afrique, Laos, Cambodge, …) avec BGI et IRD. - Nombreux projets sur Toulouse avec ISAE, IMFT, LAAS, CNES, INSA, la Région Occitanie et hors Toulouse (BRGM, TOTAL, ANR,…) Faiblesses : - Nécessité de porter plusieurs codes en parallèle sur NUWA et CALMIP - Espaces de stockages plus proches des calculateurs. - Réaliser la veille technologique des outils en IA, I/O, visualisation, nouvelles architectures info en plus des activités de recherche - Pas assez de débit entre l’OMP et l’extérieur. Quid des liens entre les ASR OMP et ASR UPS ? Risques : Cloisonnement des disciplines, des thématiques, et des approches (modélisation, observation, expérimentation). Obsolescence des outils et compétences techniques.

Problèmes liés à la séparation de l’administration réseau, des bases de données et du calcul Opportunités : - Rôle majeur possible du GET sur l’« upscaling » des modèles (couplages multi-échelles): interfaces évidentes entre TS et SIC - Lever des verrous technologiques en optimisation/parallélisation, interfacer + petites/grandes échelles - Interfaçage de codes, modèles et bases de données + exploitation massive de données (utilisation/développement d’outils IA) - Renfort au GET : Intégration d’un IR calcul dans notre équipe. - Animation scientifique encore à améliorer dans et à l’extérieur de l’axe pour renforcer les synergies entre modélisateurs (utilisateurs et /ou développeurs), naturalistes et expérimentateurs : restructuration collégiale de l’axe effectuée. - Existence réseau de compétences à l’OMP : conseiller pour soutenir les projets et lever les verrous technologiques - Développer sur NUWA de nouvelles technologies puis les porter sur CALMIP et les centres nationaux. - Former les étudiants, ingénieurs et chercheurs sur des codes spécifiques en local et en régional. - Assurer des tâches opérationnelles soutenues et répondre à des sollicitations à court terme.

Quelques faits Marquants Nombre de publications en modélisation > 93 depuis 2016 , ~15 codes de calculs, (montants contrats ~2 M Euros)

~ 8 thèses de doctorat, accès aux machines Tiers0 à Tiers 3 (~4 Millions d’heures cumulées)

1) Articles et livres marquants :

- Panet I., Bonvalot S., Narteau C., Remy D., Lemoine J., Migrating pattern of deformation prior to the 2011 Tohoku-Oki earthquake revealed by satellite gravity data, Nature Geoscience, 2018.

- Chevrot, S., Sylvander, M., Diaz, J., Martin, R. et al., The non−cylindrical crustal architecture of the Pyrenees. Scientific Reports, 8, 9591, doi:10.1038/s41598-018-27889-x, 2018. Science Reports.

- Goddéris Y., Donnadieu Y., Carretier S., Aretz M., Dera G., Macouin M., Regard V., 2017. Onset and ending of the late Palaeozoic ice age triggered by tectonically paced rock weathering. Nature Geoscience, 10, 382-386. doi: 10.1038/NGEO2931.

- Yves Auda : 1 livre sur les « Systèmes d‘Information Géographique avec les logiciels libres GRASS et QGIS. » (2018)

2) Autres faits marquants :

- Déformation de la lithosphère : M. Gerbault, T. Bonometti, O. Vanderhaeghe, R. Martin : thèse région multi-disciplinaire 2017-2021 en « Modélisation de la dynamique de la lithosphère ». Utilisation des codes parallèles JADIM et OpenFOAM.

- Hydrologie : Laurent Orgogozo : ~1 million d'heures attribuées par le mésocentre CALMIP pour son projet de « Modélisation des processus hydrologiques avec OpenFOAM » sur la période 2015-2018. A tourné sur 10000 processeurs

- Géophysique : Bastien Plazolles, R. Martin, S. Chevrot, Stephen Beller : ~2 millions d’heures sur la machine EOS (CALMIP,

2015-2018) : Modélisation/imagerie des Pyrénées, de la proche surface et l’inversion de données géophysiques. Premiers tests sur machine multi-GPU OLYMPE de CALMIP.

Géomorphologie : Erosion, altération et flux chimique exporté pendant le

refroidissement cénozoïque (Carretier et al. 2018, Codes Esurf et Cidre)

BESOINS

- Besoins de formations en interne : Actions de formations spécifiques en calcul

numérique, visualisation et HPC

- Débit trop faible entre l’OMP et CALMIP/CINES/CCRT-CEA

- Maintenir, renouveler et/ou aider au développement de plateformes à l’OMP avec financements mutualisés : 1 ou 2 noeuds de nouvelle génération dans Nuwa ~ 15 k€ tous les 3 ans. Faire le lien avec le LA (D. Gazen)

- Besoin de soutien/Support : Gestion de bases de données et portail virtuel

associé

ORGANISATION : ROLAND MARTIN, YVES AUDA

Effectifs :

• 2 animateurs : Roland MARTIN (IR1/HDR), Yves AUDA (IR1/HDR)

• Participants : ~22 personnes : ET2, ET3, ET4, ET5, ET6, ET8 (11 CR/DR, 3 IR, 2 Phys Adj, 5 MCF/PR, 3 postdocs)

• Thématiques principales en modélisation :

- ET2 / TIL Géodynamique et Déformation de la lithosphère:

M. Gerbault, O. Vanderhaeghe, J. Ganne (Intéractions avec ET3, 4)

- ET3 / G2S Géophysique (Terre solide) et Géodésie spatiale : (Intéractions avec ET1, 2, 4)

R. Martin, S. Chevrot, P. Gégout, L. Seoane, D. Rémy, M. Llubes, B. Plazolles, S. Beller, G. Dufréchou

- ET4 / LOA Géomorphologie, Croûte supérieure, Climat, Processus d’érosion/sédimentation

V. Regard, S. Carretier, D. Rouby, E. Nardin, Y. Godderis (Intéractions possibles avec ET2)

- ET5 Hydrologie (Modélisation d’écoulements bio-hydrogéologiques), assimilation de données, Climat et

processus hydro-bio-géochimiques (proche surface)

Y. Auda, M. Grippa, M. Gosset, L. Orgogozo (Intéractions avec ET3, ET4)

ET6 : Gouvernance et politique d’occupation des sols P. Mazzega

- ET8 Modélisation atomistique (Intéractions avec ET1, 5, 6, 7)

M. Blanchard, M. Méheut

Activités Mise en place de collaborations internes et externes au GET + Séminaires/discussions autour des objets d’étude ou des outils

~ 5 thématiques identifiées importantes à soutenir à des degrés divers.

I. Modélisation de la déformation de la lithosphère :

TIL-IMFT-G2S (Gerbault, Bonometti, Vanderhaeghe, Ganne, Martin, Jessell)

- Modélisation des processus d’exhumation du manteau. Thèse CSC

- Dynamique/ convection crustale, diapirisme crustal : codes JADIM et OpenFOAM. Thèse Région /INP. Avancés, projet en cours

II. Modélisation et Imagerie géophysique :

- G2S – ISAE : Modélisation de la propagation d’ondes sismiques et infrason (couplages Terre/Atmosphère).

Garcia, Brissaud, Martire, Martin, D. Komatitsch. Très avancés en numérique, projet en cours

- TIL/G2S/CNES Géophysique – Géodésie : Inversion de données télésismiques et gravimétriques (spatiales et sol)

(Pyrénées/OROGEN, Méditerranée). Codes (SPECFEM, Unisolver, Pstomo) + Bases de données BGI. Chevrot, Martin, Seoane,

Bonvalot, Mouthereau , Bruinsma, Bonvalot, Llubes, Darrozes. Très avancés en numérique, projets en cours

III. Géomorphologie, impacts climatiques sur les surfaces continentales, couplages mécaniques Terre-Atmosphère:

- Erosion/sédimentation : résoudre des problèmes d’optimisation (S. Carretier, Code CIDRE). Avancé (numérique et modèle)

mais pas en parallélisme. Projet en voie de définition.

- Modélisation géodynamique et des effets isostatiques aux échelles lithosphériques : demandes en optimisation et

méthodes numériques (D. Rouby, E. Nardin,…). Utilisateurs (PTATIN), avancés sur les modèles mais moins en numérique .

- Modélisation de l’impact du climat et des teneurs en CO2 sur l’érosion/altération des surfaces continentales.

(Y. Godderis, codes B-WITCH, GEOCLIM). Avancés sur les modèles mais moins en numérique.

IV. Modélisation de la proche surface, des systèmes hydrologiques et de transferts de fluides dans les bassins versants:

Régions sahéliennes (L.Kergoat , M. Gripa, Y. Auda,..), boréales et tropicales (L. Orgogozo,…). Très avancés en numérique

V. Modélisation atomistique : Demandeurs en veille technologique sur les GPUs (M. Blanchard, M. Méheut). Avancés (Code

Quantum Espresso).

Quelques faits Marquants Nombre de publications en modélisation > 93 depuis 2016 , ~15 codes de calculs, (montants contrats ~2 M Euros)

~ 8 thèses de doctorat, accès aux machines Tiers0 à Tiers 3 (~4 Millions d’heures cumulées)

1) Articles et livres marquants :

- Panet I., Bonvalot S., Narteau C., Remy D., Lemoine J., Migrating pattern of deformation prior to the 2011 Tohoku-Oki earthquake revealed by satellite gravity data, Nature Geoscience, 2018.

- Chevrot, S., Sylvander, M., Diaz, J., Martin, R. et al., The non−cylindrical crustal architecture of the Pyrenees. Scientific Reports, 8, 9591, doi:10.1038/s41598-018-27889-x, 2018. Science Reports.

- Goddéris Y., Donnadieu Y., Carretier S., Aretz M., Dera G., Macouin M., Regard V., 2017. Onset and ending of the late Palaeozoic ice age triggered by tectonically paced rock weathering. Nature Geoscience, 10, 382-386. doi: 10.1038/NGEO2931.

- Yves Auda : 1 livre sur les « Systèmes d‘Information Géographique avec les logiciels libres GRASS et QGIS. » (2018)

2) Autres faits marquants :

- Déformation de la lithosphère : M. Gerbault, T. Bonometti, O. Vanderhaeghe, R. Martin : thèse région multi-disciplinaire 2017-2021 en « Modélisation de la dynamique de la lithosphère ». Utilisation des codes parallèles JADIM et OpenFOAM.

- Hydrologie : Laurent Orgogozo : ~1 million d'heures attribuées par le mésocentre CALMIP pour son projet de « Modélisation des processus hydrologiques avec OpenFOAM » sur la période 2015-2018. A tourné sur 10000 processeurs

- Géophysique : Bastien Plazolles, R. Martin, S. Chevrot, Stephen Beller : ~2 millions d’heures sur la machine EOS (CALMIP,

2015-2018) : Modélisation/imagerie des Pyrénées, de la proche surface et l’inversion de données géophysiques. Premiers tests sur machine multi-GPU OLYMPE de CALMIP.

Géomorphologie : Erosion, altération et flux chimique exporté pendant le

refroidissement cénozoïque (Carretier et al. 2018, Codes Esurf et Cidre)

BILAN SYNTHETIQUE EN MODELISATION

Défomation de la lithosphère (T2/TIL)

Géophysique Géodésie (T3)

Gravimétrie (T3)

LOA (T4) - Climat - Géomodélisation & couplages entre isostasie flexurale 3D de la lithosphère

- Processus de surface (érosion/sédimentation)

Proche surface :Hydro-biogéochimie de la zone critique, hydrologie et hydro-géophysique (T5)

T8 Modélisation atomistique appliquée à la minéralogie, géochimie (Marc Blanchard & Merlin Méheut, ET8)

TOTAL

Articles de rang A 8 22 8 4 +10 =14 23 18 > 91

Articles de rang B (Colloques avec Actes)

1 2 3

Ouvrages ou chapitre d’ouvrages

1 1 2

Thèses éditées 1 3 1 3

Séminaires et Colloques sans Actes

14 14 9 7 > 44

Produits informatiques 3 : PARAVOZ, ADELI, JADIM (Modèles thermo-

mécaniques)

4 : SPECFEM, SEISMIC_CPML/Unisolver, TOMOFAST-X, PS-tomo (Imagerie sismique, méthodes

potentielles)

1 : GINS 3 : CIDRE (érosion/sédimentation) B-WITCH/GEOCLIM (Climat) PTATIN (thermomécanique)

3 : Richards/Perma-Foam STEP, KINEROS2 (hydrologie)

1 : Quantum Expresso > 15

Plateformes et bases de données

1 : BGI 1

Responsabilités dans les instances

3 : 1 CS-INSU, 1 CS-UPS 1 Co-DIR GET

1 CS UPS 1 CN-CNRS 1 Co-DIR

> 8

Post-docs 4 (OROGEN, Clearview/ANR, CNES)

> 4

Post-docs étrangers 1 (UWA/Australie) 1

Doctorants 2 4 2 2

Chercheurs étrangers 2 (Chine, Iran) 1 (Colombie) 3

Contrats nationaux en tant que porteur

1: Région 100 KE 3: TOSCA 5kE/an (~60kE) 1 : Région 100kE

1: TOSCA ~20kE

2: AO INSU INCISION CHILI 8kE

COPEDIM IRD 40 kE/an

(160kE)

2 : AO INSU INFINITI 2018 BryophyGel 4kE

Cartographie Ambroisie

(GET,TOSCA-CNES,

LSCE/CEA) ~100kE

1: AO INSU EC2CO BIO HEFECT "Zn-Incorp“ 25kE

11

> 577 kE

Contrat recherche en tant que partenaire

1 OROGEN ~700kE 1 ISIFOR ~150kE

5 : 3 ANRs ~300kE +WaterColor Laos +A0 TanDEM-X DEM

2 : ANR 100kE

AO INSU ISOTOP-AAP 25kE 10

> 1275 kE

Contrats hors-Europe 1 CONICYT 100 kE 1 CSC ~100kE 1 CONACYT ~105kE

1 : NSF 25 KE 3

> 330 KE

15

30/09/2018

Plateformes de calcul

- (Tiers 3) GET : serveur calcul et données OROGEN : Testo2 , 24 processeurs parallèles - (Tiers 3) Machine OMP : NUWA / ~1600 coeurs et 8 GPUs - (Tiers 2) CALMIP : machine EOS ~12240 processeurs Ivy Bridge Intel (~4M heures/an) - (Tiers 0 et 1) Machines GENCI : CURIE-II/CEA et OCCIGEN/CINES (~2 M heures/an) EOS remplacée par OLYMPE : 13464 processeurs Skylake (comme la nouvelle machine IRENE du CEA) + 48 Gpus - Sur un code de différences finies en propagation d’onde 3D: accélération x35 sur GPUs (B. Plazolles, R. Martin, Avril 2018) - Laurent Orgogozo : « Modélisation des processus hydrologiques par volumes finis avec OpenFOAM » sur la période 2015-2018. très bon scaling de 400 à 10000 processeurs CURIE remplacée par IRENE (Nov. 2018) : ~80000 procs Skylake

BESOINS - Besoins de formations en interne Actions de formations spécifiques

- Besoin d’experts (chercheurs et ingénieurs) et conseils en installation logicielle et optimisation, et en méthodologies numériques et logicielles.

- Maintenir, renouveler et/ou aider au développement de plateformes à l’OMP avec

financements mutualisés : 1 ou 2 noeuds de nouvelle génération dans Nuwa ~ 15 k€ tous

les 3 ans. Faire le lien avec le LA (D. Gazen)

- Besoin de soutien/Support au GET: Optimisation et/ou parallélisation de codes +

installation et utilisation de logiciels + support utilisateurs.

Action récente : Demande faite dans DIALOG (14 sept. 2018): IR BAP E calcul scientifique

pour un Renforcement des Ressources humaines au GET en Calcul scientifique BAP E :

40 % : Recherche 60 % : Fonction Support + actions dans l’Axe modélisation

L’ingénieur effectuera un roulement sur les différents projets, à partir des priorités et des

besoins établis collégialement par le bureau de l’axe : travail sur un ou deux projets à la fois.

Profil : Ingénieur informatique métier : expert et conseil en optimisation de codes de recherche

Ingénieur faisant le lien entre les modélisateurs (IT, C, EC) et les plateformes de calcul

OMP, CALMIP et GENCI (OCCIGEN/CINES, IRENE/CEA,….)

Gestion des machines et licences logicielles des salles imagerie et de géophysique du GET

Prospective et nouvelle organisation de l’Axe modélisation

Production Nombre minimal/principal d’articles faisant intervenir de la modélisation : 84 (TIL/ET2) Modélisation thermomécanique de la déformation de la lithosphère : 8 (G2S/ET3) Modélisation Géophysique et Géodésie spatiale 22 (G2S/ET3): Gravimétrie 8 (LOA , TS, ET4) Géomodélisation & couplages entre isostasie flexurale 3D de la lithosphère et processus de surface (érosion/sédimentation : 10 (LOA , TS, ET4 Erosion et sédimentation : 4 (ET5) Assimilation de données en télédétection, modélisation en hydrologie et proche surface : vegetation modelling : 3, hydrological modelling : 2, land surface model evaluation near surface : 9 (ET8) Modélisation atomistique appliquée à la minéralogie, géochimie : 18 Moyenne minimum par participant ~ 3.8 articles Livres : 2 Séminaires et colloques : Géophysique (27), LOA (9), Hydrobiogéochimie de la zone critique (7) Éditions d’actes de colloques / congrès : 2 (Modélisation atomistique) Articles publiés dans des actes de colloques / congrès : 1 (Hydrobiogéochimie de la zone critique) Nombreux codes et modèles en géophysique + plateforme « gravimétrie » du BGI (ET3), + Codes et Modèles thermo-mécaniques de la déformation lithosphérique /« accès libre » (T2/TIL, T4/LOA), + codes en Géomorphologie (T4, CIDRE) , Climat (T4, T5 et T7) et hydrologie (ET5) sur des temps courts ou longs