Réunion HPC@OMP 1er juillet 2013

Roland MARTIN et Merlin MEHEUT

GET (Géosciences Environnement Toulouse), UMR CNRS 5563, Observatoire Midi-Pyrénées, Université Paul Sabatier, University of Toulouse, 14 avenue Edouard Belin,

31400 Toulouse, France

Thématiques du GET utilisant l'outil informatique

1/ Hydrologie/végétation/ressources en eau: - Etude hydrologique de bassins versants (Amazone, Karsts) : modélisation d'écoulements, crues, transport sédimentaire, cycles géochimiques, lien avec l'altération, érosion (J M Martinez, D Labat, MP Bonnet)Tâches : traitement de données, modélisation, interprétation des observations - Transport en milieux poreux, flux d'énergie et de matière, lien avec l'altération (L Orgogozo)- Lien hydrologie-végétation, sécheresse au Sahel (E. Mougin) Tâches : traitement d'images, SIG, couplage codes météo - Gestion de la ressource en eau (Y Auda)

2/ Erosion/altération/sédimentation/paléoclimats- Modélisation de l'altération et reconstruction des paléoclimats (Y Godderis, E Nardin) - Erosion-sédimentation-géomorphologie:chaines de montagne, recul des falaises, bassins sédimentaires (S Carretier, D Rouby)

3/Géophysique-sismologie-tectonique- Inversion de données gravimétriques et sismiques (R. Martin)- Evolution micro-structurale des roches (M. Jessel) - Simulation de la déformation lithosphérique (J. Martinod)

4/ Géochimie - couplage hydrologie-géochimie - modélisation du cycle géochimique du mercure (J Sonke)- modélisation atomistique : calcul ab initio, physique des minéraux (M Méheut)

Codes de calcul au sein du GETGéophysique/sismologie : ELLE: Mark Jessell. Non Parallèle.SPECFEM2D, SPECFEM3D : Dimitri komatitsch, Roland Martin, V. MonteillerSPECFEM-GEOTECH : Dimitri Komatitsch, Roland Martin, H.N. Gharti, J. TrompTOMOFAST3D : R. Martin, D. Komatitsch, V. Monteiller, G. Ramilien, L. Seoane, F. Frappart, D. GodekkeSEISMIC-CPML : R. Martin, D. Komatitsch

Géomorphologie : Altération-ErosionWITCH 1D ---->3D Y GodderisCIDRE : S. Carretier. Automates cellulaires 3D.COASTER : S. Carretier. DATE: S. Carretier

HydrologieGeLiSqPropag., Crue éclair, Pro GUM, DyLEM-1DCALMUBIM3D : R. Martin, L. Orgogozo, C. Noiriel. Modélisation 3D des transferts de fluide en milieux poreux.RICHARDS-FOAM: L. Orgogozo. Modélisation 3D des transferts dans les sols pour l'étude des BV expérimentaux. MGB Grand Bassin M.P BonnetELMO3MAELIA : P. Mazzega. Multi-agent for Environmental norms Impact Assessment

Paleo-ClimatModèle GEOCLIM : Y. Godderis, E. Nardin. Evolution des cycles biogéochimiques.

VégétationSTEPGéochimieGlobal1DBlockModelForMercuryIsotope

Machines de CALCUL à l'OMP

YANG : cluster local partagé. Machines Y. Godderis et M. Méheut. Gestion par le LA (Didier Gazen). Codes maison généralement monoprocesseurs. Y. Godderis, E. Nardin, Mark Jessell, S. Carretier, M. Méheut, L. Orgogozo,

Projets au CALMIP et dans les centres nationaux :

Utilisateurs principaux du HPC au GET : R. Martin, L. Orgogozo, M. Méheut

SPECFEM2D/SPECFEM3D/SEISMIC_CPML : CALMIP (300000 heures/an) , mésocentre d'Aix-marseille, CCRT/CEA (500 000 heures/an)TOMOFAST3D : 200000 heures en 2013, machines Titane et CurieCALMUBIM : 200000 heures/an au CALMIP.RichardsFOAM : 50000h/an au CALMIPQuantum Espresso, CPMD 600000 heures/an CALMIP (50%) et au CINES (50%)

Merlin Méheut : Physique du solide et géochimie isotopique

But : comprendre les processus naturels (chimie) affectant les signatures isotopiques

Isotopes du Li :7Li : 92.5(2)% 6Li : 7.5(2)%

Rapport isotopique :

Signature isotopique :

Fractionnement isotopique entre deux phases A et B:

Fractionnement à l'équilibre : propriété thermodynamique, calculable, Dépend « seulement » de T

Exemple : fractionnement du Li entre argile et solution

But : conditions de formation des argiles océaniques (smectites)

Données naturelles, expérimentales, calcul (intérêt : simplicité)

δ7Li=1000∗

Réch .

−Rstandard

Rstandard

Réch .

=7Li

6Li

Δ7Li (A,B )=δ 7

Li A−δ7LiB

1/ Modèles atomistiques ab initio (périodiques) : Solide : smectite Solution : Li++8H

2O

2/ calcul des propriétés vibrationnelles et Thermodynamiques (fractionnement)

Efficace pour les solides et gazs mais problème avec les solutions : - modélisation plus réaliste : dynamique moléculaire- développement de méthodes thermodynamiques adaptées

Codes : Quantum Espresso (solides, vibrations) : DFT, pseudopotentiels, ondes planes CPMD : dynamique moléculaire

Collaborations : * communauté d'utilisateurs (hors OMP) : M. Benoît (CEMES, Thèse de R. Dupuis), D. Connétable (CIRIMAT) * géochimistes et expérimentateurs au sein du GET

Outils : calcul de structure électronique, dynamique moléculaire et physique du solide

Code d'inversion de données massives TOMOFAST3DImagerie géophysique et hydrodynamique 3D

GET/Toulouse, LMA/Marseille, Computer Science Department/Dortmund, Institut Mexicain du Pétrole. Géophysique, calcul scientifique, hydrologie, hydrogéophysique (INSU, INSIS, INEE)Roland Martin, Guillaume Ramilien, Lucia Seoane, Sylvain Bonvalot, Mark Jessell, Frédéric FrappartLMA : Dimitri Komatitsch, Vadim MonteillerDortmund University, Computing Department : Dominik Godekke Collaborations avec le Mexique (UNAM), Australie (Monash University)

- Plateformes de calcul : mésocentre CALMIP, GENCI (Curie/CCRT/CEA, Ada et Turing à l'IDRIS) - Inversion conjointe multi-paramètres, multi-physiques et multi-techniques : gravimétrie, magnétisime, électrique et sismique.

Type de code : Code parallèle récent (2012). Résolution de systèmes linéaires et inversion de données massives par méthodes linéaires/non-linéaires (stochastique). Accélération par compression en ondelettes.

- Applications pétrolières : sismique et tomographie de capacitance électrique - Applications minières : méthodes potentielles : gravimétrie, magnétisme

Applications principales

----> En entrée : couplages possibles futurs avec SPECFEM3D, SEISMIC_CPML et problèmes directs en capacitance ou résistivité électrique, électromagnétisme etc.

Inversion de données gravimétriques (100000 données, 55 millions de paramètres).

Temps CPU < 45mns, sur 2096 CPU coeurs, 192 GPUs

Inversion Magnétique 25 fois plus de données

Inversions d'anomalies gravimétriques (Sud-Ouest Ghana)

Données inversées – Données réelles(mGal)

Sections inverséesDensités obtenues après inversion

Code d'éléments finis SPECFEM2D/3D « Open source »Propagation d'ondes en milieux hétérogènes

LMA (Marseille) : Dimitri KomatitschGET : Roland MartinIRAP : Rafael Garcia, Sebastien ChevrotPrinceton : J. TrompType de code : maillages non-structurés, milieux viscoélastiques, poreux, fluides, bathymétrie, topographies, conditions absorbantes optimisées PML. Haute résolution, très peu dispersif

Applications principales

1. Echelle d'exploration géophysique et applications pétrolières

2. Echelle de milieux fracturés et couches altérées : 10-30 km.

Pièges d'énergie et phénomènes de guide d'onde en zone altérée Vs=300 m/s, fréquences 2-10 Hz

-----> Transposable à toutes les échelles

Milieux atténuants en fond marin : Fréquence dominante 15 Hz

Fluide

Dôme de sel

PML

Martin, Xie, Komatitsch

T=0.1 s

T=6 s

Réduction de la zone de modélisation Réduction de la zone de modélisation

Imagerie de la lithosphère Pyrénéenne par inversion de forme d'onde télésismiqueImagerie de la lithosphère Pyrénéenne par inversion de forme d'onde télésismique

Vadim Monteiller, Sébastien Chevrot, Dimitri Komatitsch, Roland Martin Vadim Monteiller, Sébastien Chevrot, Dimitri Komatitsch, Roland Martin

Autres applications : Modélisation numérique à l'échelle de la Terre (fluide-solide), de l'atmosphère (fluide), laboratoire (viscoélasticité, non-linéarités, poro-viscoélasticité).

Plateformes : mésocentre CALMIP, GENCI (Curie/CCRT/CEA, Ada et Turing à l'IDRIS)

→ Modélisation 3D rapide des ondes télé-sismiques (période 1s)

Propagation 1-D à l'échelle globale

Modèle de Terre à symétrie sphériqueMéthode DSM : simulations jusqu'à 1.25Hz

(Geller et al, 1996)

Éléments Spectraux(Komatitsch et al, 2002)

Topographie de la surface Topographie interfaces Hétérogénéités isotropes et anisotropes Atténuation

Couplage de méthodes de propagations d'ondes : Global / Régional Couplage de méthodes de propagations d'ondes : Global / Régional

Méthode BFGSMéthode BFGSmk+1=m

k+(G kt G k+Cm−1)

−1

∇ J (mk )• Algorithme itératif de Gauss-Newton

δmk

• BFGS : estimation de δmk

A partir de : mk−1,m

k−2 ,mk−3 ,. .. ,m0

∇ J (m k−1 ) ,∇ J (mk−2) , . .. ,∇ J (m0 )→ pas de construction ni d'inversion de matrice

Modèle P

Modèle SModèle P

Paramétrisation : Vp, Vs

Paramétrisation : Vp/Vs, Vs

Code de différences finies et volumes finis SEISMIC_CPML Ecoulements et propagation d'ondes sismiques en milieux hétérogènes

LMA/Marseille et GET/Toulouse

Type de code : conditions absorbantes optimisées PML. Crucial pour l'imagerie sismique 3D rapide et les écoulements compressibles (Euler, Navier-Stokes, Saint-Venant)

Applications principales

1. Echelles exploratoires et pétrolières : 10m-100km

2. Echelle du laboratoire : sismique en milieu élastique non-linéaire (< 10m)

Tranches fines en milieux granulaires : approche de milieux poreux non-linéaires

PMLs optimales pour des ondes en milieu complexe (fréquences: 1-100 Hz)

PML

25 cm

1m

Martin et coll., 2009

Code plus flexible que SPECFEM3D : tests de rhéologies complexes, non-linéaires, mécanique des fluides, solutions de référence.

Modèles atténuants non-linéaires

Modèles granulaires par approche élastique compacte et/ou milieux poreux (SEISMIC_CPML)

Objectifs à moyen terme : avec SPECFEM3D puis TOMOFAST3D- Comparaisons expérimentales et numériques 3D des vitesses de phase et comportements rhéologiques (linéaires, non-linéaires, atténuants, milieux poreux, granulaires)- Possibles applications : caractérisation des formations superficielles et des hydrosystèmes

Vers l'inversion de la forme d'onde sismique complète et non-linéaire en proche surface Martin (GET), Rejiba et Bodet (Sisyphe/Paris 6)

Fré

qu

en

ce(kH

z )

Vitesse de phase (m/s)Vitesse de phase (m/s)

Apport NumériqueMETIS: expérimental Modèle de vitesses en profondeur F

réq

ue

nce

(kHz )

Vite

sses d

e p

ha

se (m

/s )

GET : Roland Martin, Laurent Orgogozo, Catherine Noiriel IMFT : Gérald Debenest, Michel Quintard. INPT, UPS, Institut de Mécanique des Fluides de Toulouse)Université de Nancy : F. Golfier. Géo-Ressources, UMR 7359 CNRS/UL/CREGU, ENSGPlateforme : mésocentre CALMIP

CALMUBIM : Calcul haute performance pour la modélisation numérique des transferts de fluides en milieux poreux en présence de BIOFILMS

• Etude de la biodégradation de contaminants en milieux : estimation des paramètres effectifs de transport et interprétation des expériences en laboratoire.

• Mitigation de la pollution souterraine par des polluants organiques: méthodes de bioremédiation + modèles complexes grande échelle du transports de contaminants à l'échelle du pore (Sturmann et al., 1995).

• Acquisition de structures réelles de milieux poreux 3D possibles maintenant en laboratoire(Iltis et al., 2011, Davit et al., 2011)

• Paramètres effectifs de transport à l'échelle d'intérêt (REV= Volume élémentaire

représentatif) en présence de biofilm : « volume averaging method/VAM »(Orgogozo et al., 2010, Davit et al., 2010, Wood et al., 2011).

• Calcul précis des champs de vitesses dans milieux poreux réalistes complexes avec biofilm.

Compréhension des relations entre les phénomènes aux petites échelles et les paramètres effectifs à plus grande échelle dans les processus de bioremédiation.

Golfier et al., 2009 : Unit cell constructed using MRI . Solid (red) and biofilm (blue)

Davit et al. 2011 : 3D biofilm surface reconstructed ( blue) + polyamid bead (dark) – X-ray tomography

Notre approche: utilisation de techniques de calcul massivement parallèle pour le

calcul de champs de vitesses dans des géométries poreuses complexes 3D en des

temps de calcul acceptables

Objectifs actuels : quel est le REV des échantillons ?REV= Variations de perméabilités et de porosités < 15%

- Ecoulement interpore sans biofilm : faible nombre de Reynolfs, Equation de Stokes.

- Résolution : algorithme d 'Uzawa (consitions périodiques et conditions de non-glissement aux interfaces fluide-solide et fluide-biofilm) + Volumes Finis + parallélisation MPI parallelization + solveur linéaire SOR/CG

II. Transport de fluide 3D en milieu poreux (biofilm partie de la matrice

Biofilm Fluide Solide

I. Contexte de précipitation carbonatée pour le stockage de CO2 :

Structures 3D de milieux poreux obtenus par tomographie X (Noiriel et coll. 2012)

Avant precipitation Après precipitation 2503~16 millions de points

Vitesses 6403~262 millions de points

0 200 400 600 800 1000 1200 14000,00%

20,00%

40,00%

60,00% 46,43%51,61%

12,14%0,00%

Relative K difference vs. number of mesh points

Mesh size

Rel

ativ

e di

ffere

nce

0 200 400 600 800 1000 1200 14001,00E-007

1,26E-007

1,59E-007

2,00E-007

permeability vs. number of number of mesh points

Mesh size

Pe

rme

ab

ility

Convergence atteinte pour un maillage de 6403 points

Bonne scalabilité pour un maillage de 6403 points Paramètres

Précision 1,00E-006

nbMeshx 640

nbItération 800

nbProc 10 20 40 80 160

48 24 12 6 3

wall time (h) 96 48 24 12 6

480

Résultats

Perméabilité 1,25E-07

expected time (h)

expected cpu time (h)

Parallel efficiency

0,00

5,00

10,00

15,00

20,00

0 50 100 150 200

number of processsors

Para

llel

eff

icie

nc

(%) Ideal

observed

Computation times

0,00

10,00

20,00

30,00

40,00

0 50 100 150 200

number of processors

Co

mp

uta

tio

n t

im

(s) Ideal computation times

Observed computation times

Cumulated computation times

0

100

200

300

400

0 50 100 150 200

number of processors

Cu

mu

late

d

co

mp

uta

tio

n t

im

(s) Cumulated computation

times

TRANSFERT D’EAU ET D’ENERGIE DANS LES SOLS SOUS OpenFOAM :Depuis 2011 à l’OMP

Orgogozo L., Goddéris Y., Pokrovsky O.S., Viers J., Labat D., Prokushkin A.S., Dupré B., 2011. Numerical study of weathering fluxes at the catchment scale in a boreal watershed: a coupled thermo-hydro-geochemical mechanistic approach. Poster at the Goldschmidt Conference , August 14-19 2011, Prague.

Orgogozo L., Renon N., Hénon F., Soulaine C., 2012. Application of OpenFOAM to transfers in soils: First developments and perspectives. Oral presentation at the 7th OpenFOAM WorkShop , June 25-28 2012, Darmstadt.

Orgogozo L., Labat D., Renon N., Tomer S.K., Soulaine C., Hénon F., Ababou R., Quintard M., 2013. An OpenFOAM massively parallel solver for Richards Equation : towards mechanistical modelling of transfers at the watershed scale. Oral presentation at the InterPore conference , May 21-24 2013, Prague.

Orgogozo L., Renon N., Soulaine C., Hénon F., Tomer S.K., Labat D., Pokrovsky O., Sekhar M., Ababou R., Quintard M.., in prep.Mechanistic modelling of water fluxes at the watershed scale: An open source massively parallel solver for Richards equation. Submission to Computers & Geosciences in july 2013.

OBJECTIF GLOBAL : Fournir des données hydrologiques prédictives au modèle mécanistes d'altération WITCH (Y. Goddéris) pour étudier l'impact du changement climatique sur les flux d'altération

Code RichardsFOAM (L. Orgogozo) : modélisation mécaniste 3D des transferts dans les sols avec OpenFOAM, échelles : siècles, dizaines de km 2. Fait : transfert d'eau (soumission d'un article en juillet) → application en bassin versants tropicaux et tempéré (ORE BVET, MSEC, ...)En finalisation : transfert d'energie avec gel/degel (permafrost) → application en bassins versants boréaux (GDRI CAR WET SIB )

OpenFOAM Calcul massivement parallèle clé en main

OpenFOAM : une boite à outil de CFD open source, dévelo ppé en c++

- Volumes Finis

- Modélisations multiphysiques couplées

- Solveur maison implémentable

- Construit dès l’origine pour le calcul massivement parallèle

- Manque de documentation, mais il y a une communauté active

( e.g.: http://www.extend-project.de

http://www.cfd-online.com/Forums/openfoam/

http://openfoamwiki.net )‏

- Références : Weller et al., 1998, www.openfoam.com

Performance parallèle : Weak scaling (calcul à « grand e » échelle)

• Versant limoneux

• 0,2 à 11,6 km2, épaisseur 6 m

• ~2 à ~134 millions de mailles

• versant initialement sec et une pluie se produit

• suivi de l’infiltration pendant 10 j

�������

�����

(performed on the CALMIP cluster, www.calmip.cict.fr) ‏‏ ‏‏

Computation times ~5 mn

Performance parallèle : Weak scaling (calcul à « grand e » échelle)