Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme Raciazek,...

Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme

Raciazek, Philippe Weill, JL. Dufresne.

Analyses multi-modèles ; multi-ensembles CMIP5. Le projet Prodiguer.

(IPSL Climate Modeling Center)

CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.2

Laboratoires et tutelles


PLAN

1. L’activité de modélisation du Climat

2. D’un projet CMIP à l’autre

3. Accès et organisation des données CMIP5

4. Prodiguer et CMIP5

5. Analyses

CMIP5 et Prodiguer. S.Denvil et al. IPSL 2012.

4Activité de Modélisation – CMIP – ACCÈS – Prodiguer – Analyses

Modèles de l'IPSL

Chimie tropo & aérosols (INCA)

Ozone starto. (Reprobus)

Émissionsautres que

CO2

VolcansInsolation

Relief

Atmosphère (LMDZ) Continent (Orchidée) Coupleur (OASIS) Océan (Nemo) Glace de mer (LIM)

Modèle du système Terre (ESM)

Clim

at

Physique - Transport

Conditions aux

limites

Carbone / CO2 (Orchidée, Pisces)

Biogéochimie

Émissions CO2

AutresGES

Composition

CO2

O3 aéro-sols

Descente d’échelles régionales : Statistique Dynamique

Utilisation des sols



Tropospheric chemistry& aerosols (INCA)

Stratospheric chemistry / ozone

(REPROBUS)

Emissions

Land use

VolcanoesSolar

irradiance

•Physic – Transport

•Atmosphere (LMDZ)

•Surface (ORCHIDEE)

•Ocean (NEMO/OPA)

•Sea ice (NEMO/LIM2)

•Coupler (OASIS)

IPSL Earth System Model (ESM)

Global climate

Regionalclimate

Various kind of Model

Impacts studies

Dynamical Downscaling

Statistical Downscaling

Carbon / CO2 (ORCHIDEE, NEMO/PISCES)



Stratospheric chemistry / ozone

(REPROBUS)

Emissions

Land use

VolcanoesSolar

irradiance

•Physic – Transport

•Atmosphere (LMDZ)

•Surface (ORCHIDEE)

•Ocean (NEMO/OPA)

•Sea ice (NEMO/LIM2)

•Coupler (OASIS)

IPSL Earth System Model (ESM)

Global climate

Regionalclimate

Various kind of Model

Impacts studies

Dynamical Downscaling

Statistical Downscaling

Carbon / CO2 (ORCHIDEE, NEMO/PISCES)

Tropospheric chemistry& aerosols (INCA)



Land physicsand hydrologyOcean circulation

Atmospheric circulation and radiation

Land physicsand hydrology

Ocean ecology andBiogeochemistry

Atmospheric circulation and radiation

Allows Interactive CO2

Ocean circulation

Plant ecology andland use

Climate Model (AOGCM)

Earth System Model (ESM)

Sea Ice

Sea Ice

An Earth System Model (ESM) closes the carbon cycle



Experiment Simulation

Input: CouplingOutput: Data

Model Model

Requirement

1..*

Conformance

0..*

SoftwareComponent

NamePropertiesDescriptionCoupling Framework

0..1 Parent

0..* Child

Une simulation climatique

WhatWhy How

METAFOR schema : http://metaforclimate.eu/trac/browser/CIM/tags/version-1.5METAFOR site : http://www.purl.org/org/esmetadata/cim/portal



Initialization: How is this done? Implications for you

• Modelers make a long Pre-industrial control-Typically 1850 or 1860 conditions

• Perturbation runs start from control- Model related to real years only through radiative forcing- Solar, volcanoes, human emissions, land use, etc.

• Each ensemble member an equally likely outcome• Do not expect wiggles to match – model vs obs



Coupled Model Intercomparison Project(s)

http://cmip-pcmdi.llnl.gov/cmip5/



About 18 groups using 24 models participated.More than 1000 papers written using CMIP3 databaseDownloads continue at very high rate

CMIP3/AR4



Un intérêt qui ne se dément pas

CMIP3/AR4



Quelques chiffres

AR 4 (Assessment Report #4), 2007 18 groupes de modélisation 35 Terabytes 77,000 fichiers Quantité de données distribuée :

303 Terabytes 1 098 000 fichiers.

Les groupes ont généré et exploités probablement 10x plus de données

AR 5 (Assessment Report #5), ~ 2013 Un facteur 30 à 50 en volume Une volonté de distribué une plus grande proportion des données La base de données doit être distribuée

CMIP3/AR4



D'un projet CMIP à l'autre, d'un rapport du GIEC à l'autre

CMIP3, IPCC-AR4 (2007)=> Énorme succès de la base de données multi-modèles Changement de paradigme: analyse multi-modèles Utilisation au delà de la communauté des « climatologues »

CMIP5, IPCC-AR5 (2013)

=> Des simulations « centennales » variées: 20 et 21è siècles (historiques + scénarios futurs) paléoclimat, dernier millénaire... SST forcée (AMIP, Chimie-Climat, très haute résolution...)

=> Des modèles de complexités différentes:• Modèle climatique “physique” (AOGCM)• Modèles avec cycle biogéochimique (modèle système Terre)• Configurations idéalisées (aqua-planète, ...)

=> Des simulations décennales



Un compte à reboursFin 2009 Fin 2010 : Simulations Climatiques

Mi 2010 ? : Distribution des données

Fin 2010 Juillet 2012 : soumission des articles

Septembre 2013 : IPCC AR5 WG1 session plénière

Octobre 2014 : Prix Nobel?

CMIP5/AR5



Simulations proposées par CMIP-5 pour la préparation du 5e rapport du GIEC

Long terme (centennal)

Court terme (décennal)

ÉvaluationObs.

Scénarios futurs

Compréhension

Analyse de forçages et

des réponse



Simulations centennales proposées par CMIP5 pour la préparation du 5e rapport

du GIEC

Paléo-climats

Sensibilité climatique et rétroactions des nuages

Couplage climat-carbone

Chimie et aérosols

Estimation des forçages

radiatifs

Évolution du climat au 20e siècle

Évolution du climat au 21e siècle

Thématiques d'intérêt pour

l'IPSL

Climat-carbone ( C4MIP)

Nuages(CFMIP)

Paléoclimat(PMIP)

Aérosols (AEROCOM)

Emissions(GEIA)

Ozone (CCMVal)



Quatre scénarios futures (dont un très optimiste) :RCP8.5, RCP6.0, RCP4.5, RCP 2.6 Noms basés sur le forçage en 2100 (W / m**2) Détail des émissions et concentrations sur : http://www.iiasa.ac.at/web-apps/tnt/RcpDb/dsd?Action=htmlpage&page=welcome Travail à rebours pour les « modélisateurs Intégrés » Bâtir les scénarios d'activité correspondant à ces forçages

CMIP5/AR5



Scénarios définis en termes de forçage radiatif Travail en parallèle des communautés« climat » et « socio-économique » Scénarios futurs incluant des politiques de contrôle des perturbations anthropiques Un scénarios pour limiter le réchauffement à 2°C environ

Forçage radiatif

Concentration

CMIP5/AR5



Near Term - Core

10 year hindcasts Initialized at 1960, 1965, 1970 … 3+ ensemble members

30 year forecasts Initialized at 1960, 1980, 2005 3+ ensemble members

1960

1965 1970 198519801975 200019951990 2005 2010 2030

CMIP5/AR5



Near Term – Tier 1

Investigate role of short live species Investigate alternative initialization methods 100 yr control and 1% run (if not doing long term experiments

with same model) Increase ensemble size to 10+ Hindcast without volcanoes Runs initialized in 200X 2001, 2002, 2003, 2004, 2006, 2007, 2008, … Prediction with Pinatubo-like event in 2010

CMIP5/AR5



Modèles de l'IPSL LMDZ-ORCHIDEE-ORCA-LIM-PISCES-INCA-REPROBUS-OASIS

Modèle intégré du système Terre (ESM), physique éprouvée: IPSL-CM5A

Basse résolution

IPSL-CM5A-LR (3.75°x2°L39)

Oce: 2°

Moyenne résolution

IPSL-CM5A-MR (2.5°x1.25°L39)

Oce: 2°

Simulations demandées (toutes) de sensibilité avec ≠ niveaux d'intégration

Simulations demandées (principales) guidage mod. régionaux de sensibilité

Modèle avec nouvelle physique

IPSL-CM5B

Basse résolution

IPSL-CM5B-LR (2.5°x1.25°L39)

Oce: 2°

Simulations demandées (principales)

Moyenne résolution

(2.5°x1.25°L39)Oce: 2°Haute

résolution (2°x1°L39)Oce: 0.5°

CMIP5/AR5CMIP5/AR5CMIP5/AR5



Accéder aux résultats CMIP5

Contactcmip5-helpdesk (AT) stfc.ac.uk



Coupled Model Intercomparison Project (5)

> 20 groupes de modélisation du climat > 50 expériences numériques > 86 simulations pour satisfaire aux expériences > 6500 ans de simulation > 800 To d’archive actuellement 1 Po (3 Po) envisagés d'ici 1 an (2 ans)

Coordination de l’aspect données PCMDI: Communauté CMIP5 BADC et WDCC: Communauté Climat Européenne et

IPCC working group 2 et 3 (“mandat” IPCC-DATA.ORG) 3 Décembre 2008: MoU Tripartite (PCMDI, BADC, WDCC)

CMIP5/AR5


PCMDI e

t al.

NASA,

JPL &

ESAM

odeling

Center

s

Wea

k

Link

Modelers, PCMDI, JPL, ESA, CommunityWho does what?

Produce Simulations & Projections &

make them available

(HUGE job; focus on model development)

Model output archived in a

uniform fashion to facilitate access and

analysis. (Far from trivial –

see below)

0 2 4 6 8 10 12 14 16 18 20 22 24 26

pre-industrial control

present-day control

climate of the 20th Century (20C3M)

committed climate change

SRES A2

720 ppm stabilization (SRES A1B)

550 ppm stabilization (SRES B1)

1%/year CO2 increase (to doubling)

1%/year CO2 increase (to quadrupling)

slab ocean control

2xCO2 equilibrium

AMIP

Number of Models

Sophisticated development

and application of model

diagnostics for evaluation

(Observations needed here, but

which ones?)

Identify and deliver/archive observations in form useful for model analysis

(Requires model, obs and IT expertise)

Develop global observations relevant to

climate change research (Focus

on hardware, retrievals, delivery)

Enormous Model Output/ComplexityTo quantify and reduce uncertainty, this chain has to work.

Waliser et al. 2009, C

limatic C

hange, S

ubmitted.



IPSL

CNRM

EC-EARTH

CMCC

http://is.enes.org

EU FP7 : IS-ENES METAFOR

Distributed : 3.3 Po

Earth System Grid Federation

Adapted from Taylor, WGCM, 2010



La Fédération Earth System Grid conduite par le PCMDI

Données disponible auprès des groupes de modélisation (via ESG), et

dans de multiples “CORE centres”.

Plusieurs copies du “CORE data”; ESG et d’autres interfaces!

Tout les centres qui fourniront des “core-data” ne rendront pas disponible le reste au sein de la fédération de sites.

Si chaque couleur représente les sorties d’un groupe de modélisation, alors on peut voir que la structure est en hub, avec réplication au sein des noeuds centraux, et connections à des noeuds périphériques.

Données des groupes de

modélisation

CORE

(au moins)TROIS

COPIES



Data Node Architecture



ESGF GATEWAY HOW TO

First register as a user with the CMIP5 research role. http://pcmdi3.llnl.gov http://cmip-gw.badc.rl.ac.uk http://ipcc-ar5.dkrz.de

How-to from CMIP5 websitehttp://cmip-pcmdi.llnl.gov/cmip5/data_getting_started.html

How-to from is-enes portalhttps://verc.enes.org/help/how-to-./esgf-gateways/



# Short Name of Experiment

(In CMIP5 output files this is recorded

in the global attribute named

experiment_id”.)

Experiment Name

(In CMIP5 output files this is recorded

in the global attribute named “experiment”.)

Experiment Description YearPer run

Ensemble size requested

1.1 1.2 1.5

decadalXXXX* 10- or 30-year run initialized in year XXXX*

decadal hindcasts/predictions, some extended to 30 years

10-30 ≥3*≥10

1.3 noVolcXXXX* volcano-free hindcasts

hindcasts but without volcanoes 10-30 ≥3

1.4 volcIn2010 prediction with 2010 volcano

Pinatubo-like eruption imposed in year 2010

10-30 ≥3

1.6 ** chemistry-focused runs

near-term runs with enhanced chemistry/aerosol models

10-30 1

Coupled Model “Decadal” Simulations



3.1 piControl pre-industrial control coupled atmosphere/ocean pre-industrial control run ≥500 1

3.2 historical historical simulation of recent past (1850-2005) 156 ≥1

3.4 midHolocene mid-Holocene consistent with PMIP, impose Mid-Holocene conditions 100 1

3.5 lgm last glacial maximum consistent with PMIP, impose last glacial maximum conditions

100 1

3.6 past1000 last millennium consistent with PMIP, impose forcing for 850-1850 1000 1

4.1 rcp45 RCP4.5 future projection (2006-2300) forced by RCP4.5 95-295

1


1


1

4.4 rcp60 RCP6 future projection (2006-2100) forced by RCP6 95 1

5.1 esmControl ESM pre-industrial control

as in experiment 3.1, but emissions-forced (with atmospheric CO2 determined by model)

250 1

5.2 esmHistorical ESM historical as in experiment 3.2, but emissions-forced (with atmospheric CO2 determined by model)

156 1

5.3 esmrcp85 ESM RCP8.5 as in experiment 4.2, but emissions-forced (with atmospheric CO2 determined by model)

95 1

Coupled Model Long-Term Simulations



5.4-1 esmFixClim1 ESM fixed climate 1 radiation code "sees" control CO2, but carbon cycle sees 1%/yr rise

140 1

5.4-2 esmFixClim2 ESM fixed climate 2 radiation code "sees" control CO2, but carbon cycle sees historical followed by RCP4.5 rise in CO2

251 1

5.5-1 esmFdbk1 ESM feedback 1 carbon cycle "sees" control CO2, but radiation sees 1%/yr rise

140 1

5.5-2 esmFdbk2 ESM feedback 2 carbon cycle "sees" control CO2, but radiation sees historical followed by RCP4.5 rise in CO2

251 1

6.1 1pctCO2 1 percent per year CO2

imposed 1%/yr increase in CO2 to quadrupling 140 1

6.3 abrupt4xCO2 abrupt 4XCO2 impose an instantaneous quadrupling of CO2, then hold fixed

150 ≥1

7.1 historicalNat natural-only historical simulation but with natural forcing only 156 ≥1

7.2 historicalGHG GHG-only historical simulation but with greenhouse gas forcing only

156 ≥1

7.3 historicalMisc* other historical forcing

historical simulation but with other individual forcing agents or combinations of forcings.

156 ≥1

7.4 historicalExt historical extension extension of the historical simulation (experiment 3.2) through year 2012.

7 ≥1

Coupled Model Long-Term Simulations



3.3 amip AMIP AMIP (1979- at least 2008) ≥30 ≥1

2.1 sst2030 2030 time-slice conditions for 2026-2035 imposed 10 ≥1

6.2a sstClim control SST climatology

control run climatological SSTs & sea ice imposed 30 1

6.2b sstClim4xCO2 CO2 forcing as in experiment 6.2a, but with 4XCO2 imposed 30 1

6.4a sstClimAerosol all aerosol forcing as in experiment 6.2a, but with aerosols from year 2000 of experiment 3.2

30 1

6.4b sstClimSulfate sulfate aerosol forcing

as in experiment 6.2a, but with sulfate aerosols from year 2000 of experiment 3.2

30 1

6.5 amip4xCO2 4xCO2 AMIP AMIP (1979-2008) conditions (experiment 3.3) but with 4xCO2

30 1

6.6 amipFuture AMIP plus patterned anomaly

consistent with CFMIP, patterned SST anomalies added to AMIP conditions (experiment 3.3)

30 1

6.7a aquaControl aqua planet control consistent with CFMIP, zonally uniform SSTs for ocean-covered earth

5 1

6.7b aqua4xCO2 4xCO2 aqua planet as in experiment 6.7a, but with 4XCO2 5 1

6.7c aqua4K aqua planet plus 4K anomaly

as in experiment 6.7a, but with a uniform 4K increase in SST

5 1

6.8 amip4K AMIP plus 4K anomaly

as in experiment 3.3, but with a uniform 4K increase in SST

30 1

Atmosphere-Only Simulations



Search



Login



Select



Get wget.sh



Credential



Organisation des données CMIP5 Objectif :

Pouvoir exploiter directement les données produites par les autres centres

Une « table » : Une liste de variables géophysiques Une fréquence de sortie parmi : year, mon, day, 6h, 3h, clim, fx Peut concerner un ou plusieurs milieux (« realms »): Omon, Amon, Lmon, Oimon, cfMon, cfDay aero, day, 6hLev, 6hrPlev, 3hr Peut concerner toute ou partie de la durée d'une simulation

Un piège : un même nom de variable peut avoir des significations

différentes dans deux tables . Ex : sbl dans Amon et LImon



Organisation des données CMIP5 - contenu des « tables »

Dictionnaire exhaustif des sorties CMIP5 (167 pages, 800 vars): http://pcmdi-cmip.llnl.gov/cmip5/docs/standard_output.xls

Data Reference Syntax (DRS) http://cmip-pcmdi.llnl.gov/cmip5/docs/cmip5_data_reference_syntax.pdf

Dans table Amon : 3D atmos sur 17 niveaux de pressions sauf cl, clw, cli, mc, phalf, pfull

Dans table aero et cfMon : 3D atmos sur niveaux modèles. Dans table day : 3D atmos sur 7 niveaux de pressions Dans table cfDay : 3D atmos sur niveaux modèles 6hLev : ta, ua, va, hus, psl : 3D atmos sur niveau modèle ; input à

CORDEX 6hPlev : ta, ua, va, ps : 3D atmos sur 3 niveaux de pression



Organisation des données CMIP5 - fichiers

Un fichier = une variable géophysique pour une période d'un membre d'une simulation d'un modèle (et d'une table)

Noms de fichiers de la « Data Reference Syntax »<variable name>_<MIP table>_<model>_<experiment>_<ensemble

member>[_<temporalsubset>].ncta_Amon_IPSL-CM5A-LR_historical_r5i1p1_195001-200512.nc <variable name>, <MIP table>, <model>, <experiment>, and <ensemble

member> are DRS components, The <temporal subset> is omitted for variables that are time-independent. ensemble_member : r<N>i<M>p<L>

r : n° d'état initial i : n° de méthode d'initialisation p : n° de version de « physique » (ou n° de jeu de forçage pour

historicalMisc) N=M=L= 0 pour les champs fixes



Organisation des données CMIP5 – attributs globaux netcdf

Le labo et le modèle :institution = "IPSL (Institut ..)" ; / :institute_id = "IPSL" ; / :model_id = "IPSL-CM5A-

LR" ; :contact = "ipsl-cmip5 _at_ ipsl.jussieu.fr ... :comment = " ... include natural and anthropogenic forcings ...." ; :references = " ...reference available here : http://icmc.ipsl.fr" ; :source = "IPSL-CM5A-LR (2010) : atmos : LMDZ4 (LMDZ4_v5, 96x95x39) ; ...

L'expérience :experiment_id = "historical" ; :forcing = "Nat,Ant,GHG,SA,Oz,LU,SS,Ds,BC,MD,OC,AA" ; :parent_experiment = "pre-industrial control" ; / :parent_experiment_id =

"piControl" ; :parent_experiment_rip = "r1i1p1" ; :branch_time = 2000. ; (en année (IPSL) ou en jours (CNRM) ou en seconde ...)

Fréquence et milieu :frequency = "mon" ; / :modeling_realm = "atmos" ;

:tracking_id = "92c75dc8-a117-4827-b8fc-b746156ccf21"



Abbrev. Forcing Description Abbrev. Forcing Description

Nat natural forcing (a combination, not explicitly defined here, that might include, for example, solar and volcanic)

LU land-use change

Ant anthropogenic forcing (a mixture, not explicitly defined here, that might include, for example, well-mixed greenhouse gases, aerosols, ozone, and land-use changes).

Sl solar irradiance (note: Sl is “S” followed by a lower case “L”, not an upper case “I”)

GHG well-mixed greenhouse gases (a mixture, not explicitly defined here)

Vl volcanic aerosol (note: Vl is “V” followed by a lower case “L”, not an upper case “I”)

SD anthropogenic sulfate aerosol, accounting only for direct effects

SS sea salt

SI anthropogenic sulfate aerosol, accounting only for indirect effects

Ds Dust

SA (= SD + SI) anthropogenic sulfate aerosol direct and indirect effects

BC black carbon

TO tropospheric ozone MD mineral dust

SO stratospheric ozone OC organic carbon

Oz (= TO + SO) ozone (= tropospheric and stratospheric ozone) AA anthropogenic aerosols (a mixture of aerosols, not explicitly defined here)

Controlled Vocabulary (CV) for Abbreviated “Forcing” Descriptors



CV for Modeling Center and Models

Modeling Center (or Group) Institute ID

Model Name

The Centre for Australian Weather and Climate Research CAWCR ACCESS1.0

Beijing Climate Center, China Meteorological Administration BCC BCC-CSM1.1

College of Global Change and Earth System Science, Beijing Normal University

GCESS BNU-ESM

Canadian Centre for Climate Modelling and Analysis CCCMA CanESM2

CanCM4

CanAM4

University of Miami - RSMAS RSMAS CCSM4(RSMAS)

National Center for Atmospheric Research NCAR CCSM4CESM1(BGC)

CESM1(CAM5)

CESM1(CHEM,CAM5)

CESM1(CHEM)

CESM1(WACCM)

National Centers for Environmental Prediction NCEP CFSv2

Centro Euro-Mediterraneo per I Cambiamenti Climatici CMCC CMCC-CESM

CMCC-CM

CMCC-CMS




Centre National de Recherches Meteorologiques / Centre Europeen de Recherche et Formation Avancees en Calcul

Scientifique

CNRM-CERFACS CNRM-CM5

Commonwealth Scientific and Industrial Research Organization in collaboration with Queensland Climate Change Centre of

Excellence

CSIRO-QCCCE CSIRO-Mk3.6

EC-EARTH consortium EC-EARTH EC-EARTH

LASG, Institute of Atmospheric Physics, Chinese Academy of Sciences

LASG-IAP FGOALS-G2.0

FGOALS-gl

FGOALS-S2.0

The First Institute of Oceanography, SOA, China FIO FIO-ESM

NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5

NOAA Geophysical Fluid Dynamics Laboratory NOAA GFDL GFDL-CM2.1

GFDL-CM3

GFDL-ESM2G

GFDL-ESM2M

GFDL-HIRAM-C180

GFDL-HIRAM-C360




NASA Goddard Institute for Space Studies NASA GISS GISS-E2-H

GISS-E2-H-CC

GISS-E2-R

GISS-E2-R-CC

GISS-E2CS-H

GISS-E2CS-R

NASA Global Modeling and Assimilation Office NASA GMAO GEOS-5

National Institute of Meteorological Research/Korea Meteorological Administration

NMR/KMA HadGEM2-AO

Met Office Hadley Centre MOHC HadCM3

HadCM3Q

HadGEM2-CC

HadGEM2-ESHadGEM2-A

Natural and Environmental Research Council/Met Office Hadley Centre

undeclared HiGEM1.2



CV for Modeling Center and ModelsInstitute for Numerical Mathematics INM INM-CM4

Institut Pierre-Simon Laplace IPSL IPSL-CM5A-LR

IPSL-CM5A-MR

IPSL-CM5B-LR

Japan Agency for Marine-Earth Science and Technology, Atmosphere and Ocean Research Institute (The University of

Tokyo), and National Institute for Environmental Studies

MIROC MIROC-ESMMIROC-ESM-CHEM

Atmosphere and Ocean Research Institute (The University of Tokyo), National Institute for Environmental Studies, and Japan

Agency for Marine-Earth Science and Technology

MIROC MIROC4hMIROC4mMIROC5

Max Planck Institute for Meteorology MPI-M MPI-ESM-HR

MPI-ESM-LRMIP-ESM-P

Meteorological Research Institute MRI MRI-AGCM3.2H

MRI-AGCM3.2S

MRI-CGCM3

MRI-ESM1

Norwegian Climate Centre NCC NorESM1-M



Organisation des données CMIP5 – structure des répertoires (1)

The standard CMIP5 output tool CMOR2 writes output files to a directory structure mapping DRS components to directory names as:

<activity>/<product>/<institute>/<model>/<experiment>/<frequency>/<modeling realm>/<variable name>/<ensemble member>/ /CMIP5/output/IPSL/IPSL-CM5A-LR/decadal1990/day/atmos/tas/r3i2p1/ /CMIP5/output/MOHC/HadCM3/rcp45/mon/ocean/uo/r1i1p1/

This structure, based on a previous version of the DRS, is incompatible with the recommended current DRS directory structure (see after).




It is recommended that ESGF data nodes should layout datasets on disk mapping DRS components to directories as:

<activity>/<product>/<institute>/<model>/<experiment>/<frequency>/<modeling realm>/<MIP table>/<ensemble member>/<version number>/<variable name>/<CMOR filename>.nc

/CMIP5/output1/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v20110728/ta /CMIP5/output1/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai




output1 and output2 merge into a single directory: <activity>/merge/<institute>/<model>/<experiment>/

<frequency>/<modeling realm>/<MIP table>/<ensemble member>/<version number>/<variable name>/<CMOR filename>.nc /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/v20110728/ta /CMIP5/merge/UKMO/HadCM3/historical/day/atmos/day/r1i1p1/latest/ta /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/v1/lai /CMIP5/merge/MIROC/MIROC5/rcp26/mon/land/Lmon/r1i1p1/latest/lai



Le projet IPSL Prodiguer

S.Denvil, A.Bhardwaj, F.Corsini, M.Morgan, H.Moulron, J. Raciazek, P.Weill, JL. Dufresne.

Contactsdipsl (AT) ipsl.jussieu.fr



Calcul : ciclad.ipsl.jussieu.Fr Cluster de calcul (20 nœuds dual quad-core AMD) « Climate analysis enabled » netcdf, cdo, ferret, matlab…

Stockage : /prodigfs/esg/CMIP5/merge Sous ensemble CMIP5 (160 To 300 To début 2012)

Support à l'analyse : Prodiguer Un portail «beau et intuitif» pour naviguer dans le sous

ensemble CMIP5 : https://prodiguer.ipsl.fr Un outil puissant de téléchargement CMIP5

(fonctionnalités proches du script type wget CMIP3) Un data node «maison» (accès opendap sur

agrégation) (année 110 + 1120 = 120)

Prodiguer ; what's that?



The GOOD DOI pour les données (Digital Object Identifier) ESG ça marche

The BAD Mais pas très bien d’après moi Couche sécurité (cf licence) : c’est louuurd

The UGLY Les portails CMIP5 ne sont pas intuitifs Téléchargement complexe (+authentification/autorisation) Incohérence des arborescences des data nodes

État des lieux CMIP5 : ESG



The GOOD Collaboration au niveau nationale quant à l’installation du

nœud de données. (L’IPSL a été moteur) IPSL et CNRM/CERFACS : parmi les 5 premiers groupes

présents sur ESG (mars 2011) ~ 62% du volume de l’archive CMIP5 vient de la

communauté ENES (de l’IPSL principalement) The VERY SURPRISING

Le datanode IPSL distribuant les données stockés sur ciclad est la première machine en sortie de réseau de l’UPMC (devant des serveurs distribuant linux).

État des lieux CMIP5 : IPSL



The VERY SURPRISING 2011 Volume (To) / Nombre de fichiers téléchargés

Avril : 1.26 To / 777 fichiers Mai : 2.96 To / 1855 fichiers Juin : 16.2 To / 7274 fichiers Juillet : 1.51 To / 2028 fichiers Août : 13.9 To / 8627 fichiers Septembre : 5.9 To / 1946 fichiers Octobre : 11.1 To / 8758 fichiers (Mi)Novembre: 28.5 To / 17238 fichiers

Total : 81.6 To / 48503 fichiers Nombre de requêtes : 2 659 584 A comparer avec les 48 503 fichiers totaux ! Nombre d’IP ayant demandé un téléchargement : 415

État des lieux CMIP5 : IPSL



Source européenne: FP7 : METAFOR/IS-ENES/EGI Source internationale : G8 : projet ExArch Source nationale : GIS : Prodiguer. Future : ANR?

Labellisation INSU PRODIGUER : refusé Dossiers classés A et considérés comme de bons projets pouvant

sans conteste être labellisés, mais qui mériteraient certainement une ouverture nationale plus grande ou dont l’implémentation doit être revue.

PRODIGUER système de diffusion des données de modélisation, issues des exercices du GIEC, est un projet tout à fait intéressant mais dont le soutien comme SOERE peut faire débat. L’avis du comité est que cette initiative mérite d’être soutenue dans un cadre qu’Allenvi pourrait déterminer.

État des lieux CMIP5 : financement actuel



En soutient de cette activité

FP7 METAFOR : 60 Keuros. Work Package (WP) leader GIS Climat : PRODIGUER 118 Keuros. Porteur du projet. FP7 IS-ENES: 110 Keuros. Contact IPSL de 2 WP. FP7 EGI-INSPIRE : 100 Keuros. Contact IPSL d'un WP. G8 ExArch: 197 Keuros. PrincipaI Investigator (PI).

Un financement cumulé de 585 Keuros sur 5 ans Trois ingénieurs recrutés sur ces projets (dans la continuité),

le troisième depuis un an.



Les soutients potentiels

EQUIPEX2 GENCI : DIP-HPC 70Keuros d'équipement pour l'IPSL. WP leader. Soumis en septembre 2011. Refusé.

FP7 : IS-ENES2 260 Keuros. WP leader. Soumis en novembre 2011.



SCIENTIFIC PARTNER OR HPC COMPUTING CENTRES

CCRT (CEA) Meteo-FranceIPSLIDRIS (CNRS) ...

CORE (CMIP5+PMIP3+*MIP) R&D

PRODIGUER WEB SERVERS(IPSL)

ESG GATEWAY METAFOR IS-ENES

PRODIGUER COMMUNITY(Scientists, Researchers, Students)

HTTPS / X509

HTTPS / OpenID HTTPS / OpenID HTTPS / OpenID

HTTPS / X509 HTTPS / X509

HTTPS / X509 HTTPS / X509

HTTPS / OpenID



Prodiguer portal

CMIP5 subset query/access tools

IPSL - METAFOR – IS-ENES - ESGF

M.Morgan, S.Denvil

ContactMomipsl (AT) ipsl.jussieu.fr



https://prodiguer.ipsl.fr/



Dashboard and data access



Start



Wait...



Search



Select



Tick it



Choose



copy/paste



Synchro-Data

CMIP5 data access tools

IPSL - ESGF - EGI

J.Raciazek, S.Denvil

ContactJripsl (AT) ipsl.jussieu.fr



Overview

Search for CMIP5 data in ESGF File selection using DRS facets (realm, freq, experiment,

ensemble, variable). So called template. Incremental search (keep track of what have already been

downloaded) Metadata analysis

Compute total files size Check if all variables get a match in ESGF

Transfer files from ESGF to local filesystem Transparent handling of x509 Certificate based security HTTP Parallel download



WARNING

You should not use it to download files IPSL Climate Modeling Group supports :

Centralized templates handling To avoid redundant downloads To avoid unnecessary network burden

Prefer several small templates (not a big one)



Installation

Retrieve installation script from synchro-data webpage wget http://dods.ipsl.jussieu.fr/jripsl/synchro_data/install.sh chmod +x install.sh

Run the script with « -b » option to start installation in $HOME/synchro_data ./install.sh -b

If you want to install in non default location, use « -t » option ./install.sh -b -t /opt



Configuration

Sign up to ESGF http://cmip-pcmdi.llnl.gov/cmip5/data_getting_started.html

Set username and password Edit file .synchrodata_login

Select which models to download Edit file MODELS

Select which variables to download Edit file user_selections/default.txt



Template example

experiments="historical amip decadal2000"ensembles="r1i1p1"#ensembles="all"variables[atmos][mon]="tas"variables[land][fx]="sftgif"variables[seaIce][mon]="sic evap nshrice"variables[ocnBgchem][mon]="dissic fbddtalk"variables[atmos][mon]="ta hur clcalipso parasolRefl"



Usage

Search for files ./start.sh -a [-t template]

Start download ./start.sh -b

Get download current status ./start.sh -s

Stop download ./stop.sh



Usage (suite)

Change priority (e.g. set higher priority for a template) ./start.sh -c -p 1500 [-t template]

Update model list ./start.sh -e

Retry transfer with error status ./start.sh -j

More options ./start.sh -h



Output

Data folder $HOME/synchro_data/data Use new DRS format

DB folder $HOME/synchro_data/db Sqlite database with transfer information (status, duration,

priority..) Log folder

« get_data.log » and « synchro_data_transfert.log » for transfer related messages

One log file per model for discovery related messages



Aggregation node

CMIP5 subset aggregated files

IPSL – GIS Climat - IS-ENES

A.Bhardwaj, S.Denvil

ContactAbhipsl (AT) ipsl.jussieu.fr



Thredds



Dataset



Real file



Virtual FileAggregation



All in one



Aggrégation temporelle : préparatif sur CICLAD

#------------------------------------------------------# NETCDF4#------------------------------------------------------export PATH=/opt/netcdf4/gfortran/bin:${PATH}export LD_LIBRARY_PATH=/opt/netcdf4/gfortran/lib:${LD_LIBRARY_PATH}export NETCDF_INC_DIR=/opt/netcdf4/gfortran/include export NETCDF_LIB_DIR=/opt/netcdf4/gfortran/lib

#------------------------------------------------------# CDO with opendap#------------------------------------------------------export PATH=/home/laliberte/local/cdo/bin:${PATH}



Moyenne d'ensemble:#!/bin/ksh#set -vxexperiment=historicalwhich cdoset -A liste_filefor EnsembleMember in 1 2 3 4 5 6 7 8 9 10 ; do # test d'existence de l'aggregation wget --spider http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.CNRM-CERFACS.CNRM-CM5.$

{experiment}.mon.atmos.Amon.r${EnsembleMember}i1p1.tas.1.aggregation.html > /dev/null 2>&1 rc=$?

if [ ${rc} -eq 0 ] ; then # aggregation présente echo success liste_file[${#liste_file[*]}]=http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.CNRM-CERFACS.CNRM-

CM5.${experiment}.mon.atmos.Amon.r${EnsembleMember}i1p1.tas.1.aggregation else # aggregation absente echo failure fidoneecho cdo ensmean "${liste_file[*]}" ensmean_CNRM-CERFACS.CNRM-CM5.${experiment}.tas.nccdo ensmean "${liste_file[*]}" ensmean_CNRM-CERFACS.CNRM-CM5.${experiment}.tas.nc



Variante autour de l'aggrégation Moyenne saisonnièrecdo seasmean

http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.MOHC.HadGEM2-ES.historical.mon.atmos.Amon.r1i1p1.hfls.1.aggregation result.nc

Moyenne mensuelle climatologiquecdo ymonmean


Moyenne annuellecdo yearmean


Regrillage en pré calculant le fichier de poids :cdo setgrid,IPSL.ORCA2_gridCF.nc

http://vesg3.ipsl.fr/thredds/dodsC/cmip5.merge.IPSL.IPSL-CM5A-LR.historical.mon.ocean.Omon.r1i1p1.tos.1.aggregation inter.nc

cdo genbic,r360x180 inter.nc remapweight.nccdo remap, remapweight.nc inter.nc sst_regular.nc

Et plus: cdo -h # https://code.zmaw.de/files/cdo/html/1.5.2/cdo.pdf



CMIP5 CMIP6 CMIP7Year 2012 2017 2022Power factor 1 30 1000Npp 200 357 647Resolution [km] 100 56 31Number of mesh points [millions] 3,2 18,1 108,4Ensemble size 120 214 388Number of variables 800 1068 1439Interval of 3-dimensional output (hours) 6 4 3Years simulated 90000 120170 161898Storage density 0,00002 0,00002 0,00002Distributed Archive Size (Pb) 3,19 86,05 2260,20

Perspectives CMIP à 10 ans

Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme Raciazek,...

Documents

Transcript of Sébastien Denvil, Ashish Bhardwaj, Franck Corsini, Mark Morgan, Hans Moulron, Jérôme Raciazek,...