L A B A S E D E D O N N É E S D ’A C T R I S - F R

TRAVAUX SUR LES FILIÈRES ET DONNÉES

21 -24 mai 2019, workshop ACTRIS-FR, Oléron

Renaud Bodichon (CDS ESPRI/AERIS)

Christophe Boitel (GTD/ACTRIS-FR)

Guillaume Brissebrat (CDS SEDOO/AERIS)

Fabienne Lohou (GT5/AERIS)

Nicolas Pascal (CDS ICARE/AERIS)

2

Filières, base de données et services

Christophe Boitel, Renaud Bodichon, Nicolas Pascal

Le portail d’accès aux données

Guillaume Brissebrat

Soumission des projets à AERIS

Christophe Boitel, Fabienne Lohou

PR

ES

EN

TA

TIO

NS

actris.aeris-data.fr3

L e G r o u p e d e Tr a v a i l s u r l e s D o n n é e s

• Sites instrumentés• Laboratoires associés• Représentants du pôle AERIS• Animation conjointe ACTRIS-FR/AERIS

Personnes

impl iquées

Ses

compétences

Rôles dans

ACTRIS-FR

• Instrumentation• Acquisition• Développements d’applications• Administration systèmes• Standards documentation/format des données• Bonne compréhension des mesures• Connaissance des traitements• Base de données• Distribution/diffusion

• Interface technique avec la communauté scientifique• Collecte des données d’observation• Echanges d’expertises techniques• Implémentation et mise en production des filières de traitement• Constitution de la base de données normalisée ACTRIS-FR• Accès aux données et diffusion vers les réseaux• Développements d’outils destinés à la communauté (portails, méta

catalogue, outil de validation, …)

4

FILIÈRES, BASE et SERVICES

actris.aeris-data.fr5

Les FILIÈRES

GARRLiC A. Lopatin, I. Popovici, Q. Hu, F. Ducos, P. Goloub, O. Dubovik – LOA L. Miladi, N. Pascal – AERIS

Demandeurs : P. GoloubInstruments : LIDARs aérosol ACTRIS-FR et ACTRIS-EARLINETParamètres principaux : Propriétés aérosol optiques et microphysiques, sur le profil et intégré sur la colonne.Sites Instrumentés: LIDARs ACTRIS-FR (7) et ACTRIS-EARLINET (17)

Début de chantier : 2016

Évolutions année écoulée : Intégration nouvelle version GRASP (v0.8.1) Support du nouveau format SCC L1 pour ACTRIS-EARLINET, Normalisation du format, (Adaptation aux données des Lidars ACTRIS-EARLINET)

Évolutions à venir : Amélioration des figures Amélioration du fichier de sortie NetCDF Test unitaire et test d’acceptance Analyse des sorties

RH année écoulée : 1 ETP

actris.aeris-data.fr6

Les FILIÈRES

DESMANRadars

VHF - UHF

M. Lothon , S. Derrien – P2OAB. Six , N. Pascal – AERIS

Demandeurs : M. LothonInstruments : Radars VHF et UHFParamètres principaux : vitesses de ventSites Instrumentés : P2OA (VHF/UHF), CO-PDD (VHF), SIRTA (UHF) réseau MF (UHF)

Début de chantier : 2015

Évolutions année écoulée :• extension au RADAR UHF de P2OA, spécifiée par le

CE, implémentée à Icare et mise en production• externalisation massive de paramètres

(instrument, type, mode, …). • support d’un mode « labo » (date à date plutôt que

mensuel)

Évolutions à venir :• extension au radar UHF du SIRTA

RH année écoulée : ≈ 0,3 ETP

Statut opérationnel : Site Instrument Début Fin

P2OA_Lannemezan VHF 03/06/2001 14/03/2019

UHF 02/03/2015 14/03/2019

CO-PDD_Puy-De-Dome VHF En attente données récentes

actris.aeris-data.fr7

Les FILIÈRES

GRASP-AOD B. Torres, F. Ducos, P. Goloub, O. Dubovik – LOA L. Miladi, N. Pascal – AERIS

Demandeurs : P. GoloubInstruments : Photomètres solaires et lunairesParamètres principaux : distribution volumique en taille des aérosolsSites Instrumentés : sites AERONET-NASA et AERONET-ACTRIS

Début de chantier : 2019

Evolutions année écoulée :• Normalisation du format (NetCDF-CF)• Imagerie• Calcul de la distribution en taille bi-lognormale• Production et livraison d’échantillons sur une période finie

Evolutions à venir :• Analyse scientifique des échantillons livrés,• Mise en production ensuite• Implémentation de flag qualité• Support de nouveaux types de photomètres (type PFR)

RH année écoulée : 0,3 ETP

actris.aeris-data.fr8

Les FILIÈRES

ELIFAN M. Lothon, S. Derrien - P2OAL. Miladi, N.Pascal – AERIS

Demandeurs : M. LothonInstruments : Imageurs cielParamètres principaux : fraction nuageuseSites Instrumentés: P2OA, SIRTA, CO-PDD, OPAR, LOA, OHP, MF

Début de chantier : 2015

Evolutions année écoulée :• Optimisations et MCO• Centralisation dans gitlab AERIS pour intégration future des

branches « stations »• Rédaction de guides et tutoriels pour développement collaboratif

stations/labos• Soutien technique aux stations s’appropriant l’algo

Evolutions à venir :• Adaptation aux nouveaux instruments dans les stations• Production sur les nouveaux instruments

RH année écoulée :0,2 ETP

Site Début Fin

P2OA Lannemezan 01/01/2012 Fil de l’eau

P2OA Pic du Midi 01/07/2017 Fil de l’eau

CO-PDD 2015/12/01 Fil de l’eau

SIRTA 28/10/2008 24/6/2015

SIRTA-EKO 8/4/2015 Fil de l’eau

OHP Stand-by

actris.aeris-data.fr9

Les FILIÈRES

• LIDAR H2O OPAR, SIRTA, LOA, LAMP, OHP(Référents : V. Duflot, G. Payen, F. Gabarrot, CDS : R. Bodichon - AERIS)

• OPAR et OPGC : production automatique.• En cours : mise à jour logiciels Licorne (L0->L1)

et LidWVap (L1->L2)• Données fournies par les sites pour mettre au

point les fichiers de configuration de la filière pour les autres stations

• Base en cours de construction• Volumétrie mensuelle pour 5 stations : ≈ 5 Go, ≈

7500 fichiers (traités + produits)

• Couverture : 01/2016 - 12/2018 (OPAR)

Profils H2O

Profils Temp. • OHP (LIDAR LTA + LIDAR O3 strato), OPAR(Référents : A. Hauchecrone, F. Gabarrot, CDS : R. Bodichon -

AERIS)• Mise à jour de la version du code• Changement référent algorithmique, intégration à

Licorne et implémentation à AERIS -> échéance été 2019• Convergence de la gestion de la filière avec H2o ->

consolidation• Volumétrie mensuelle : ≈ 2 Go, ≈ 5000 fichiers (traités +

produits)• Couverture : 06/2016 - aujourd’hui (OPAR)

actris.aeris-data.fr10

Les FILIÈRES

Profils O3 strato.

• OHP (LIDAR DIAL)(Référents : S. Godin-Beekmann, G. Payen, CDS : R. Bodichon – AERIS)

• Couverture : 05/2016 – aujourd’hui (OHP)• MCO

Flux turbulentsEddy-pro

• SIRTA, P2OA, CNRM (Référents : J-C Dupont / F. Lohou / W. Maurel, M-A Drouin, CDS : R. Bodichon– AERIS)

• Intégration de l’historique et prolongation de l’archive

• Retraitement suite à mise à jour des codes, du format des NetCDF, et incidents infrastructure

• A venir modification des configurations• Aujourd’hui MCO• Volumétrie mensuelle 3 stations : ≈ 300 Mo, ≈

1000 fichiers (traités + produits)• Couverture : 01/2015 - aujourd’hui (P2OA),

01/2015 – aujourd’hui (CNRM), 04/2015 –aujourd’hui (SIRTA)

actris.aeris-data.fr11

Les FILIÈRES

Reobs • SIRTA, P2OA, COPDD, CABAUW (Référents : M. Chiriaco, J-C Dupont, Marie Lothon, Fabienne Lohou, Aurélie Colomb, Philippe Cacault, Solène Derrien, R. Guzman)

• Couverture : 2003-2017 (SIRTA)• Fichiers base multi paramètres long terme normalisé• Fin du contrat de J. Lopez. Nouveau contrat R. Guzman, IR calcul scientifique• Interface normalisée et réorganisation de l’ensemble des codes• Versionnement des filières (GIT)• Documentation de la production• En cours : standardisation et modernisation des codes• En cours : restructuration des outils de production• Début de construction des bases ReOBS P2OA, COPDD, CABAUW• Volumétrie : 53 Go de données produites, + de 20 filières, + 300 fichiers de codes• 2 fichiers distribués : sans profils lidar (1 Go) et avec profils lidar (2 Go)• Couverture : 2003 – 12/2017 (SIRTA)

Météo MF• SIRTA, P2OA, OPAR, COPDD, CNRM (Référents : J-C Dupont / F. Lohou / W. Maurel/V. Duflot,

M-A Drouin, CDS : R. Bodichon – AERIS)• Les données météo MF ont été corrompues lors du problème de la baie de disque qui

nous a touché en mars 2019. En cours de reconstruction pour le SIRTA et l'OPAR, les autres stations vont suivre P2OA/COPDD/Meteopole.

• Manque d’effectif pour avancer efficacement• Volumétrie mensuelle : ~ 50 Mo/an/station• Couverture : 1970 – 2019 (5 stations, SIRTA), 1998 – 2019 (10 stations, OPAR)

actris.aeris-data.fr12

C h a n t i e r s Tr a n s v e r s e s A E R I S

Chantiers communs aux 3 CDS qui gèrent la base de données Solutions utiles à tous les projets AERIS dont ceux d’ACTRIS-FR

C a t a l o g u e d e s

d o n n é e s

Thesaurus : vocabulaire pour la description des donnéesDéveloppement des outils web d’accès aux données pour ACTRIS-FRAlimentation du catalogue, outil de communication inter-CDS

G e s t i o n d e s

c o d e s

Service de gestion de codes (GIT)Début de l’intégration continue

D é v e l o p p e m e n t

W E BMise en commun des web-componentFormation des différents CDS

actris.aeris-data.fr13

L e s S E R V I C E S• Visualisation sol/sat orientée réseau/mono-site : Pinboardhttp://www.icare.univ-lille1.fr/browse/actris

Outil de colocalisation

et d'extraction

• Co-localisation sol-satellite et extraction des données au voisinage des stations ACTRIS

produitsatellitaire

Outil de Visualisation

période et site ou réseau ACTRIS

En support aux activités Cal/Valhttp://www.icare.univ-lille1.fr/extract

AERONET AOD

PAR

AS

OL

AO

D

match-up et

visualisation

• Visualisation synoptique des sites multi-instrumentés

• Découverte simplifiée des sites et des produits disponibles

• Intégration de l'imagerie satellitaire pour l'analyse contextuelle

actris.aeris-data.fr14

L e s S E R V I C E S

• Visualisation et prévision des passages satellite

Outil de commande de données

GEO

Outil de prédiction

d'orbite

• Service de commande de données GEO, subsetting géographique et reprojection à la demande

http://www.icare.univ-lille1.fr/extract/subset/order

http://www.icare.univ-lille1.fr/predictor

• Accès facile aux heures de passage au voisinage d'un site particulier

• Exemple: pour programmer les observations sol en coïncidence avec les passages des satellites

LongitudeLatitude

actris.aeris-data.fr15

L e s S E R V I C E S

Support aux soumissions ACTRIS-EU

• Interface centrale : Stations <-> CDS <-> EBAS• Implémentation des algorithmes standard ACTRIS-EU (corrections),• Développement des algorithmes de qualification automatique et

intégration de la qualification manuelle,• Formatage, qualification automatique, mise en œuvre de la soumission et

suivi,• Développement d’un outil de visualisation interactive NASA-AMES pour

aider à la validation,• 49 instruments pris en charge, d’autres sont annoncés

• RH année écoulée : 0,6 ETP

actris.aeris-data.fr16

LE SERVICE NDACC

• PI : F. Gheusi• 1 stations : OMP• Depuis 2004

Dobson

• 3 stations : OHP, La Réunion, Villeneuve d’Ascq

• PI : C. Brogniez• Depuis 1998

UV Spectro

Traitement/livraison au fil de l’eau ~10 Go d’archive ames ~400 fichiers/an >19858 chaînes 14 stations

MCO des codes de traitements Accès données : https://cds-espri.ipsl.fr/NDACC/

• 12 stations : OHP, La Réunion, DDU, Scorebysund, Sodankyla, Zhigansk, Salekhard, Tarawa, Bauru, Kerguelen, Rio Gallegos, Concordia

• PI : A. Pazmino, F. Goutail• Depuis 1988

SAOZ NO2/O3

• 3 stations : OHP, La Réunion, DDU• PI : G. Ancellet, S. Godin-Beekman,

F. Posny, J. Jumelet• Depuis 1991

ECC

• 3 stations : OHP, La Réunion, DDU• PI : S. Godin-Beekmann, T.

Portafaix, F. Cairo, M. Marchand• Depuis 1985

LIDAR O3 strato

• 1 station : OHP, La Réunion• PI : G. Ancellet• Depuis 1990

LIDAR O3 tropo

• 2 stations : OHP, La Réunion• PI : V. Duflot, P. Keckhut• Depuis 1990

LIDAR Temp.

• 2 stations : OHP, La Réunion

• PI : P. Keckhut, J. Jumelet, S. Khaykin

• Depuis 1989

LIDAR aérosols

actris.aeris-data.fr17

L a B A S E A C T R I S - F R e n C H I F F R E S

• Une dizaine de Sites Instrumentés principaux (OPAR, P2OA, COPDD,

OHP, SIRTA, LOA, OPE, DDU, MF, … ) . Environ 45 l ieux géographiques

• 170 instruments

• + 100 flux générés

• Plus d’une dizaine d’algorithmes de référence (Basic, Strat, Garr l ic

(Grasp), Basic -evolution , El i fan, vapeur eau IGN, prof i l H 2O, temp. et O 3 strato , Desman, Eddy pro, BSRN, … )

• Diffusion vers 7 bases ou réseaux internationaux (E-PROFILE

(EMETNET), EBAS, EARLINET, AERONET, NDACC , MWRNET, BSRN )

• + 350 produits ou paramètres (observations brutes ou produits dérivés issus des filières de traitement)

• ~ 20 millions de fichiers (+3 millions pour 2018)

• 6,5 Téra d’archive (+1 To pour 2018)

actris.aeris-data.fr18

CDS ICARE

• Ftp : ftp://ftp.icare.univ-lille1.fr/GROUND-BASED

• Http : http://www.icare.univ-lille1.fr/archive/index.php?dir=GROUND-BASED

• Serveur utilisateurs (autorisés) : ssh access.icare.univ-lille1.fr

• Interface de recherche : http://www.icare.univ-lille1.fr/atmos/search

A C C E S A U X D O N N É E S

Organisation identique

des archives

Convergence des règles d’organisation des archives des CDS ICARE et ESPRI…/(SITE|RESEAU)/(INSTRUMENT|ALGO|SITE)/(PRODUIT| PARAMETRE|ALGO|FAMILLE)[_NIV.VERSION]/YYYY[(/YYYY_MM|YYYY_MM_DD)]

A terme, quand le portail offrira la possibilité de télécharger les données, leur organisation dans les archives des CDS deviendra transparente à l’utilisateur.

CDS ESPRI

• Accès données NDACC : https://cds-espri.ipsl.fr/NDACC/• Accès aux autres données :

• ftp privé dédié PI (ftp.ipsl.fr, accès privé)• ftp public

19

PORTAIL d’ACCÈS À LA BASE ACTRIS-FR

actris.aeris-data.fr20

C a t a l o g u e s A E R I S

CDS

BDD

3042 fiches (mars 2019)Granularités variées

Catalogues

…

CDS

CDS

https://actris.aeris-data.fr/data

https://www.aeris-data.fr/catalogue

Téléchargement direct

Services à valeur ajoutée (quicklooks, calendrier de disponibilité, etc.)

Contact

Liens pour accéder à la donnée (HTTP, FTP, etc.)

Principe Général

Niveaux de fiches de

métadonnées

Eurochamp, GMOS…

actris.aeris-data.fr21

A p e r ç u

Ouverture officielle du portail le 31 octobre 2018

actris.aeris-data.fr22

D é v e l o p p e m e n t d u c a t a l o g u e

Correction de bugs et de problèmes d’ergonomie

Amélioration des critères de recherche

Mise en place de thesaurus

Travail éditorial important des CDS sur le contenu des fiches

Refactoring du code (recommandations du GT développeurs)

Réalisations(depuis 1 an)

ObjectifsAméliorer le portail (ergonomie, nouvelles fonctionnalités)

Poursuivre l’implémentation des principes FAIR

Préparer la construction de l’IR Data Terra

Actions 2019-2020

Mettre en place un système d’authentification

Revoir la présentation des fiches de métadonnées (et des landing pages des DOI)

Faciliter l’alimentation du catalogue (fiches, thesaurus)

Améliorer la recherche en liant les critères (facettes, complétion)

Système de notation des fiches Visibilité moindre si fiche moins remplie

Passer toutes les données en niveau 2 (téléchargement possible via le catalogue)

Permettre la citation des données téléchargées (génération automatique des DOI, stockage des requêtes)

Exporter les métadonnées vers différents standards (dont attributs de fichiers Netcdf)

actris.aeris-data.fr23

Po r t a i l d e d o n n é e s A C T R I S - F R

Migration du site web ACTRIS-FR vers AERIS (« usine à sites » Wordpress)

Portail de données intégré dans le site

https://www.actris.fr

24

SOUMISSION de PROJETS au POLE AERIS

actris.aeris-data.fr25

A p p e l s à p r o j e t

P r é p a r a t i o n

P R É PA R AT I O N d e l a d e m a n d e

C L Ô T U R E , P R O L O N G AT I O N

o u M C O

S U I V I d e l a r é a l i s a t i o n( A E R I S / P I )

S O U M I S S I O N

P h a s e s d ’ u n p r o j e t s o u m i s à A E R I S

• Objectif scientifique clair• Aval de la direction d’ACTRIS-FR• Algorithme de traitement mature• Evaluation des ressources apportées par le demandeur• Besoin technique bien défini• Contact possible avec AERIS/GTD en amont de la soumission

N a t u r e d e s

p r o j e t s

• Prise en charge d’un flux de données• Implémentation d’un algorithme de traitement de la

communauté ACTRIS-FR• Besoin transverse aux flux et filières de traitements• …

A n a l y s e s c i e n t i f i q u e e t t e c h n i q u e a v e c

l e p o r t e u r

I N S T R U C T I O Np a r l e C S

actris.aeris-data.fr26

I n s t r u c t i o n d e s p r o j e t s

Appel à Projet formulaire en lignehttps://www.aeris-data.fr/

Pour les

nouveaux

projets

• Appel à projet continu mais instruction des projets 3 fois par an, par le Conseil Scientifique

• Analyse technique par les CDS & Analyse scientifique par un rapporteur du CS

• Décision en CS / Bureau AERIS

Contacter directement les CDS ou F. Lohou pour évaluer si c’est nécessaire de passer par l’Appel à Projet

Pour les petits

projets ou

“amendement ”

Très peu de projets refusés jusqu’à maintenant.

actris.aeris-data.fr27

S u i v i d e s P r o j e t s

• PI scientifique• Personne en charge au CDS• Responsable suivi AERIS

• Réunion Kick-off

• Réunions de suivi

• Réunion Fin de projet

La fin d’un projet comprend la mise à disposition des données dans la base AERIS/ACTRIS-FR

Acteurs indispensables à toutes les étapes

• Récapituler objectifs• Calendrier/échéances • Mise en place du suivi

• Vérifier que les objectifs sont atteints• Mise en place du MCO

• Reporting multiples (interne projet, CD, …)

actris.aeris-data.fr28

L e s d e m a n d e s A C T R I S - F R e n c h i f f r e s

• 22 demandes ACTRIS-FR sur 9 vagues (dernière vague non présente)dont• 3 projets NDACC• 2 projets transverses (outil de validation, portail données)

• 19 projets en cours et 3 en MCO• Coût global ~ 3,5 etp/an

0

1

2

3

4

5

6

7

8

avant 2015 01/11/2015 01/01/2016 01/05/2016 01/11/2016 01/02/2017 01/03/2017 01/09/2017 01/02/2018 01/09/2018

No

mb

re d

e d

eman

des

Dates d'examination des demandes

Nombre de demandes ACTRIS-FR àAERIS

actris.aeris-data.fr29

Ta b l e a u d e b o r d d e s c h a n t i e r s A C T R I S - F R

• Suivi des chantiers ACTRIS-FR dans AERIS• Adresse web : https://docs.google.com/spreadsheets/d/1wkP3sjqTCO1mWRxt58ZdZUS1gwv13mKcHlSViJDDu3w/edit#gid=0

• 134 chantiers répertoriés

actris.aeris-data.fr30

R e s t i t u t i o n G T D / A E R I S

Les atel iers 4 sessions, 6 présentations

Outil de construction et de gestion de filières

Outil de référencement et de diffusion de jeux de données

Automatisation

Le temps réel

NetCDF et Python

La discussion

plénière

Le portail d’accès au métacatalogue

La charte de données

Différents circuits de production et diffusion de données

Respect des principes FAIR

Autres sujets

Les missions du GTD

Outil de validation en ligne

Page web GTD

Historique électronique de l’instrumentation d’un site

Un site web pour le GTD

Base de données de l’OHP

SCC

Outil d’exploration des données

actris.aeris-data.fr31

R e s t i t u t i o n G T D / A E R I S

• Des ateliers avec quels objectifs

• Nouveaux référents GD

• Encore du travail sur le portail

• Impact des CF ou TC

• Relancer le projet d’outil de validation en ligne

• Mieux formaliser les missions/le rôle du GTD

• Espace en ligne GTD (web)

Partage des connaissance, expertises et communication

Etat des lieux des travaux

Documents de référence

choix techniques, les recommandations

actris.aeris-data.fr32

FA I R

Dans le contexte de l'accessibilité de l'Internet, du Big data des données de la

recherche et des sciences ouvertes (Open science) et plus largement du partage

et l'ouverture des données, la notion de FAIR data (ou Fair data) recouvre les

manières de construire, stocker, présenter ou publier des données de manière à

permettre que la donnée soit « trouvable, accessible, interopérable et

réutilisable ».

Le mot Fair fait aussi référence au Fair use, fair trade, fair play, etc., il évoque un

comportement proactif et altruiste du producteur de données, qui cherche à les

rendre plus facilement trouvables et utilisables par tous, tout en facilitant en

aval le sourçage (éventuellement automatique) par l'utilisateur des données.

32