AMDAAMDA

Automated Multi Dataset Analysis

un outil du CDPPcdpp-amda.cesr.fr

Vincent Génot, C. Jacquey, E. Budnik, R. Hitier, M. Bouchemit, M. Gangloff, E. Pallier

Evolution du CDPP

Créé en 1998 par l’INSU et le CNES

Missions:- Archivage à long terme des données obtenues par des expériences à partcipation française- Valorisation des données, SVA (Services à Valeur Ajoutée)- Projets d’interopérabilité, Observatoires Virtuels

Juin 2005 >: extension des objectifs, accrétion E. Budnik et C. Jacquey- Mise à disposition de données “fraiches” (THEMIS, CLUSTER,..)- Mise à disposition à des données complémentaires- Développement d’outils en ligne génériques et automatisés- Animation et accueil scientifique autour de ses services

présentation K. Bocchialini

Plan de l’exposé

- motivation, génèse, objectifs du projet

- le coeur d’AMDA : paramètres et tables d’événements

- vers une insertion dans l’OV : connexion à des bases extérieures

- la science avec AMDA

Motivation / génèse du projet

- Initialement pensé pour valoriser les données du CDPP

- Une première phase : réutilisation de l’existant, test d’intégration

- Idée de l’espace de travail qui centralise toute la production de l’utilisateur

- Construit autour d’une base + outil de visualisation développé pour la mission magnétosphérique CLUSTER (DD-Cluster, interface web)

Développement :

- Principalement 2 développeurs “dans les murs” (IDL, C, Fortran, javascript)- 1ère version en quelques mois-Amélioration constante du prototype en relation avec les avis du Comité des Utilisateurs (CU) du CDPP

-Nouvelles fonctionnalités-Intégration de standards (SPASE)-Ouverture vers les VO

Spécificités / contraintes de la discipline

1/+ Les données archivées sont des scalaires, des vecteurs, des tenseurs, des spectres, ... ordonnés par le temps

- Il n’existe pas un format de données standard adopté par tous

2/+ Il existe une multitude de bases de données spécialisées

-Le travail scientifique requiert une confrontation des résultats de plusieurs instruments simultanément : études multi-échelles, en météorologie spatiale, héliophysique, planétologie comparée

Nécessité d’un outil intégré (gain de temps et d’énergie)

Nécessité d’un moyen de communiquer l’information (entre utilisateurs et entre bases)

End products : - simple browse- data download- generate and export time tables (and catalogues)- perform statistics- extract sub-databases

AMDA : Objectives

Ease manipulation of data from heterogeneous origins

PlotCombineSearch

MissionInstrument

Model

LocalRemote

User owned

1/ Activité

2/ Données

3/ Période temporelle

Débuter avec AMDA

4/ Transformations

Le paramètre :

Un paramètre est une série temporelle :- champ magnétique ou électrique- moment particule- indice- ...- une combinaison

valide sur un intervalle de temps

à une résolution temporelle donnée

utilisé pour :- la représentation visuelle- la recherche conditionnelle- le téléchargement, ...

17/11/199431/12/2005Sampling 4s

L’organisation en fichiers dans l’archiveest cachéée à l’utilisateur

Contruction d’un paramètre 1/2

clics

Résolution temporelle

Nom du paramètre

Description

nouveau paramètre dans l’espace de travail

Le nouveau paramètre est maintenant un élément virtuel de la base de données. Il sera calculé à la volée seulement quand il sera demandé pour un

tracé, une recherche conditionnelle, un téléchargement

Des paramètres de- différentes missions- différents instruments- avec différentes résolutionpeuvent être combinés

Contruction d’un paramètre 2/2

Base locale

Espace utilisateur

Les tables d’événements 1/2

-Les tables d’événements (time tables, event lists) sont une collection de temps quand quelque chose se passe ou d’intervalles quand une condition est vérifiée

-Elles sont produites et gérées “manuellement” par les scientifiques pour leur usage propre ou celui d’une communauté restreinte

-AMDA augmente les potentialités de ce vecteur d’information en offrant un outil générique pour créer, gérer et communiquer ces objets

Les tables d’événements peuvent être utilisées pour :- extraire une sous base de données,- exécuter des traitement massifs ou interactifs,- créer des catalogues,- servir de référence à la communauté

Créer une table d’événements : 1- Recherche conditionelle

Editer une condition avec des opérateurs/fonctions mathématiques

clicsT/T// > 1

Definir un intervallede temps

ou utiliser une autre table d’événements

Exemple: recherche des événements de courants de queue “encerclés” par CLUSTER

Test:• X1< -10 Re • BX1 * BX2 * BX3 * BX4 > 0• min([BX1 BX2 BX3 BX4]) < 0• max([BX1 BX2 BX3 BX4]) > 0

• position : dans la queue magnétosphérique• 2 satellites sont au dessus de la couche de courant et 2 autres en dessous

champmagnétique

champmagnétique

X coordinate

cf exposé de C. Jacquey

Créer une table d’événements : 2- Inspection visuelle

Les intervalles intéressants sont sélectionnés par clics et ajoutés à la table d’événements

The time table may be editedin the user workspace

Tables may be exported in

VOTable format

Time Table format

VOTable latest release: Version 1.1 - August 11, 2004

VO standard and as such supported by IVOA

VOTable is designed as a flexible storage and exchange format for tabular data, with particular emphasis on astronomical tables.

Complex tables (catalogues) may be produced with:- multiple time tags- associated parameters : average, max, min- localisation information- user supplied classification indices

Extension des tables d’événement : catalogue

Temps début Temps fin P1 : <Bmag>

P2 : <N> P3 : <user_param>

P4 :

User_class

P5 : temps

2008-01-29T

08:30:30

2008-01-29T

08:40:30

6. 12. 44. 2 2008-01-29T08:32:30

2008-01-29T

09:30:30

2008-01-29T

10:30:30

7. 10. 45. 1 2008-01-29T10:05:30

… … … … … … …

++

++

+++

+

+

++

+

++

+

+

++

+++

+P2

P1

P3

P1

++

+ + ++++

+++

Table d’événements Paramètres statistiques, classification, temps

Visualisation graphique :

Extension des tables d’événement : catalogue

Tables d’événements 2/2

- La description complète d’une table d’événements peut être compliquée-sources de données : origine, résolution, modes, ...-critères de sélection : mathématiques / visuels-paramétrage des méthodes utilisées (filtre temporel, modèles)-...

+ Les tables d’événements peuvent être un vecteur d’échanges entre centres de données et entre utilisateurs

- collaboration entre l’archive CLUSTER (CAA), CDPP et QSAS, CL- 1ère réunion : 25 et 26 février 2008- définition : time format (ISO), table format (VOTable)- mise en place d’outils de gestion des tables d’événements :

- union, intersection, extension, shift, upload- réflexion sur les catalogues

Service 1

Service 2

Magnetospheric data

Service 3

Solararchive

IonosphereThermosphere

archive

CDAWebCDPP CAAHR

archive 2

Time table- -- -- -

AMDA

What were the input conditions ?

What are the consequences ?

Time table circulation in a multi-archive environment

applying delay

QSAS

Commande de données directe à l’archive CLUSTER (CAA)

CAA : à terme, archive de toutes les données haute résolution de CLUSTER

Connexion à des bases externes

1. Lorsqu’une base est connectée à AMDA toutes les données de la base peuvent être visibles dans AMDA (FTP, WebService)

2. L’utilisateur définit le groupe de paramètres de la base externe qu’il veut analyser (Interface de construction d’arbre)

3. A la volée, les paramètres sont directement intégrés dans AMDA afin d’être manipulés comme des paramètres de la base locale

L’utilisateur peut se construire facilement sa base de données personnelle à partir de bases existantes

base 1

base 2base utilisateur

Interface de construction de l’arbre de données extérieures

Base externe Arbre des données choisies par l’utilisateur

- mise à jour quotidienne des données disponibles sur les bases distantes- pas de notion de fichier pour l’utilisateur- AMDA peut fonctionner sans base locale

intégration dans les Observatoires Virtuels

Arbre de données extérieures

Base locale

Extrait de la base externeLes paramètres sont disponibles pour des tracés, la recherche conditionnelle, ... à la volée, ce qui implique :-le téléchargement des données (par bloc de 3j min)-la transformation de format-la création du paramètre AMDA

Bases accessibles à travers AMDA

Actuellement :

- CDAWeb (multi-missions)- MAPSKP (Cassini: MAG/CAPS/RPWS/TRAJ, démonstrateur Europlanet)

Prochainement :

- Themis (base miroir au CESR)- Cluster Active Archive (CAA)- SKR (Cassini: RPWS/HFR)- Venus Express (champ magnétique)

Baselocale

AMDA

Système

Constructeur de param

ètres

CDAWeb

CDPP

MAPSKP

Connexion à des bases externes

Connecteur standardisé = méthodes de requête (SOAP) + description des données (SPASE, IVOA)

Connecteur « maison » others

Production scientifique avec AMDAAnalyses statistiques multi-missions

• Principe d’utilisation-Définition d’un critère sélectif sur les données

-Critère mathématique-Critère visuel

-Création de table d’événements-Itération avec combinaison possible de critères

-Extraction des données et travail hors-ligne

• Exemples-Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.)-The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al.)-Statistical study of Alfvénic fluctuations in the Earth magnetosheath (Alexandrova et al.)-Statistical study of mirror mode fluctuations in the Earth magnetosheath (Génot et al.)

• Collaborations- Visites scientifiques au CDPP- Organisation d’ateliers : - Themis (novembre 2007)

- magnétogaine (courant 2008)

Statistics of mirror mode events in the Earth’s magnetosheath

F=1

F=0

F=0

F=1

Relative number ofmirror mode events

Total number of 5 minmagnetosheath crossings

magnetopause

shock

Génot et al. 2008

Statistical study of Alfvénic fluctuations in the Earth magnetosheath

O. Alexandrova(1), E. Budnik(2), V. Génot(2),

C. Lacombe(1), C. Jacquey(2), I. Dandouras(2), E. Lucek(3)

(1)LESIA/CNRS, Observatoire de Paris, France

(2)CESR/CNRS, Toulouse, France (3)Imperial College, London, UK

EGU General AssemblyVienna, Austria, 15-20 April 2007

Condition = AB>1

magnetopause

shock

... other ways to make science with AMDA

1/ Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.) : - 25 years of data : ISEE, IMP, IRM, POLAR, GEOTAIL, WIND, ACE, CLUSTER- combined approach:

-automatic search = mathematical description of the temporal change in the AL index-semi automatic = visual inspection to classify cases in different catalogues

2/ The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al., 2006, ICS8)- define conditions : a lower threshold for the low frequency magnetic fluctuations and a minimal duration for each events- produce time tables accordingly- download a wide (resampled) dataset and work offline

Actions dans le cadre de Europlanet / FP6

Registry :

-Description SPASE of several planetary plasma data (MAPSKP, VEX, MEX)-Building a registry-Building a search engine-Goals: demonstration and experimentation (standard versus user requirements, SPASE extensions, …)

Démonstrateur scientifique:

-Based on AMDA-Using distant data (MAPSKP, VEX-MAG, HST) and local data-High level tools and functionalities-Goals: demonstration and experimentation

AMDA est un outil au service de la communauté

vos commentaires, critiques et contributions sont les bienvenus ... ... et même nécessaires !

- amda@cesr.fr- forum (lien “feedback” à partir de l’interface web)- twiki (contributions aux nouvelles fonctionnalités par ex.)- contact avec le CU (présidé par J.L. Pinçon)

permet de définir les priorités de développement scientifique en accord avec le CU en interne, permet de définir les évolutions d’architecture nécessaire

Démonstration d’AMDA à la session poster

- Si le réseau fonctionne- Si tout le monde n’est pas connecté en même temps !

cdpp-amda.cesr.fr

...

Application du démonstrateur sur le cas scientifique“Solar wind / saturn magnetosphere interaction and auroras”

Prototype de ‘Registry’Recherche de la localisation de la resource

(MAPSKP, HST aurora, VEX, ACE)

Access, extraction of the targeted data (distant or local)

Integrated analysis

user

MAPSKP

Base locale

VEX-MAGGraz

HST

Request

AMDA/Planéto

AMDA-NG

AMDA “refactoring”ModularisationDocumentationFiabilisationFonctionnement “universel” (indépendent de la plate-forme, de l‘OS, du navigateur, …)

Mise en place de nouvelles fonctions Fonctions temporelles Time-Table Manager Fonctions physiques…

Développement des capacités d’interopérabilité d’AMDA SPASE-based connector IVOA-based connector Time-Table exchange

Architecture d’AMDA

Contexte national

- Mission du CDPP : valoriser les données de missions satellites françaises ou à participation française dans le domaine de la physique des plasmas

- Pour dynamiser l’utilisation du centre : nécessité de dépasser le cadre de la “simple” archive

développement d’un outil au service de la communauté

Contexte international

- Les observatoires virtuels en physique spatiale sont balbutiants

- Implication du CDPP dès l’origine dans la mise au point de standard (modèle de données SPASE)

- Implication dans Europlanet

“On peut se mettre dans la course”

http://vspo.gsfc.nasa.gov/websearch/dispatcher

An example of registry for space physics: VSPO