Introduction de données MTR-THEMIS dépouillées

dans le catalogue BASS2000

Nadège Meunier

Atelier MTR, 17 janvier 2006, Tarbes

Plan Objectifs et historique Etapes à suivre Spécificités traitement de routine

(homogénéité du dépouillement) Exemple du DPSM Niveaux de traitement Automatisations Informations sur les données Calendrier

Objectifs et historique Objectifs (Attirer le maximum d’utilisateurs)

Traiter le maximum de données Rendre disponible le maximum d’informations permettant à

l’utilisateur de juger le résultat Avoir 1 (ou 2 maxi) modes de traitement standard, pas plus

: les utilisateurs doivent pouvoir savoir comment les données ont été dépouillées

Historique (du point de vue de BASS2000) Automne 2003 : Cahier des charges présentées au CS-

BASS2000 automne 2003 (proposition de niveaux de traitement pour les modes MTR et DPSM)

2004 : développement du logiciel intégration nécessaires et tables (MTR+DPSM), nouvelles pages de requête

Fin 2004 – début 2005 : développement interface lancement du code DPSM ; tests robustesse du code P. Mein et itération avec lui

Printemps 2004 : Echanges avec Alberto et Arturo pour le dépouillement MTR

Mi-2005 : début du dépouillement DPSM en routine (continue…)Comme pour les données brutes : fits hors ligne ; jpeg attrayants en ligne ; délai d’1 an après les observations pour la diffusion des fits

Définition des niveaux de dépouillement (hors-ligne et en ligne), organisation du dépouillement

Besoins d’informations sur les données Choix du code de traitement Figer les choix !!! (conditions, niveaux hors ligne et

en ligne) Développement d’un code interface BASS2000

(gestion des fichiers, automatisations diverses, formatage, fichiers annexes)

Tests (robustesse) sur jeu de données « limité » Sélection de données ? Traitement par run complet

? Dépouillement + vérification (manuelle !) Sauvegarde, intégration dans le catalogue

Etapes de la mise en place du dépouillement à BASS2000

Niveaux de données Brutes (MTR, DPSM) « Spectres propres »=calibrés, recentrés, autres ?

(MTR) ; i.e. juste avant calcul paramètre de Stokes

Paramètres de Stokes (MTR, DPSM), sans moyenner le long de la fente

Cartes de B//, V//, I (MTR, DPSM) éventuellement à différentes positions dans la raie

Cartes de vecteur B (MTR) Extrapolation : lien vers FROMAGE uniquement

(mention de l’existence d’une extrapolation)

Fichiers hors ligneFITS

Fichiers en ligneJPEG (sélection)

PROCHIST

Homogénéité du dépouillement

Pas de dépouillement par l’observateurmais voir prop. V. Bommier : lien vers pages

personnelles, ou stockage à bass2000 qui peut héberger des pages

Attention au dépouillement partagé BASS2000 / THEMIS Accord avant acceptation de données dans

le catalogue (code final, définition des sorties, formatage, …)

Il faut travailler ensemble

• Attention à l’évolution du code au cours du temps

Dépouillement DPSM Visite P. Mein octobre 2004 Objectif : dépouillement par BASS2000,

intégration dans le catalogue, avec le moins d’interventions manuelles possibles + homogénéité

Choix des options de dépouillement Un seul mode standard (mais variation du code /année) Profils de Stokes (I, Q, U, V) sur 17 points dans la raie Cartes B//, V//, I : positionnement bissecteur à 2Δλ, 4Δλ,

somme et différence bleu-rouge à 3Δλ (selon la longueur d’onde)

2 niveaux sauvegardés : avant et après recentrage λ Informations complémentaires (cospatialité) Choix des images en ligne : variable selon λ, année (liée

à qualité des données de facto)

Le code de base Fonctionnement du code de P. Mein

Un fichier sequence.par : une ligne par séquence et λFichiers de paramètres (modifiables manuellement)Lancement d’un routine idl / appel du code fortranFichiers sorties format « maison »

Test intensif du code à BASS2000 sur données 2004 puis 2003

Objectif : Identification des principaux problèmes Identification des limitations

Modification du code fortran par P. Mein pour les résoudre automatiquement quand c’est possible

Modification du code idl (appel du code fortran) pour éviter les interruptions (exemple : gestion mauvais naxis3)

Remarque : Vérification manuelle du sens des balayages et du signe B avec MDI (dû à problème de formatage) ; trop difficile, trop long dans certains cas donc à la charge des utilisateurs !

Réalisation d’un module pour automatiser le traitement (gestion des fichiers)

Fabrication automatique des fichiers de lancement sequence.par (1 par journée) à partir du listing d’un répertoire et de la lecture des entêtes (choix des calibrations) ; 2 versions (2004 et 2000-2003)

Lancement possible sur le DLT complet

Formatage des fichiers en sortieAjout de mots-clés spécifiques au dépouillement (pour

catalogue ou information) Unités standards (m/s, gauss) Création des jpeg, fits Création des fichiers html (imagettes quicklook) et

historique du traitement (fichiers de paramètre, sorties importantes) : en ligne ; fichiers fits : hors ligne

Interfaces BASS2000

Bilan dépouillement DPSM Vérifications manuelle, itérations avec Pierre Années dépouillées : 3 ans

2004 : 6 runs, 296 (280) séquences ; 130 ok (sans compter run Chambe, pas reçu) 44%

2003 : 4 runs, 170 (155) séquences ; 17 ok pour les 2 raies & 33 ok 1 raie seulement (inclus mauvais seeing et nuages non incluses dans le catalogue)22%

2002 : 5 runs, 169 (153) séquences ; 48 ok ; 31% Principaux problèmes

Scans exotiques (protubérances, mauvais mots-clés de balayage)

Mauvais nom de fichiers Mauvaises données (niveau I faible / DC, problème de mot-

clé configuration polar) Calibration, géométrie Interruptions du code

Futur : il reste à traiter 2000, 2001, 2005

Niveaux de traitement FITS (défini dans le cahier des charges) :

Spectres « propres » Profils de Stokes Cartes B//, V//, I Cartes vecteur B etc.

JPEG en ligne extrait des profils de Stokes ? À définir (cf DPSM) Cartes B//, V//, I Cartes vecteur B Autre ?

PROCHIST en ligne jpeg flat field Info co-spatialité Autre ?

Selon le type d’observation, niveau de traitement final différent ?

Effet Zeeman : spectres propres, paramètres de Stokes, cartes de V//, V//, I, vecteur B

Effet Hanle : spectres propres, paramètres de Stokes (sans moyenner / fente ?)

Comment faire la différence a priori ? Suggestions bienvenues …

Dans un domaine spectral : plusieurs raies en général. Quel traitement ?

Toujours une raie ou plusieurs quand c’est possible ? Choix automatique possible ? Examen manuel par run ? Liste de raies … Archivage de ces longueurs d’onde ? Garder la longueur

d’onde du domaine spectral pour la requête : est-ce suffisant ?

Besoin de la demande de temps du PI pour passer moins de temps à faire ces choix ?

Mais pas si simple ?

Automatisations Autant de choses que possibles doivent être

automatisé Tout ce qui reste manuel : doit être limité et

en début de run, si possible pour un run ou un grand nombre de séquences en même temps

Liste (non exhaustive) montrée à Nice en mai 2005 + message juin Que reste-t-il à automatiser dans le code

d’Alberto? L’automatisation inclus :

sélection des fichiers de calibration prise en compte d’infos absentes du header pour

les données < 2004 C’est différent d’utiliser un code à BASS2000

et par un autre utilisateur

Automatisations nécessaires (non exhaustif !)

• Détection mauvaises images (sauts)• Détections mauvaises images dans les flats fields • Détection des mauvais darks• Elimination des bords noirs / optimisation• Détection et correction mauvais naxis3 (trop grands, trop petits)• Recherche auto des flats + darks, adaptation à diverses

procédures observationnelles (pas pris en compte dans le daily report)

• Extraction des paramètres de Stokes avec correction crosstalks Demande historique configuration instrumentales : position des lames polarimètre, voie haute / basse pour la période 1999-2003

• Détection mauvaises lignes• Taille pixel (spatial, spectral)• Fabrication / mise à jour info html (visu) + historique traitement• Formatage spécifique (ajout de mots-clés, modif PHYSPARA)• Correction des franges ?• Niveau de traitement : correction grandissement / focus ?• Choix des positions de continus et raies pour les calculs de

courbures de raies et de recentrage : manuel ? • Choix des raies pour le calcul des cartes B//, V//• Niveau de traitement variable selon l’observation ?

Discussions mai / Nice

Niveau de dépouillement automatisations définition jpeg en ligne Diffusion de code Informations pour le traitement

Informations sur les données

Manque d’information sur les conditions d’observation Configuration, position des lames polarimètre (<2004) Conditions atmosphériques et techniques (sélection de

séquence, élimination de séquences complètement mauvaises)

Manque d’information sur les calibrations (type co-spatialité, que sont les fichiers c3)

Les rapports quotidien ne contienne pas les informations nécessaires (et rapport de mission jamais envoyé à BASS2000)

Autres ?

Calendrier Choix du code développé à THEMIS : bien

avancé, utilisé en quicklook au télescope Echanges THEMIS – BASS2000 nécessaires :

AutomatisationsFiger les choix en terme de fichiers de sortie

PUIS Développement des interfaces possible à

BASS2000dérivé de l’interface DPSMAjout des spécificités

Tests de robustesse Mise en route du dépouillement avant fin

2006? données 2004+ dans un premier tempsDonnées anciennes si infos disponibles