Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM....

25
July 3, 2022 Structure des tables de la HDB – Outil de gestion de l’archivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. Réunion ESRF/Soleil Archivage des « données machine »

Transcript of Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM....

Page 1: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Réunion ESRF/Soleil

Archivage des « données machine »

Page 2: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Plan de la présentation

• La base de donnée historique (HDB)• Les outils d’archivage• Démo ?

• Choisir un SGBD

• Les « SnapShots »• Un nouvel item: l’archivage intermédiaire

• Rendez vous à Grenoble…

Page 3: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

La base de donnée historique (HDB)

• Nouvelles…

– Test sous Windows : OK– Migration et tests sous Linux : OK

– Scripts d’initialisation de la base testés– Procédures stockées réalisées & testées

(exemple : créations de tables, …)

Page 4: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les outils d’archivage

• L’API d’accès à HDB– Routines de connection– Routines d’insertion (écriture)– Routines d’extraction (lecture)

• Support de l’API par les Devices déjà créés– Device « Dhdb »– Device « Hdbtc »– Device « Extractor »

Page 5: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les outils d’archivages

• L’outil de pilotage (HdbManager)– On ne choisit plus de cible !!– Sélection multiple– Correction de Bugs :

Problème de PATH vers le fichier XML

• Évolutions :– Interface – Gestion et archivage des erreurs…

Page 6: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Démo ??

• Database

• IHM– HdbManager

• Devices – Dbt– DataColector– Hdbtc– Dhdb– Extractor

– DeviceMouse– DeviceMultimètr

e

Page 7: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Choisir un SGBD

• 2 alternatives :– –

• 1 impératif :– L’avancée des projets

Page 8: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Choisir un SGBD

• 1 approche :

– Choix d’Oracle pour base de travail.

– Support de la solution PostGreSQL dans les outils liés à l’archivage.

Page 9: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

– OS supportés:• Linux

– Payant ? : NON

Choisir un SGBD

– OS supportés:• Linux• Windows• Solaris

– Payant ? : OUI

• Tour d’horizon :

Page 10: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Choisir un SGBD

– Possible jusqu’à quasiment l’instant du crash

• Aspect Sécurité :récupération de données en cas de crash

Page 11: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Choisir un SGBD

– Support Oracle très efficace

• Aspect Support :Recours extérieur en cas de problème

Page 12: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

– C’est pas encore ça !!

Choisir un SGBD

– Ça se trouve …

• Aspect Compétences :« Les spécialistes courent les rues !!! »

Page 13: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Choisir un SGBD

– C’est un pléonasme !!

• Aspect Stabilité :« Capacité à ne jamais se retrouver dans les »

Page 14: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

• Structures orientées objet • Procédures stockées

(attention aux langages supportés)

• Triggers, contraintes

Choisir un SGBD

• Aspect Techniques :

Page 15: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

– Respect de la casse– Pas de type number générique– Création de type : Syntaxe Complexe

– Architecture : Non maîtrisée à ce jour– Performances : Non maîtrisée à ce jour

Choisir un SGBD

• Aspect Techniques :

Page 16: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Choisir un SGBD

• Conclusion :

HDB HDB

Page 17: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• Intérêt

• Fonctionnement

• La table « SnapShot »

• Questions

Page 18: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• Intérêt

– Enregistrer les valeurs d’une collection d’attribut, à un instant t donné.

– Garder une trace de l’état de la machine (à un instant t donné)

– Réutilisation au niveau des expériences

Page 19: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• Fonctionnement Attributs de la Machine

SnapShotsManager

(User)

SnapShotsCollector

DSnapHDB

Page 20: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• La table « SnapShot »

Solutions envisagées :• 1 attribut 1 table

– si statique : gaspillage– si dynamique : perte de temps

• 1 attribut 1 champs– Impossible pour Oracle

• 1 type d’attributs 1 champs– Solution choisie

Page 21: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• La table « Context » :

– Champs stockant des types simples

• ID : identifiant désignant le contexte• name : nom du contexte• author : auteur du snapshot• description : description du snapshot

Page 22: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• La table « SnapShot » : – Champs stockant des vecteurs d’objets

• id :• time :• context :• sc_r_num_val : scalar, read, number• sc_r_str_val : scalar, read, string• sc_rw_num_val : scalar, read/write, number• sc_rw_str_val : scalar, read/write, string• sp_r_num_val : spectrum, read, number• sp_r_str_val : spectrum, read, string• sp_rw_num_val : spectrum, read/write, number

Page 23: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Les « SnapShots »

• La table « SnapShot » : – Exemple d’objets : tsp_rw_num

• id : number• read_value : vecteur de nombre• write_value : vecteur de nombre

Page 24: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Un nouvel item: l’archivage intermédiaire

• Caractéristiques : – Localisation : Salle de contrôle– Fréquence maximale : 10 Hertz – Durée de stockage : entre 1 et 10 heures– Destinée des donnée :

• Effacement• Transfert vers la HDB

Page 25: Structure des tables de la HDB – Outil de gestion de larchivage Groupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo. 26 janvier 2014 Réunion ESRF/Soleil.

April 11, 2023Structure des tables de la HDB – Outil de gestion de l’archivageGroupe Bases de Données : JM. Rochat – J.Guyot – J.Chinkumo.

Rendez vous à Grenoble……

• Dates : – 13 et 14 Mai 2003

• But :– Mise en place d’une base test « HDB »– Installation des outils liés à l’archivage

– Tester les outils et la structure d’archivage