1
Survol du Stockage et de l’Indexage
Chapitres 9-12
2
Données sur Stockage Externe Disques: Peuvent puiser des pages au hasard à un
coût fixe Cependant la lecture de plusieurs pages consécutives est
moins coûteuse que une lecture dans un ordre aléatoire Bandes magnétiques: Peuvent ne lire les pages que
séquentiellement Moins coûteux que les disques; utilisées pour archivage
Gestion des fichiers: Méthode pour arranger un fichier d’enregistrements sur stockage externe. Fichiers de données: structure pour entreposage des
données d’une organisation.• Identité d’enregistrement (‘’Record id’’ -- rid): suffisant pour
localiser physiquement l’enregistrement Fichiers d’indexes: structures de données permettant de
trouver les identités des enregistrements à partir des valeurs des clés de recherche
3
Organisation des Fichiers
Plusieurs alternatives existent, chacune étant idéale pour certaines situations, et pas pour d’autres: Tas (‘’Heap files’’): Adapté au scannage de tous les
enregistrements. Fichiers triés: Adapté aux situations où les
enregistrements doivent être puisés dans un certain ordre, ou lorsque une plage (‘’range’’) d’enregistrements est requis.
Indexes: Structures des données en forme d’arbres ou de hachage pour organiser les enregistrements.
• Comme les fichiers triés, ils accélèrent les recherches pour un sous ensemble d’enregistrements sur base des valeurs des clés.
• Les modifications sont plus rapides que dans les fichiers triés.
4
Composantes d’un Disque
Plateaux
Les plateaux tournent (90tps).
Axe
Le bras est déplacé (par un contrôleur) pour positionner une tête de lecture/écriture sur la piste désirée. Les pistes sous les têtes de lecture forment un cylindre.
Tête
Mouvement du bras
Assemblage du bras
Une seule tête de lecture lit/écrit à la fois.
Pistes
Secteur
La taille de bloc est un multiple de la taille du secteur (qui est fixe).
5
Accès à une Page de Disque Le temps d’accès à un bloc de disque est fait de:
‘’seek time’’ (déplacement du bras pour positionner la tête de lecture/écriture sur une piste)
‘’rotational delay’’ (temps d’attente pour que le bloc tourne sous la tête de lecture/écriture)
‘’transfer time’’ (temps de transfert des données vers/de la surface du disque)
Le temps de recherche (‘’seek time’’) et le délai de rotation (‘’rotational delay’’) dominent. Le temps de recherche varie d’environ 1 à 20msec Le délai de rotation varie de 0 à 10msec Le taux de transfert est d’environ 1msec par page de 4KB
Elément crucial des coûts I/O: réduire les délais de recherche et de rotation! Solutions hardware vs. software?
6
Arrangements des Pages sur Disque
Concept de bloc `suivant’ (‘Next’): blocs sur la même piste, suivi des blocs sur le même cylindre, suivi des blocs sur le cylindre adjacent
Les blocs dans un fichier devraient être arrangés séquentiellement sur disque (suivant le concept de `suivant’) afin de minimaliser le délai de recherche et de rotation.
Pour un scannage séquentiel, une prélecture de plusieurs pages à la fois est un grand gain!
7
Gestion de l’Espace Disque La couche la plus basse du SGBD gère
l’espace sur disque. Les couches plus élevées font appel à
cette couche la plus basse afin de: Affecter/désaffecter de l’espace mémoire Lire/écrire sur une page
La requête pour une séquence de pages doit être satisfaite par l’allocation de pages de manière séquentielle sur le disque! La gestion des espaces libres est transparente aux couches supérieures du SGBD.
8
Gestion des Mémoires Tampon
Les données doivent être ramenées dans le RAM afin que le SGBD opère sur elles! Le système maintient une table de paires <frame#, pageid>.
DB
MEMOIRE PRINCIPALE
DISQUE
Page de disque
Cadre libre
Requête de page d’un niveau plus élevé
BUFFER POOL
Le choix d’un cadre à remplacer lorsque la réserve est pleine est régi par une police de remplacement
9
Procédure en Cas de Requête pour une Page Le manager maintient 2 variables:
pin_count: # d’utilisateurs courants (ne remplacer une page que si cette variable = 0).
dirty: page modifiée? Si la page requise est dans la réserve, incrémenter le
pin_count. Sinon:
Choisir un cadre pour remplacement selon une police (LRU, MRU, …)
Si le cadre est sale (‘’dirty’’), l’écrire sur disque Lire la page requise dans le cadre choisi Incrémenter le pin_count de la page et retourner son adresse.
Si les requêtes peuvent être prédîtes (p.ex. dans le scannage séquentiel), plusieurs pages peuvent être prélues à la fois!
10
Formats d’Enregistrements: Longueur Fixe
L’info sur les champs des enregistrements est la même pour tout le fichier et est stockée dans les catalogues du système.
Trouver le i-ème champ requiert un scannage de tout l’enregistrement.
Adresse de base (B)
L1 L2 L3 L4
F1 F2 F3 F4
Adresse = B+L1+L2
11
Formats d’Enregistrements: Longueur Variable Deux alternatives au moins existent (#
champs fixe):
Le second format offre un accès direct aux champs ainsi qu’un stockage efficient. Il implémente bien les ‘’nulls’’ (valeurs ‘’inconnues’’).
4 $ $ $ $
Compteur du# champs
Champs délimités par des symboles spéciaux
F1 F2 F3 F4
F1 F2 F3 F4
Liste de déplacements (‘’offsets’’) des champs
12
Format des Pages: Enreg.’s à Longueur Fixe
Record id = <page id, slot #>. Dans la première alternative, mouvoir les enreg.’s pour la gestion des espaces vides change les rids; n’est donc pas acceptable dans bien des cas !
Tranche 1Tranche 2
Tranche N
. . . . . .
N M10. . .
M ... 3 2 1PACKED UNPACKED, BITMAP
Tranche 1Tranche 2
Tranche N
Espacelibre
Tranche M
11
nombre d’enreg.’s
nombrede tranches
13
Format des Pages: Enreg.’s à Longueur Variable
On peut mouvoir les enreg.’s sur une page sans devoir changer les rids; d’où ce format est aussi attractif pour les enreg.’s à longueur fixe.
Page iRid = (i,N)
Rid = (i,2)
Rid = (i,1)
Pointeurvers le débutde l’espace libreREPERTOIRE DES TRANCHES
N . . . 2 120 16 24 N
# slots
14
Fichiers d’Enregistrements Les pages ou blocs sont la mesure de l’I/O, mais
les couches plus élevées du SGBD opèrent sur les enregistrements, et utilisent des fichiers d’enregistrements.
FICHIER: Collection de pages, chacune contenant une collection d’enregistrements. Doit supporter: insertion/effacement/modification des enregistrements lecture d’un enregistrement particulier (spécifié par son
record id -- rid) scannage de tous les enregistrements
15
Implémentation du ‘’Heap File’’ Comme Liste
Le SGBD retient l’adresse de l’endroit où est stockée la première page d’un fichier à un endroit bien spécifique sur disque.
Chaque page contient 2 pointeurs ainsi que des données.
Page de tête
Page de données
Page dedonnées
Page de données
Page de données
Page de données
Page dedonnées Pages avec
espace libre
Pages pleines
16
‘’Heap File’’ Utilisant une Page Répertoire
L’entrée d’une page peut inclure le nombre d’octets qui sont libres sur cette page.
Le répertoire est une collection de pages pouvant être organisée comme une liste. Beaucoup moins d’espace utilisé que dans la
première méthode!
Page de données
Page de données
Page dedonnées
Page de tête
REPERTOIRE
17
Catalogues du Système Pour chaque index:
Indique la structure (p.ex. B+) et les champs de la clé de recherche
Pour chaque relation: nom, nom de fichier, structure du fichier (p.ex.,
‘’Heap file’’) nom et type de chaque attribut nom de chaque index sur la relation contraintes d’intégrité
Pour chaque vue: nom et définition
Statistiques, autorisations, taille du ‘’buffer pool’’, etc. Les catalogues sont stockés comme des relations!
18
Indexes Un index sur un fichier accélère les sélections
sur les clés de recherche pour cet index. Tout sous-ensemble des attributs d’une relation peut
servir de clé pour un index sur cette relation. Une clé de recherche n’est pas la même chose qu’une
clé au sens d’ensemble minimal d’attributs qui identifie de manière unique un enregistrement de la relation.
Un index contient une collection d’entrées des données et permet de puiser de manière efficiente toutes les entrées des données k* en utilisant une valeur de clé k.
19
Entrées des Données k* dans un Index
Trois alternatives: une entrée des données peut être un enregistrement de données avec une valeur de clé
k une paire <k, rid> une paire <k, liste de rids>
Le choix d’une des alternatives dépend de la technique d’indexage utilisée pour localiser les entrées des données ayant une valeur de clé k. Exemples de techniques d’indexage: Arbres B+,
hachage Typiquement, un index contient de l’information qui
oriente les recherches vers les entrées des données désirées.
20
Entrées des Données k* dans un Index (Suite)
Les pages feuilles contiennent les entrées des données et sont chaînées. Les pages internes contiennent les entrées de l’index et dirigent la recherche.
Pages
internes
feuilles
pages
21
Classification des Indexes Hachage versus Arbres: Selon que la structure de
recherche est en forme de table à hachage ou en forme d’arbre.
Primaire vs. secondaire: Selon que la clé de recherche contient la clé primaire ou pas, on a un index primaire ou secondaire. Index unique: La clé de recherche contient une
candidate clé. Groupé vs. nongroupé (‘’Clustered’’
vs.’’unclustered’’): Si l’ordre des enregistrements des données est le même que ou proche de celui des entrées des données, alors l’index est groupé; sinon il est nongroupé.
22
Indexes à Arbres
Les indexes à arbres supportent à la fois la recherche des plages de valeurs (‘’range search’’) ainsi que les recherches d’egalités (‘’equality search’’).
ISAM: structure statique; B+ tree: dynamique, s’ajuste gracieusement aux insertions et effacements.
Indexes à Hachage : meilleurs pour les recherches d’égalité; ne peuvent supporter les recherches des valeurs des plages.
23
ISAM
Le fichier d’indexes peut être très large. On peut cependant appliquer l’idée de fichier d’indexes de manière répétée!
Les pages feuilles contiennent les entrées des données.
P0
K1 P
1K 2 P
2K m
P m
Entrée d’index
Pages
internes
feuilles
Page de débordement
Pages primaires
Pages
24
ISAM (Suite) Création du fichier: les feuilles (pages de
données) sont allouées séquentiellement et triées selon la clé de recherche; ensuite les pages de débordement sont crées.
Entrées d’indexes: <valeur de la clé, page id>; orientent la recherche vers les entrées de données se trouvant dans les pages feuilles.
Recherche: Commence à la racine; compare des clés pour aller vers la feuille appropriée. Coût log F N ; F = # entrées/pg index, N = # feuilles
Insertion: Trouver la feuille à la quelle appartient l’entrée de donnée et l’y mettre.
Effacement: Trouver et enlever l’entrée de la feuille; désaffecter une page de débordement vide. Structure statique: les changements n’affectent que les feuilles.
Pages de données
Pages des indexes
Pages de débordement
25
Arbre B+: L’Index le plus Usuel Insertion/effacement avec coût log F N; Garde la
hauteur balancée. (F = ‘’fanout’’, N = # feuilles) Taux d’occupation minimum de 50%(sauf pour la
racine). Chaque nœud contient d <= m <= 2d entrées. Le paramètre d est appelé l’ordre de l’arbre.
Supporte efficacement les recherches des plages de valeurs et les recherches d’égalités.
Entrées de l’index
Entrées de données("Sequence set")
(orientent la recherche)
26
Exemple d’Arbre B+ La recherche commence à la racine et les
comparaisons des clés l’orientent vers une page (similaire à la méthode ISAM).
Recherchez 5*, 15*, …, toutes entrées de données >= 24* ...
Racine
17 24 30
2* 3* 5* 7* 14* 16* 19* 20* 22* 24* 27* 29* 33* 34* 38* 39*
13
27
Arbre B+ en Pratique Ordre typique: 100. Remplissage typique: 67%.
Sortance (‘’fanout’’) moyenne = 133 Capacités typiques:
Hauteur 4: 1334 = 312,900,700 enreg.’s Hauteur 3: 1333 = 2,352,637 enreg.’s
Les niveaux supérieurs de l’arbre peuvent souvent tenir en mémoire principale (‘’buffer pool’’): Niveau 1 = 1 page = 8 Kbytes Niveau 2 = 133 pages = 1 Mbyte Niveau 3 = 17,689 pages = 133 MBytes
28
Insertion d’une Entrée de Données Trouver la feuille appropriée L. Mettre l’entrée de données dans L.
Si L a assez d’espace, fin! Sinon, on doit partager L (en L et un nouveau nœud L2)
• Redistribuer les entrées de manière égale, copier la clé du milieu vers le haut.
• Insérer l’entrée d’index pointant vers L2 dans le parent de L.
Ceci peut arriver de manière récursive Pour partager nœud d’index, redistribuer les entrées de
manière égale, mais pousser la clé du milieu vers le haut. (Contrastez ceci avec le partage des feuilles !!)
Les partages font croître l’arbre; le partage de la racine augmente sa hauteur. Croissance de l’arbre: devient plus large ou d’ un niveau
plus élevé à la racine.
29
Chargement en Vrac d’un Arbre B+
Si l’on a une large collection d’enreg.’s et que l’on veut créer un indexe à arbre B+ avec une clé donnée, le faire enregistrement par enregistrement est très inefficace.
Solution: ‘’Bulk Loading’’ (chargement en vrac). Initialisation:
Trier toutes les entrées de données et les diviser en page;
créer une page racine vide; et insérer un pointeur de la racine vers la 1ère page des
données.
3* 4* 6* 9* 10* 11* 12* 13* 20* 22* 23* 31* 35* 36* 38* 41* 44*
Pages d’entrées de données triées; non encore mises dans l’arbre B+
Racine
30
Chargement en Vrac (Suite) Les entrées d’index
pour les feuilles sont toujours créées dans la page d’index la plus à droite située juste au dessus du niveau des feuilles. Si cette dernière est pleine, elle est partagée. (Ce processus peut se répéter récursivement
3* 4* 6* 9* 10*11* 12*13* 20*22* 23* 31* 35*36* 38*41* 44*
Racine
Pages de données
à mettre sur l’arbre3523126
10 20
3* 4* 6* 9* 10* 11* 12*13* 20*22* 23* 31* 35*36* 38*41* 44*
6
Racine
10
12 23
20
35
38
31
Indexes à Hachage
Bon pour les sélections d’égalité.• L’index est une collection de
compartiments (‘buckets’). Bucket = page domiciliaire plus zéro ou plus des pages de dépassement.
• Fonction de hachage h: h(r) = bucket auquel l’enregistrement r appartient. h utilise la clé de recherche de r.
Si l’alternative 1 est utilisé, les buckets contiennent les enregistrements des données; sinon, ils contiennent des pairs <key, rid> ou <key, rid-list>.
32
Hachage Statique Pages primaires en nombre fixe et
affectées séquentiellement; jamais désaffectées; pages de débordement si nécessaire.
h(k) mod M = bucket où mettre l’entrée des données dont la clé est k. (M = # de buckets)
h(key) mod N
hkey
Pages (bucket) primaires
Pages de débordement
20
N-1
33
Hachage Statique (Suite) Les buckets contiennent les entrées des
données. La fonction de hachage utilise le champ de la
clé de recherche de l’enregistrement r. Les valeurs des clés doivent être distribuées sur une plage allant de 0 à M-1. Les fonctions de hachage ont été
abondamment étudiées. Défaut: possible développement de longues
chaînes de débordement qui peuvent entraver la performance. Hachage extensible et haching linéaire: Techniques
dynamiques pour résoudre ce problème.
34
Hachage Extensible Situation: un bucket (page primaire) se
remplit. Pourrait-on réorganiser le fichier en doublant le # de buckets? Lire et écrire toutes les pages est très coûteux! Solution: Utiliser un répertoire de pointeurs vers
les buckets; doubler le # de buckets en doublant la taille du répertoire, tout en ne partageant que les buckets en débordement!
Le répertoire est bien plus petit que le fichier lui-même, d’où doubler le répertoire est moins coûteux. Plus besoin de pages de débordement!
35
Résumé Gestion des fichiers: Méthode pour arranger un
fichier d’enregistrements sur stockage externe. Fichiers de données: structure pour entreposage des
données sur disque. Collection de pages stockées sur disque.
Indexes Arbres: ISAM, arbres B+
• ISAM est une structure statique• Seules les feuilles sont modifiées; pages de débordement
nécessaires• Défaut: chaînes de débordements
• Arbres B+ est une structure dynamique.• Insertion et effacement laissent l’arbre balancé• coût de log F N • Pas de chaînes de débordement
Hachage: Hachage statique vs. extensible
Top Related