Algorithmique pour les plateformes distribuées et hétérogènes
Une introduction aux architectures systèmes...
Transcript of Une introduction aux architectures systèmes...
(c) ED 2003
Une introduction aux architectures systèmes distribuées
Université de Haute AlsaceOctobre 2003
Cluster
(c) ED 2003
Plan
Technique
Définition
Applications Idées
IntroductionGénéralisation
$$$
Questions?
Plan
(c) ED 2003
Plan
Problèmes
Actions
Cluster
Solutions
Outils
Divers
(c) ED 2003
Problème
(c) ED 2003
Problème
(c) ED 2003
Problème
NET
CPU
E/S
Espace
HardService
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Engorgement
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Surcharge
Engorgement
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Surcharge
Pannes
Engorgement
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Surcharge
Pannes
Engorgement
Fiabilitée
Qualitée
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Surcharge
Pannes
Engorgement
Engorgement
Fiabilitée
Qualitée
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Surcharge
Pannes
Engorgement
Engorgement
Espace
Intégrité
Fiabilitée
Qualitée
(c) ED 2003
Problème
NET
CPU
E/S
Disques
HardService
Surcharge
Pannes
Engorgement
Engorgement
Espace
Intégrité
Fiabilitée
QualitéeTCO
(c) ED 2003
Plan
Problèmes
Actions
Cluster
Solutions
Outils
Divers
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
Passer de 1 à N CPUset de 1 à N serveurs
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
Passer de 1 à N CPUset de 1 à N serveurs
« Mirroring » des systèmes
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
Passer de 1 à N CPUset de 1 à N serveurs
« Mirroring » des systèmes
« Routeur » de services
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
Passer de 1 à N CPUset de 1 à N serveurs
« Mirroring » des systèmes
« Mirroring » des services
« Routeur » de services
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
Passer de 1 à N CPUset de 1 à N serveurs
« Mirroring » des systèmes
« Mirroring » des services
« Routeur » de services
Délégation dessystèmes de fichiers
(c) ED 2003
Actions
NET
CPU
E/S
Espace
HardService
Passer de 1 à N CPUset de 1 à N serveurs
« Mirroring » des systèmes
« Mirroring » des services
« Routeur » de services
Délégation dessystèmes de fichiers
Réseau de serveursde fichiers
(c) ED 2003
Processus
PC TR
ClusterStation
Complexité
nombrefréquence
(c) ED 2003
Remarque
si1 CPU = a MIPS
alorsn CPU < à n*a MIPS
en termes de systèmesavec des tâches non indépendantes
(c) ED 2003
Requêtes
1
2
Taille de la requête<
Taille de la réponse
Temps de requête<
Temps de la réponse
(c) ED 2003
Requêtes
CPUNET
(c) ED 2003
Plan
Problèmes
Actions
Cluster
Solutions
Outils
Divers
(c) ED 2003
Définition
Un cluster est un ensemble d’ordinateurs connectés les uns aux autres en réseau dans le but de partager des ressources et capables de
traiter de concert un même travail.
(c) ED 2003
Types de Clusters
Cluster Scientifique: calculer à grande échelle...
Cryptographie
Simulation
Ray-Tracing ( 3D )
(c) ED 2003
Types de Clusters
Cluster de stockage: disponibilité des informations...
Comptes utilisateurs
Fichiers vidéo
Bases de données
(c) ED 2003
Types de Clusters
Cluster de haute disponibilité: certifier le fonctionnement...
Firewall
E-Shop
(c) ED 2003
Types de Clusters
Cluster de répartition de charge: client / serveur...
Serveur HTTP / Mail
GroupWare
Infrastructure utilisateurs
(c) ED 2003
Plan
Problèmes
Actions
Cluster
Solutions
Outils
Divers
(c) ED 2003
Open Mosix
Migration automatiqueDans le kernelOutils non spécifiquesONFS
Cluster Knoppix
Voir dans les liens cluster
(c) ED 2003
Beowulf
Architecture pour la programmation //1 node serveur + n nodes clients
PVMLAM/MPI ( messages )BERT77 ( fortran )...
Voir dans les liens cluster
(c) ED 2003
LVS Principe
Load BalancingLinux Server
Real server
Client
(c) ED 2003
LVS / NAT
1
5 4
3
2
(c) ED 2003
LVS / IP Tunneling
1
5
4
3
2
(c) ED 2003
LVS / Direct Routing
1
54
3
2
Le même réseau physique
(c) ED 2003
LVS Sheduling
Round-Robin Scheduling : Par exemple, dans une configuration avec 2 real-servers, la première requête sera affectée au 1er serveur, la seconde au second serveur, la 3ème requête au 1er serveur, et ainsi de suite en boucle.
Weighted Round-Robin Scheduling : même technique, mais les real-serveurs peuvent être affectés par des poids, pour tenir compte des différentes capacités de traitement.
(c) ED 2003
LVS Sheduling
Least-Connection Scheduling : le load-balancer possède une table des connections actives. Il renverra toute nouvelle requête au serveur possédant le moins de connexions actives, dynamiquement.
Weighted Least-Connection Scheduling : même idée que l'algorithme précédent, en ayant la possibilité d'attribuer des poids aux serveurs.
(c) ED 2003
LVS Sheduling
Locality-Based Least-Connection Scheduling : Le load balancer choisit un real-server dans un groupe en fonction de l'adresse IP de destination. Il est utilisé dans les clusters de cache.
Locality-Based Least-Connection with Replication scheduling : Idem que le précèdent, avec une fonctionnalité supplémentaire: si tous les serveurs du groupe sont surchargés ou indisponibles, il choisit un serveur dans un autre groupe pour l'affecter au 1er groupe de serveurs.
(c) ED 2003
LVS Sheduling
Destination Hashing Scheduling : affecte la requête arrivant à un serveur d'un groupe fixé dans une table de hashage, en fonction de l'adresse IP destination.
Source Hashing Scheduling : affecte la requête arrivant à un serveur d'un groupe fixé dans une table de hashage, en fonction de l'adresse IP source.
(c) ED 2003
LVS FallOver
Load BalancingLinux Server
Real server
Client
Fall Over
MON
MONHeartbeat+
Fake
Voir dans les liens tools
(c) ED 2003
LVS + FS
Load BalancingLinux Server
Real server
Client
Fall Over
MON
MONHeartbeat+
Fake
GFSCodaPvfs
Voir dans les liens fs
(c) ED 2003
LVS + FS + LAN
Load BalancingLinux Server
Real server
Client
Fall Over
MON
MONHeartbeat+
Fake
GFSCodaPvfs
FS LAN
EXTCluster LAN
(c) ED 2003
LVS + LAN
FS LAN
EXT Cluster LAN
Output
Input
(c) ED 2003
LVS + LAN
FS LAN
EXT Cluster LAN
Output
Input
(c) ED 2003
LVS / Cascade
Load BalancingLinux Server
Real server
Client
Cascade1
2
3
4
(c) ED 2003
Pvfs / Ethernet
< à 25 ION
« linéarité » clients/serveurs
En charge: < 16 ION, pas linéaire
8 Mbit/s/ION
(c) ED 2003
Pvfs / Myrinet
< à 25 ION
« linéarité » clients/serveurs
En charge: « linéaire »
20 Mbit/s/ION
Voir dans les liens hard
(c) ED 2003
Plan
Problèmes
Actions
Cluster
Solutions
Outils
Divers
(c) ED 2003
RAID
Hard RAID
(c) ED 2003
NET-RAID
Hard/Soft RAID
DRBDNetwork RAID-1
( Mirror )
Voir dans les liens fs
(c) ED 2003
BDATA
Postgressql Postgressql
C-JDBC
Httptomcatldap
ODBC
Voir dans les liens db
(c) ED 2003
Queue
Queue est un système d'échange-équilibrage qui laisse des utilisateurs commander leurs travaux à distance d'une manière intuitive et transpa-rente. Ceci est fait avec la gestion de JOBS locale, des signaux et un file d'at-tente « proxyé » par un « daemon ».La file d'attente peut être employée comme remplacement local pour rsh vers un centre de serveurs homogènes. Applications possibles: l'échange-équilibrage d'email, compilation en batch...Le + : simple car « shell »Le - : pas adapté au « non-batch » Voir dans les liens outils
(c) ED 2003
Pen
Une sorte de « Proxy » avec du « round-robin »1 daemon par applicationn'est pas dans le « kernel »disponible pour d'autre types de serveursPas d'outils de configuration simple
Voir dans les liens outils
(c) ED 2003
Plan
Problèmes
Actions
Cluster
Solutions
Outils
Divers
(c) ED 2003
KLAT2
(c) ED 2003
ICluster
(c) ED 2003
alinka
http://www.alinka.com
Alinka est une société éditrice de logiciels pour l'installation et l'administration de clusters Linux.
(c) ED 2003
zeus
http://www.zeus.com
Zeus est une société éditrice de logiciels pour l'installation et l'administration de de gros sites web.
(c) ED 2003
SMP vs Cluster
Bus vs NetFallOver
Disponibilit退€
(c) ED 2003
Question?
(c) ED 2003
The End
Denis Ensminger ensminger @ iuthaguenau.u-strasbg.fr
denis.dnsalias.org