Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010...
-
Upload
morgause-joseph -
Category
Documents
-
view
106 -
download
0
Transcript of Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010...
![Page 1: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/1.jpg)
Optimisation des performances énergétiques d'une salle machine
L'exemple du CC-IN2P3
18 mai 2010
Dominique Boutigny
JI 2010
![Page 2: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/2.jpg)
Évolution des ressources au CC-IN2P3
18 mai 2010 2
![Page 3: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/3.jpg)
Le problème de l'infrastructure
18 mai 2010
Le problème est d'accommoder une augmentation exponentielle de la puissance informatique avec une salle machine conçue 20 ans plus tôt
3
![Page 4: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/4.jpg)
Évolution de la puissance électrique
18 mai 2010
kW
Seuil de disjonction
Seuil de sécurité
Accroissement de 500W / jour ! Budget élec. 2009: 600 k€
4
![Page 5: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/5.jpg)
Consommation Elec. / Puissance CPU
18 mai 2010
Un centre de calcul ne peut plus raisonner seulement en terme de puissance CPU ou d'espace de stockage
Puissance CPU
Puissance électriqueEncombrement
Facilité de mise en œuvre et d'exploitation
Capacité de stockage
Respect de l'environnement
Ampères ou W / kSI2kAmpères ou W / To
Éléments prépondérants du cahier des charges
5
![Page 6: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/6.jpg)
Consommation des CPU
18 mai 2010
Lames DELL Nehalem
E5540 (2.53 Ghz)48 Go
IBM iDataplexIntel 5430 LV –
2.66 GHz – 50 W16 Go
DELL 1U 1950b3 GHz16 Go
Ampères /kSI2k Loi de Moore Facteur 2
tous les 1.5 ans
6
![Page 7: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/7.jpg)
Consommation des disques
18 mai 2010
1 SUN X4500: ~1000 W disques de 500 Go
17 To utile / serveur ~60W / To
Nouvelle génération X4540 disques de 1 ToOn gagne un facteur 2 à chaque changement de technologie
La consommation du stockage sur disque est loin d'être négligeable
Optimisation de la consommation des serveurs de stockage ?
Ajout de cache SSD
Modification des drivers pour arrêter les disques inactifs Technologie MAID (Massive array of idle disks)
Voir par exemple: http://www.green-bytes.com/ZFSplusnew.html
7
![Page 8: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/8.jpg)
Consommation des serveurs de disques
18 mai 2010
Ampères / TBytes
Mesuré sur des SUN X4500 / X4550
0.5 To
1 To
2 To
Loi de Moore
IBM / DDN DCS9550
8
![Page 9: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/9.jpg)
Le problème du refroidissement
18 mai 2010
A moins d'avoir un système aéraulique complexe, Le refroidissement par air suppose de traiter le volume complet de la salle informatique
Peu efficace
9
![Page 10: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/10.jpg)
Refroidissement
18 mai 2010
Organisation en allées chaudes / allées froides
Armoire de clim
Serveurs Capotage
Reprise d'air chaud
10
![Page 11: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/11.jpg)
Un comportement non intuitif…
18 mai 2010
Un monitoring efficace est indispensable afin de comprendre en temps réel le fonctionnement de la salle 11
![Page 12: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/12.jpg)
Plus il fait chaud… moins il fait froid !
18 mai 2010 12
Puissance électrique consommée
Température extérieure
~20 kW / oC !
![Page 13: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/13.jpg)
Comment survivre ?
18 mai 2010
Améliorer l’efficacité du refroidissementAir Eau
Avant
Arrière
Système IBM i-dataplex412 serveurs (5 racks) – Intel 5430 LV – 2.66 GHz – 50 W85 kW total – ~pas de chaleur en dehors des racks
Aussi efficace que des racks entièrement fermés
Moins cher que des lames fin 2008
Échangeur sur porte arrière 13
![Page 14: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/14.jpg)
iDataplex et portes froides
18 mai 2010
Fonctionne avec de l'eau à 18o pas de condensation
Nécessite l'installation d'un échangeur eau glacée – eau à 18o
14
![Page 15: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/15.jpg)
L'étape d'après…
18 mai 2010
Confinement des allées chaudes et refroidissement
intégré aux racks
15
![Page 16: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/16.jpg)
18 mai 2010 16
Racks refroidis autonomesNoter les serveurs de stockage
Chaque nouvelle technologie est évaluée en fonction du rapport CPU / WIci des lames Dell – La prochaine étape sera certainement des serveurs 1U équipés de 4 mini cartes mères
![Page 17: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/17.jpg)
La fin des faux plancher
18 mai 2010
Avec les techniques de racks refroidis avec un circuit d'eau glacée, les faux planchers sont devenus inutiles
Passage des câbles et des tuyaux par le haut
Visibilité – Clarté des cheminements – Facilités de branchement – Résistance du sol
Il faut encore vaincre la résistance des bureaux d'étude !
17
![Page 18: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/18.jpg)
Quelques astuces!
18 mai 2010
Brumisateurs d'eau installés sous les aéroréfrigérants
Brumisation on
Brumisation off
18
Boosters Adiabatiques
![Page 19: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/19.jpg)
La persévérance fini par payer…
18 mai 2010 19
Il semble bien que nous ayons finalement réussi à casser le rythme infernal…
![Page 20: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/20.jpg)
Extension du CC-IN2P3
18 mai 2010 20
~900 m2 – Bâtiment séparé et indépendant
Bâtiment totalement dédié à l’informatique
![Page 21: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/21.jpg)
Dimensionnement de la nouvelle salle
18 mai 2010 21
~40 groupes ayant des besoins "standards" Respect des engagements par rapport au LHC Prévision d'un upgrade du LHC Prévision d'une augmentation importante des besoins des astroparticules
Extrapolation jusqu'en 2019: 216 racks et 3.2 MW de puissance électrique (~5 MW avec le refroidissement)
![Page 22: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/22.jpg)
Dimensionnement de la nouvelle salle
18 mai 2010 22
3 étapes:
Niveau 3Workers
Niveau 2Stockage
Niveau 1Haute Dispo.
Redondance froid N+1 N+1 2N
Redondance élec. N N+1 2N
Alimentations Simples Doubles Doubles
Autonomie < 10 minutes 72 heures 72 heures
2011 – 50 racks et 600 kW 2015 – 125 racks et 1.5 MW 2019 – 216 racks et 3.2 MW
Le nouveau bâtiment sera dimensionné dès le départ afin d'être capable d'atteindre la cible de 2019: Locaux techniques – Distribution d'eau glacée et d'électricité etc…Les éléments modulaires (onduleurs, transfos, groupes froids… seront installés au fur et à mesure
![Page 23: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/23.jpg)
Le projet retenu – Cap Ingelec
18 mai 2010 23
![Page 24: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/24.jpg)
18 mai 2010 24
Groupes froids insonorisés sur la terrasse
Pompes
Poutres retroussées
Liaison entre les deux salles + monte charge
![Page 25: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/25.jpg)
La redondance électrique
18 mai 2010 25
Nous explorons la possibilité de disposer d’une EDF totalement redondante
Suppression totale des groupes électrogènes
![Page 26: Optimisation des performances énergétiques d'une salle machine L'exemple du CC-IN2P3 18 mai 2010 Dominique Boutigny JI 2010.](https://reader038.fdocuments.fr/reader038/viewer/2022103112/551d9de0497959293b8ea02f/html5/thumbnails/26.jpg)
Démarche environnementale
18 mai 2010 26
L'extension s'inscrit dans le cadre du projet éco-campus de l'Université de Lyon (UCBL)
Convention avec l'UCBL:Le CC-IN2P3 fournira de l'eau chaude pour le chauffage des bâtiments proches Contrainte: Température ~50-55 oC Nécessite un chauffage adapté
La récupération de la chaleur constitue un moyen de valorisation simple et efficaceFourni malheureusement le maximum de chaleur en été Pré-chauffage de l'eau chaude sanitaire (idéal pour une piscine !)
Nous explorons la possibilité de fournir l'eau chaude pour le restaurant du campus
Le projet prend tout son sens dans le cadre du plan campus