Rechenzentrum für GSI und Alice- Tier-2 Ein neuer Raum und neue Infrastruktur
Feb 05, 2016
Rechenzentrum für GSI und Alice-Tier-2
Ein neuer Raum undneue Infrastruktur
Rechenzentrum für GSI und Alice
• Motivation• Historie• Planung• Bau und Inbetriebnahme• Zukunft• Aktuell
28.10.2008 2IT-Palaver - Helmut Kreiser / IT
Motivation• RZ – 1 (altes Rechenzentrum)
– historisch, ausgelegt auf Mainframes– räumlich sehr eng aufgestellte Rackreihen– Racks nicht tief genug– elektrische Versorgung 180 KW USV- plus Normalnetz– Kühlung und Klima modernisiert
• max. 150 KW (180 KW) durch Umluftkühlgeräte• Beschluss
– nur zentrale Server und Services– Netzwerk- und backbones– Mass-Storage und Tape-L-ibrary‘s
28.10.2008 IT-Palaver - Helmut Kreiser / IT 3
Motivation
• Suche nach neuen Räumlichkeiten für „Number Cruncher“– GSI– Alice– FAIR
28.10.2008 IT-Palaver - Helmut Kreiser / IT 4
28.10.2008 IT-Palaver - Helmut Kreiser / IT 5
• Betriebsgebäude Raum BG.2.009– großer Raum, Klimaanlage, Doppelboden– aber auch
• Gebäudeleittechnik• FRS-Werkstatt und Lagerplatz• Strahlenschutz-Cave• Strahldiagnose und Betrieb• UHV• ET (zentrales Not-AUS)• B - RZ (Netzwerk-Knotenpunkt für FAIR)
Historie
Historie
• letzter freier Platz genutzt• Aufstellung von 7 Racks mit 180 Rechnern• 65 KW Stromverbrauch, luftgekühlt
– Klimaanlage ausgelastet– „Sauna-Feeling“– Laut– an „Not-Aus“ gekoppelt
• neues RZ - 2
28.10.2008 IT-Palaver - Helmut Kreiser / IT 6
Planung• GSI hat durch MoU Rechenkapazität für Alice
zugesagt (Alice-Tier-2 Rechenzentrum)• Anfang 2008 zusätzliche Gelder für das GSI
Alice-Tier-2 RZ angekündigt (500 K€)• März: Erstellung einer Konzeptstudie
– wassergekühlte Umluftracks– neu strukturierte Stromversorgung– 40 Racks mit ca. 500 KW– notwendige Infrastruktur– Kosten
28.10.2008 IT-Palaver - Helmut Kreiser / IT 7
Planung• April: Konzeptstudie (Rittal-System)
– 500 KW – Anschluß an zentrale GSI-Kälte
• Wärmetauscher– Pufferspeicher (Wasserkreislauf)– zusätzliche Kühleinheiten (Chillars) als Notkühlung– neue Verrohrung– USV für Kühlagreggate und Pumpen– Normalnetzversorgung der Rechner– Statik der Decke überprüfen (750 kg/qm)
[ 40 x 13 kg (1HE) + 150 kg Rack = 670 kg/0,6 qm ][ Blade-Center: 4 x 185 kg + Rack = 890 kg/0,6 qm ]
28.10.2008 IT-Palaver - Helmut Kreiser / IT 8
Warum Rittal-System
28.10.2008 IT-Palaver - Helmut Kreiser / IT 9
• Racks vorhanden• sehr modular• Kühleinheiten modular (LCP)
– stehen neben den Racks– kein Wasser innerhalb eines Racks– Steuerelektronik (Wasserdurchfluß, Lüftersteuerung)– 30 KW Kühlleistung pro LCP– redundant, kühlen in beide Richtungen– horizontaler Luftstrom über die
gesamte Höhe
Planung
• 1. Ausbaustufe– 8 Racks (120 x 60 cm)– 8 LCP (Liquid Cooling Package – Kühlmodule)– Powerversorgung ca. 140 KW– neue NSHV (500 KW + Strom für Kühlaggregate)– Power Distribution Rack (10 x 120 qmm Kabel)– Stromschienen in den Racks ( 2 x 96A/Rack)– Kühlung
• Verrohrung für 16 Racks (1 Reihe)• Wärmetauscher (6 12 Grad)
– Leckage-Warnanlage (Racks und Verrohrung)– Rauchfrüherkennung (geschlossene Racksysteme mit Umluftkühlung)
28.10.2008 IT-Palaver - Helmut Kreiser / IT 10
Bau und Inbetriebnahme• LITCOS: Planung und Durchführung des 1. Abschnitts• GSI:
– NSHV und Stromversorgung bereitstellen– Projekt überwachen– Fläche bereitstellen
• Verschiebung/Reduzierung der FRS-Werkstatt (Temporär)• Umzug Doku-Schränke MSR• Auflösung Strahlenschutz-Cave mit Teilumzug in einen
Dokumentationsraums• Vorbereiten des Raumes für SiSt• Verschließen mehrerer Deckendurchbrüche
28.10.2008 IT-Palaver - Helmut Kreiser / IT 11
Zeitablauf• Anfang 2008: Gelder wurden angekündigt• März: Konzeptstudie erstellen• April: Konzeptstudie vorgestellt• Mitte April:
– LoI zur Auftragsvergabe– Gespräche zur Flächenbereitstellung und Nutzung
• Mitte Mai: Auftragsvergabe• Mitte Mai: Fläche war geräumt und bereitgestellt• Mitte Juni: Beginn der Aufstellungsarbeiten• Ende Juni: Abschluß der Arbeiten• 7. Juli: offizielle Übergabe• 10. Juli: Inbetriebnahme der neuen Infrastruktur• 14.-16. Juli: Umzug der Rechner in die neuen Racks durch IT• 17. Juli: Einschalten aller Systeme• ab 18. Juli: Schrittweise Inbetriebnahme der Rechner
28.10.2008 IT-Palaver - Helmut Kreiser / IT 12
Bauphase
28.10.2008 IT-Palaver - Helmut Kreiser / IT 13
Bauphase
28.10.2008 IT-Palaver - Helmut Kreiser / IT 14
Bauphase
28.10.2008 IT-Palaver - Helmut Kreiser / IT 15
Inbetriebnahme
• Umzug von 250 Rechner– 160 im RZ – 2 (aus luft- in wassergekühlte Racks)– 60 aus dem RZ – 1
• in 3 Tagen durch IT selbst durchgeführt• Im August: Einbau von 7 Blade-Center für
zusätzliche Alice-Rechenkapazität• pro Rack auf 40 HE Rechner installiert• Stromverbrauch+Kühlung: 120-130 KW (Spitze)
28.10.2008 IT-Palaver - Helmut Kreiser / IT 16
Umzug
28.10.2008 IT-Palaver - Helmut Kreiser / IT 17
Umzug
28.10.2008 IT-Palaver - Helmut Kreiser / IT 18
Blades
28.10.2008 IT-Palaver - Helmut Kreiser / IT 19
was wurde erreicht• 8 Racks für Computing komplett voll• ca. 120 – 130 KW Input elektrischer Leistung• Kühlungsinfrastruktur unabhängig von vorhandener Klimaanlage
• leise• ausbaufähig auf 16 Racks ohne Aufwand
– ca. 250 KW Input elektrischer Leistung– Vollausbau mit weiterer Verrohrung (zusätzliche Investitionen)
• Luft-Kühlungstemperatur 20 C, bei ca. 15 Grad Temperaturdifferenz zwischen vorne und hinten in den Racks
• bisher störungsfreier Betrieb der Kühleinheiten und Rechner• Kosten:
– Infrastruktur ca. 300 K€– zusätzliche Rechner: ca. 200 K€
28.10.2008 IT-Palaver - Helmut Kreiser / IT 20
Zukunft
28.10.2008 IT-Palaver - Helmut Kreiser / IT 21
• weitere Gelder für Alice-Tier-2 in Aussicht• 3 weitere wassergekühlte Racks• Erweiterung der Mittelspannungsanlage (20 KV) in 2008/2009• eigener Trafo (1 MW) in 2009
– 500 KW für Rechner– Kühlungsinfrastruktur
• Mittelfristig:– USV (für Kühleinheiten)– Ausbau auf ca. 30 Racks in 2 Reihen– 3. Reihe wäre möglich
Status
28.10.2008 IT-Palaver - Helmut Kreiser / IT 22
Aktuell• Ausfall der Rechner im RZ – 2
– Abschaltung der Kühlwasserversorgung– Abschaltung der Stromversorgung
• RZ – 2 hat aus Geldmangel keine Notkühlung– Vorschlag Konzeptstudie: GSI-Kühlung nutzen, eigene
Chillars und Pufferspeicher als Notkühlung• RZ – 2 hat keine USV-Versorgung
– geplant: nur für Kühlungsinfrastruktur und Netzwerk• RZ – 2: keine temperaturgesteuerte Durchflußregelung
des Primärwärmetauschers– Abschalten/Anschalten größerer Stromleistungen– Einfluß auf Kühlkreislauf der GSI
28.10.2008 IT-Palaver - Helmut Kreiser / IT 23