Industrie & Verkehr | 26. Oktober 2020
Smart überwacht
Seewasserkühlkreislauf für Supercomputer
Das Swiss National Supercomputing Centre in Lugano wird ausschliesslich mit Wasser aus dem 2,8 km entfernten See gekühlt. Für maximale Verfügbarkeit des Kühlkreislaufs überwachen Smart Sensors von ABB die Pumpen und Motoren in der Pumpstation.
Der leistungsfähigste Computer der Schweiz wird in Lugano-Cornaredo betrieben: Das Swiss National Supercomputing Centre (Centro Svizzero di Calcolo Scientifico – CSCS) zog 2012 in ein neues Rechenzentrum neben dem Fussballstadion ein.
Hier steht der «Piz Daint» genannte Supercomputer vom Typ Cray XC50. Um eine Vorstellung seiner Rechenleistung zu geben: Um sie zu erreichen, müssten alle 8,6 Millionen Einwohner der Schweiz je 730 000 000 Rechenoperationen ausführen – pro Sekunde. Im CSCS betreibt unter anderem auch MeteoSchweiz einen Supercomputer, um hochauflösende Wettermodelle und -prognosen zu berechnen. Und die EPF Lausanne hat hier «Blue Brain 5» für die Simulation neuronaler Netze installiert.
Normalerweise ein Drittel für Kühlung
Hochleistungsrechenzentren haben einen enormen Stromverbrauch. Etwa ein Drittel davon entfällt normalerweise auf die Kühlung, für die konventionell Kompressoren eingesetzt werden. Ohne die passende Wärmeabfuhr würden die leistungsstarken Rechner innert Kürze überhitzen.
«Das CSCS ist eines der energieeffizientesten Hochleistungsrechenzentren der Welt.»
«Das CSCS ist eines der energieeffizientesten Hochleistungsrechenzentren der Welt, denn hier nutzen wir für die Kühlung ausschliesslich eine natürliche Kälteressource: 6 °C kühles Wasser, das aus 45 m Tiefe aus dem Luganer See gepumpt wird», erklärt Christoph Stauffer, verantwortlicher Facility Manager im CSCS.
Davon braucht es eine ziemliche Menge: Das Wasser wird durch ein Rohr mit 80 cm Durchmessern vom 2,8 km entfernten Seeufer quer durch die Stadt zum Rechenzentrum geleitet und über ein zweites Rohr wieder in den See zurückgeführt. Bis zu 720 l/s Wasser können so nach Cornaredo geleitet werden. Nicht nur das CSCS, sondern auch die Aziende Industriali Lugano und weitere Abnehmer in der Nachbarschaft profitieren so von einer ökoeffizienten Kühlung.
Gegründet im Jahr 1991, ist das Swiss National Supercomputing Centre in Lugano eine Einheit der ETH Zürich. Die hier installierten Hochleistungsrechner stehen Schweizer Hochschulen und Forschungseinrichtungen auf Antrag für Forschungszwecke zur Verfügung. Zudem betreibt das CSCS dedizierte Rechner für Grossforschungsprojekte und Aufgaben von nationalem Interesse, etwa für MeteoSchweiz.
Weitere Infos: www.cscs.ch
Im Rechenzentrum selbst steckt viel Elektrotechnik von ABB: So wurden für die Stromversorgung des auf 20 MW elektrische Leistung ausgelegten Centers 17 Transformatoren sowie Mittelspannungsschaltanlagen der Typen ZX0 und ZX2 von ABB installiert, insgesamt 26 Felder.
Pumpstation im Park
Die Smart Sensors von ABB hingegen sind in der unterirdischen Pumpstation am Ufer des Lago di Lugano installiert. Die Station wurde im belebten Parco Ciani eingerichtet. Spaziergänger ahnen davon nichts; lediglich zwei unscheinbare Stahlplatten sind in den Uferweg eingelassen. Sie bedecken den Eingang der durchaus geräumigen Pumpstation, die mit ABB-Niederspannungsschaltanlagen ausgerüstet ist. Hier sind drei Pumpen eingebaut – jeweils mit einem Elektromotor mit einer Leistung von 250 kW gekoppelt, der von je einem ABB-Frequenzumrichter vom Typ ACS800 angetrieben wird.
«Für die maximale Förderleistung von 720 l/s des in 45 m Seetiefe gefassten Wassers ins 30 m über dem Seespiegel gelegene Cornaredo reichen zwei Pumpen aus; im Alltagsbetrieb brauchen wir derzeit deutlich weniger», erklärt Stauffer. «Die redundante Auslegung der Systeme mit einer dritten Pumpe ist für unseren Betrieb jedenfalls wichtig. Die Kühlung darf nicht ausfallen; sonst müsste unser Rechenzentrum innert Kürze heruntergefahren werden», so Stauffer.
«Die Kühlung darf nicht ausfallen; sonst müsste unser Rechenzentrum innert Kürze heruntergefahren werden.»
Um die Zuverlässigkeit des Kühlkreislaufs weiter zu steigern, setzt das CSCS nun auch Smart Sensors von ABB ein. Zuerst wurden sie an zwei Motoren im Pumpwerk angebracht. Nachdem ABB die Smart Sensors für den Einsatz an Pumpapplikationen weiterentwickelt hatte, rüstete das CSCS zwei Pumpen mit der Neuerung aus.
Vorausschauende Wartung
Ein Smart Sensor misst Parameter wie etwa Oberflächentemperatur und Vibrationen oder sammelt Daten zum Magnetfeld und zu Geräuschen, immer mit einem Zeitstempel versehen. Daraus lassen sich Betriebsparameter wie Anzahl der Starts, Betriebsstunden oder Gesamtleistung berechnen – und vor allem Zustandsparameter hinsichtlich der vorausschauenden Wartung.
«Die hier installierten, robusten Motoren und Pumpen sind noch vergleichsweise neu. So brauchen wir die Sensoren derzeit eher, um uns mit den erhobenen Daten und deren Verwendung vertraut zu machen», erklärt Stauffer. Er sehe nun, wie sie Einblicke in das Innenleben der Anlage verschaffen und bei deren Alterung künftig mögliche Probleme vorzeitig anzeigen könnten.
Zumal sich das CSCS weiterentwickelt: Bald wird ein Nachfolger des «Piz Daint» installiert werden, mit einer vielfach höheren Rechenleistung. Seine Platinen lassen sich direkt mit Wasser kühlen. Beim aktuellen Supercomputer geschieht das noch indirekt; über eingeblasene Luft, die zuvor mit dem zugeführten Wasser abgekühlt wurde.
Zwei Kühlkreisläufe per Wärmetauscher
Das wird nicht mit dem Seewasser selbst geleistet, sondern über einen internen Kühlwasserkreislauf: Grosse, vom zugeführten Seewasser durchflutete Wärmetauscher temperieren das interne Kühlwasser zuerst auf etwa 8 °C. Im Kühlkreislauf für die Höchstleistungsrechner wird es sodann auf rund 16 °C erwärmt – und durch einen weiteren Wärmetauscher geleitet, der an einen zweiten Kühlkreislauf angeschlossen ist. Diese Leitung mittlerer Temperatur kühlt die Luft von Equipment, das eine geringere Energiedichte hat und so mit weniger kaltem Wasser gekühlt werden kann. So werden mit einmaligem Pumpen zwei Kühlkreisläufe beschickt – ein weiterer Gewinn an Energieeffizienz.
Zudem sind auf der Rückleitung des Seewassers Mikroturbinen installiert, um das Gefälle zur Stromproduktion zu nutzen.
Dank der Smart Sensors sollten auf jeden Fall Ausfälle der Pumpen aus mechanischen Gründen verhindert werden können.
Dieser ausgeklügelte Kühlwasserkreislauf wurde für Notfallszenarien zudem mit einer «Versicherung» versehen: Das kühle Seewasser fliesst im Rechenzentrum zuerst in grosse Tanks mit einem Gesamtfassungsvermögen von 160 m3. Wenn das Pumpwerk ausfällt, reicht diese Kühlwasserreserve, um das Rechenzentrum innert 15 min gesichert herunterzufahren. Aber dank der Smart Sensors sollten auf jeden Fall Ausfälle der Pumpen aus mechanischen Gründen verhindert werden können.
Weitere Infos: adriana.grueschow@ch.abb.com