Metrologisch zertifizierte Netzqualitäts

Überwachung - Erhöhung des sicheren 24/7-Betrieb in Rechenzentren

Das digitale Datenvolumen steigt rasant und stetig weiter an. Nicht zuletzt verursacht durch kryptische Währungen, wie z. B. Bitcoin (XBT), Ether (ETH), Litecoin (LTC) usw. oder etwa durch das Blockchain-Verfahren, eine Quasi-Art Datenbank, die auf verschiedenen vernetzten Servern arbeitet. Der steigende Bedarf an Datenaustausch vermehrt auch den Bedarf an Rechenzen-tren, die global in grossem Ausmass geplant, gebaut und unter-halten werden. Allerdings unterliegen Rechenzentren im elektrisch energetischen Kontext komplexen Herausforderungen, die einen (rechts)sicheren 24/-Betrieb beeinflussen können.

Die Problembeschreibung
Diverse Studien belegen, dass durch Probleme in der Netzqualität jährlich Kosten in Milliardenhöhe entstehen. Bereits 2007 zeigt die Stu-die „Pan European LPQI Power Quality Survey 2007“, dass sich der Scha-den auf 157 Milliarden Eu-ro/anno beziffert. Dabei wachsen die Herausforde-rungen für alle weiter an. Im Speziellen eben auch für die Rechenzentren. Die Gründe dafür lauten wie folgt:
(1) Netz-Störpegel:
- Starke Zunahme von nichtlinearen Verbrau-chen (LED-Beleuchtung, Computer, Ladeeinrich-tungen, Frequenzumrich-ter usw.), die Ober-schwingungen erzeugen
- Zunahme der dezentralen Einspeisungen (z. B. Windkraft, PV-Anlagen), die zu Instabilitäten in der Spannungshaltung führen
(2) Wirkung der Störpegel:
- Neuere Betriebsmittel (z. B. Server, Steuerungen, Regelungen, Aufzüge, Brandmeldesysteme, usw.) reagieren empfind-licher auf Störpegel und können ausfallen
- Ganze Bauteile können zerstört werden
- Betriebsunterbrüche kos-ten viel Geld
- Ratlosigkeit bei Anla-genstörungen, da Ursa-chen oft nicht erkennbar
- Eingesetzte Messmittel können Störungen nicht ausreichend erkennen
- Keine Datenaufzeich-nung, da Messgeräte-versorgung ebenfalls gestört wird
- Schlussendlich bedingt eine Ursachenanalyse teures Fachpersonal mit Erfahrung

Die Lösung
Wie eingangs beschrieben, können Netzqualitätsprob-leme zu Störungen und Aus-fällen führen, die immer mit Aufwand und Kosten ver-bunden sind. Gerade im Segment der Rechenzen-tren, wo Ausfälle und mögli-che Schäden durch viele investitionsintensive Re-dundanzen (z. B. USV, Ge-neratoren, multiple Einspei-sung) eigentlich vermieden werden sollen, stellen Stör-pegel ein nicht vernachläs-sigbares Risiko dar (siehe hierzu Abb. 2). Im Idealfall er-füllen alle eingesetzten Be-triebsmittel die Normen hin-sichtlich Netzrückwirkung und Störimmunität und ein störungsfreier Betrieb ist somit wahrscheinlich. Aller-dings und unter ungünstigen Rahmenbedingungen, diese z. B. verursacht durch viele gleichartige Verbraucher, unsymmetrischer Netzbe-lastung usw., kann es zu deutlichen Pegelüberschrei-tungen kommen. Um die Ri-siken einschätzen als auch begrenzen zu können, ist folglich eine permanente Netzqualitäts-Überwachung essenziell. Je nach Aufbau und Ausdehnung des Re-chenzentrums macht eine Überwachung an verschie-denen Punkten innerhalb der Energieversorgung Sinn:
- Am Einspeisepunkt des Netzbetreibers, dem so-genannten Verknüp-fungspunkt (PCC = Point of Coupling)
- In allen geschützten Versorgungsbereichen
- Am Einspeisepunkt von Netzersatzanlagen

Nebst den in Abb. 3 darge-stellten Auswertungen, er-lauben die aufgenommenen Netzqualitäts-Daten auch bestehende oder sich an-bahnende Probleme frühzei-tig zu erkennen, bevor sie zu einem Schaden führen.
Für die Konformitätsbewer-tung werden die aufgenom-menen Statistiken mit nor-mativen Grenzwerten ver-glichen. Bei Rechenzentren sind dies:
- EN 50160 (Merkmale der Spannung in öffentlichen NS-, MS-, HS-Versorgungs-netzen), die normalerweise als Basis für den Vertrag mit dem Energielieferanten dient.
- IEC 61000-2-4 (Verträg-lichkeitspegel in Industrie-anlagen), insbesondere Klasse 1 (geschützte Ver-sorgungen).
Die o. g. Normen geben Leitlinien vor, wie sich das Netz am beobachteten Punkt im Normalbetrieb verhalten soll. Nicht abge-deckt sind dabei jene Aus-nahmesituationen, die dazu führen können, vorüberge-hend die Versorgung mit Energie einzuschränken. Solche Störungen, wie Spannungs-einbrüche oder -ausfälle, müssen zwar ver-pflichtend erfasst werden, für die Normerfüllung ist de-ren Anzahl aber nicht be-grenzt (siehe dazu Abb. 4). Es ist Aufgabe der USV, bzw. von Netzersatzanlagen, sol-che Versorgungseinschrän-kungen zu überbrücken. Diese Überbrückung be-schränkt sich aber auf die wichtigsten Ressourcen, so dass es zu Funktionsein-schränkungen bei anderen Komponenten kommen kann. Es ist deshalb sub-stanziell, dass das Be-triebspersonal zeitnah über das Auftreten von Ereignis-sen nach IEC 61000-4-30 informiert wird. Dies erfolgt z. B. via einer automatisier-ten E-Mail-Nachricht an die fachkundigen Personen.

Für den Austausch von Netzqualitätsdaten ist es durchaus sinnvoll, ein stan-dardisiertes Format z. B. PQDIF (Power Quality Data Interchange Format) nach IEEE 1159.3 zu verwenden.
Demzufolge ist die Auswahl der Analyse-Software von Netzqualitäts-Daten nicht auf proprietäre Hersteller-Systeme beschränkt.

Ein weiterer Aspekt – RCM
Zur Vermeidung unkontrol-lierter Betriebsunterbrüche, werden in Rechenzentren keine Geräte zur Fehler-stromüberwachung mit di-rekter Auslösung (RCDs) eingesetzt. Vielmehr ist es vorgeschrieben, Differenz-ströme permanent zu über-wachen (siehe Abb. 5). Hier-bei bedient man sich dem RCM (Residual Current Mo-nitoring), das nebst dem essenziellen Personen-schutz auch dem Anlagen- und Brandschutz dient. Fer-ner lassen sich aus der Veränderung der Fehler-ströme Isolationsver-schlechterungen frühzeitig erkennen und Massnahmen können rechtzeitig eingelei-tet werden. Auftretende Feh-ler im TN-S System (z. B. unzulässige oder zusätzli-che Verbindungen PE-N) können ebenfalls früh er-kannt und dadurch korrigiert werden.

Korrekte Messdaten durch metrologische Rückführ-barkeit
Ein alter Schlossermeister-spruch besagt: „Zentimeter ist ein Uhrmachermass“. Anders ausgedrückt: „Wer misst, misst Mist.“ So wis-sen Techniker und Ökono-men um die bekannte aber dennoch reale Phrase Be-scheid und kümmern sich um entsprechende Messme-thoden. Und obwohl die An-sprüche an ein Netzquali-tätsgerät sowohl bezüglich Messverfahren (IEC 61000-4-30), Geräteeigenschaften (IEC 62586-1) und Prüfung der Einhaltung der Normen (IEC 62586-2) exakt defi-niert sind, gibt es dennoch Unterschiede zwischen den Herstellern. Insbesondere können Anbieter oftmals nicht nachweisen, warum ihr Analysegerät die Vorgaben erfüllt, also korrekt misst. Ein Nachweis einer wirklich korrekten Messung ist nur über eine unabhängige Zer-tifizierungsstelle, im optima-len Fall durch ein metrologi-sches Institut möglich. Nicht zertifizierte Prüfstellen oder gar Eigendeklarationen der Hersteller können met-rologische Zertifikate nicht ersetzen und sollten deshalb auch kritisch betrachtet werden. Speziell dann, wenn es sich um sensible Berei-che, wie z. B. Rechenzen-tren handelt, die mit hohen Kosten und Risiken verbun-den sind.

Beispielhaft hat hier die Camille Bauer Metrawatt AG eine unabhängige Prüfung durch das Institut „ME-TAS“ (Federal Institute of Metrology) in der Schweiz durchführen lassen. Das Institut kann nicht nur für jede anerkannte Massein-heit ein Normal bereitstel-len, sondern führt auch die eigenen Messeinrichtungen nachweislich und rückführ-bar auf die SI-Grund-einheiten zurück (Traceabili-ty). So wird zu jeder Zeit gewährleistet, dass Mess-daten nicht in Frage gestellt werden können.

Der Nutzen einer metrolo-gisch zertifizierten Über-wachung der Netzqualität
Der wesentliche Nutzen ei-ner professionellen und permanenten Überwachung der Netzqualität liegt in ei-ner Erhöhung der Verfüg-barkeit von Rechenzentren. Dabei definiert sich die Netzqualität als ein wesent-licher Baustein der Versor-gungsqualität (siehe hierzu Abb. 6). und gilt selbstver-ständlich auch für viel ande-re sensibilisierte Bereiche ausserhalb von Rechenzen-tren (z. B. in Hospitälern, in sensiblen Industriebetrie-ben, in der Verkehrsinfra-struktur wie Flughafen, öf-fentliche Gebäudekomplexe wie Einkaufszentren usw.). Der Nutzen entsteht bei der Analyse der aufgezeichne-ten Langzeitinformationen durch Beobachtung der Veränderungen und das Entdecken von Korrelatio-nen. Dabei spielt nicht nur die Einhaltung der vertragli-chen Einspeiserichtlinien eine Rolle. Zusätzliche und relevante Erkenntnisse kön-nen auch aus den folgenden Vorgängen abgeleitet wer-den:
- Vergleich von Normalbe-trieb zu USV- oder Not-strom-Betrieb
- Bewertungen von Ober-schwingungen und deren Einfluss auf die Be-triebsmittel
- Bewertung der Verände-rung der Netzqualität über längeren Zeitraum
- Veränderung der Netz-qualität nach Änderun-gen in der Installation
- Veränderungen der Netz-qualität nach Zu- oder Abschalten von Be-triebsmitteln
- Bewertung der Span-nungsereignisse nach Dauer und Restspan-nung (ITIC-Kurve) und deren Auswirkung auf die Lebensdauer der Be-triebsmittel

Ein weiterer und spezifi-scher Nutzen begründet sich auf einem permanenten RCM. Bei einer korrekt ausgeführten und perma-nenten Überwachung eines Fehlerstroms, kann die pe-riodisch wiederkehrende als auch manuelle Prüfung der Isolationsfestigkeit mög-licherweise entfallen. Somit ist eine Abschaltung der An-lage während der Prüfung nicht notwendig (= Erhö-hung der Verfügbarkeit) und der enorme Prüfaufwand mit den zugehörigen Kosten von Zeit und Personal entfällt.

Fazit
Die richtigen Erkenntnisse aus einer metrologisch zer-tifizierten Überwachung der Netzqualität inkl. RCM, füh-ren zu einem nachhaltigen Investitionsschutz, zur Kos-tenreduktion während dem Betrieb, zur Maximierung der Datenverfügbarkeit und schlussendlich der wichti-gen Zufriedenheit aller be-teiligten Stakeholder. Dazu zählen Kunden, Mitarbei-ter/innen, Energieversorger, Betreiber, Investoren, Ser-vicekräfte, Politik, Verbände usw. Schlussendlich hilft es auch CO2-Emissionen zu senken, da ein effizienterer und sicherer Betrieb des Rechenzentrums ermöglicht wird.

Ausblick
Schaut man sich die Ent-wicklung der globalen Da-tenvolumen an so wird man feststellen, dass die Her-ausforderungen für die Pla-ner und Betreiber eher grösser werden müssen. Alleine in China sollen die derzeit >500.000 bestehen-den Rechenzentren bis 2023 auf 1.000.000 ausgebaut werden (Steigerung 21% pro Jahr). Zu den ganzen Themen der Netzqualität wird man sich immer geziel-ter die Frage stellen, wie man gemäss der PUE (Power User Effectiveness) den wachsenden Energie-bedarf reguliert, da die energetische Infrastruktur als auch die benötigten Bau-flächen an ihre Grenzen stossen könnten. Dem ame-rikanischen Wissenschaftler Jonathan Koomey zufolge, beträgt bereits heute der Anteil der Rechenzentren am weltweiten Stromver-brauch ca. 1.1 – 1.5%. Al-leine im Ballungszentrum Frankfurt sind die Rechen-zentren bereits heute mit ca. 20% am gesamten Strom-verbrauch beteiligt.

«Serverleistung versus elek-trische Leistung» – welcher Beitrag kann hierbei spezifisch zum PUE geleis-tet werden? Dazu ist es rat-sam, die eingesetzte Ener-gie pro Datenmenge und abgestimmt auf den Ar-beitspunkt der Anlage zu überwachen und direkt in Abrechnungsmodelle der Versorgung als auch auf der Kundenseite des Datenaus-tauschs zu überführen. Quasi eine reale Datenab-rechnung mit dem tatsächli-chen Energiebedarf pro Da-teneinheit. Somit würde ein reales „Datenverbrauchs-Modell“ den Energiepreis definieren und möglicher-weise Anbieter von Daten als auch deren Verwender sensibilisieren. Daten könn-ten aufgrund der tatsächlich erzeugten Energiekosten sparsamer eingesetzt wer-den. Technisch wäre dazu ein integriertes Energie-Monitoring denkbar, das auf einem nachvollziehbaren Referenzmodell (Definition des Messstandards) beruht, das wiederum einzelne Ser-ver, Racks oder ähnliches Datenequipment überwacht und die tatsächlich einge-setzte Energie pro Daten-aufkommen am Arbeits-punkt misst und somit vali-de zur Abrechnung bringt.

Des Weiteren ist zu überle-gen, ob cyberkriminelle Übergriffe auf die Energie-versorgung in Rechenzen-tren oder andere sensible Bereiche nicht zusätzlich durch ein qualifiziertes und permanentes Monitoring der Netzqualität zu verhindern sind. Dies quasi als Redun-danz zu den bestehenden Überwachungseinrichtun-gen, die heute über Soft-warelösungen bereits etab-liert sind, allerdings einer enormen Dynamik unterlie-gen. Es gilt dabei zu erfor-schen, ob man Veränderun-gen in der Netzqualität mit Cyberangriffen auf die Ser-ver als auch auf die Infra-struktur eines Rechenzent-rums in Verbindung bringen und dadurch Angriffe früh-zeitig abwehren kann.

In beiden Fällen, Serverleis-tung versus elektrischer Leistung (PUE) als auch dem zusätzlichen Schutz gegenüber Cyberangriffen mittels Netzqualitätsanaly-se, werden die Bezugsrefe-renzen (Definition des Messstandards) massge-bend sein.


Die Anforderungen:

Bei der Planung der Ener-gieversorgung eines Re-chenzentrums müssen viele Ansprüche berücksichtigt werden:
- Sicherer Standort bezüg-lich Energieversorgung und Umgebungsbedin-gungen
- Hohe Energie-Effizienz zur Minimierung der Be-triebskosten
- Maximale Verfügbarkeit durch Einsatz von Re-dundanzen (USV, Gene-ratoren)
- Hohe Sicherheit (Brand-schutz, Zutritt, Abwehr von Cyber-Attacken)
- Systemstabilität und Aus-fallsicherheit der einge-setzten Betriebsmittel
- Möglichkeiten nachträg-licher Erweiterbarkeit

Netzqualitätsmerkmale nach IEC 61000-4-30, Ka-pitel 5.1 - 5.12, Klasse A:
„Im Kontext der Systemstabilität und Ausfallsicherheit“

- Netzfrequenz
- Höhe der Versorgungs-spannung
- Flicker
- Einbrüche und Überhö-hungen in der Versor-gungsspannung
- Spannungsunterbre-chungen
- Unsymmetrie der Ver-sorgungsspannung
- Transiente Spannungen
- Oberschwingungsspan-nungen
- Zwischenharmonische Spannungen
- Spannungen in der Sig-nalübertragung
- Schnelle Spannungsän-derungen (RVC)
- Unter- und Überabwei-chung
- Strom ((Höhe, Harmonische, Interharmonische)

Weitere Informationen unter www.camillebauer.com

  Fordern Sie weitere Informationen an…