Das Rechenzentrum in einer Leitstelle

Die Aufgabe in der Leitstelle besteht grundsätzlich darin, aus den Angaben eines Notrufes im Rahmen komplexer Regelungen und Verknüpfungen, stichwortbezogen, genau die richtige Quantität und Qualität an Einsatzkräften und -mitteln zu einem Szenario an einem beliebigen Einsatzort zur Verfügung zu stellen.

Hierbei ist die Zeit von unstrukturierten Vollalarmen für alle Feuerwehren auf hinterlegten Karteikarten lange vorbei. Zur Alarmierung werden Unmengen von Daten in kurzer Zeit verknüpft und in Form komplexer Alarmierungsszenarien bereitgestellt: die Aufgabe einer umfangreichen und komplexen Datenverarbeitung.

Die Anforderungen an die Technik sind hierbei groß:

• Es müssen eine Vielzahl reibungsloser Abläufe zur Verfügung gestellt werden,
• Anwendungen und Systeme müssen jederzeit verfügbar sein,
• sie soll einfach zu verwalten und zu überwachen sein,
• der Bedarf ist jederzeit erweiter­- und modernisierbar,
• die Technik soll energieeffizient sein und damit die Kosten minimieren und
• sie soll sicher sein vor jedem fremden Zugriff.

Hierfür muss die gesamte IT-­Technik zentral innerhalb eines besonders dafür geeigneten und technisch aufbereiteten, speziellen Raumes bereitgestellt werden: dem „Technikraum“ bzw. bei entsprechender Größe dem „Rechenzentrum“ (RZ, engl. „Datacenter“). Dreh­ und Angelpunkt für die gesamte Infrastruktur ist hier die notwendige Verfügbarkeit aller technischen Komponenten.

Verfügbarkeiten und Redundanz

Der Grad der Abhängigkeit der Leitstelle von den funktionierenden IT-­Prozessen definiert das Verfügbarkeitsziel, das mit der gesamten Technik zu erreichen ist. Die geforderte Verfügbarkeit muss somit durch eine konsequente Gestaltung der IT­-Infrastruktur gewährleistet werden. International geläufig ist hier die amerikanische Norm TIA­942 (Telecommunications Infrastructure Standard for Data Centers) mit Kategorisierungen in vier Verfügbarkeitsklassen (engl. „tier“) bzw. Level:

• Tier 1: RZ ohne Redundanz, singuläre Versorgungswege für Energie und Klima, keine Fehlertoleranz → empirische ­Verfügbarkeit von ca. 99,67% (Ausfallzeit 28,8 h/Jahr)
• Tier 2: IT­-Komponenten mit einfacher Redundanz, singuläre Versorgung → Verfügbarkeit von ca. 99,75% (Ausfallzeit 22 h/Jahr)
• Tier 3: redundante Komponenten, mehrfache Versorgungswege (aktiv/passiv), erhöhte Fehlertoleranz, mehrere Brandabschnitte → Verfügbarkeit 99,98% (Ausfallzeit 1,6 h/Jahr)
• Tier 4: komplette Redundanz, doppelte aktive Versorgungswege, Vermeidung von SPOF (Single Point of Failure) → Verfügbarkeit 99,991% (Ausfallzeit 0,8 h/Jahr)

In Deutschland werden grundlegende Vorgaben für Rechenzentren durch das Bundesamt für Sicherheit in der Informationstechnik (BSI) vorgenommen. Hierbei werden im Rahmen einer umfangreichen Faktensammlung, dem BSI­ Grundschutz (GS), verschiedene Verfügbarkeitsklassen (VK) definiert (Verfügbarkeit = VT, Ausfallzeit = AZ):

• VK 0: keine Anforderungen an Verfügbarkeit (= ca. 95% VT)
• VK 1: normale Verfügbarkeit (ca. 99% VT = 87h/J AZ)
• VK 2: hohe Verfügbarkeit (99,9% VT = 8,76h/J AZ)
• VK 3: sehr hohe Verfügbarkeit (99,99% VT = 52,6 min/J AZ)
• VK 4: höchste Verfügbarkeit (99,999% VT = 5,26 min/J AZ)
• VK 5: „Disaster tolerant“ (99,9999% VK = 0,53 min/J AZ)

Die Prüfung der theoretischen Verfügbarkeit seines RZ kann hierbei gut über eine „Verfügbarkeitsanalyse der Infrastruktur in Rechenzentren“ (VAIR, http://www.vair-check.de/) des BSI erfolgen. Im Rahmen einer BSI­-Schutzbedarfsfeststellung, z. B. mit dem Grundschutz­-Tool, wird komponentenweise aufsummierend (Anwendungen, Systeme, Räume, Kommunikationsverbindungen etc.) der jeweilige Schutzbedarf bezüglich Vertraulichkeit, Integrität und Verfügbarkeit ermittelt und daraus dann die Schutzbedarfskategorie (Verfügbarkeitsklasse) errechnet. Grundsätzlich kann man bei einer BOS-­Leitstelle hierbei im aktuellen Stand der Verflechtung und der technischen Abhängigkeiten der benötigten Infrastruktur von einer sehr hohen (VK 3) bzw. höchster Verfügbarkeit (VK4) ausgegangen werden. Das BSI stellt mit seinem Hochverfügbarkeitskompendium hierfür ein umfangreiches Instrumentarium zur Verfügung, um Maßnahmen der Hochverfügbarkeit durchzuführen. Wesentliche Punkte zur Erreichung von Hochverfügbarkeit:

• redundante Auslegung aller wesentlichen Gewerke,
• mehrfache, unabhängige Versorgungswege,
• Vermeidung von SPOF (Single Point of Failure),
• umfangreiche Überwachung und Frühwarnsysteme,
• Aufbau von Ausweichstrukturen,
• optimale Betriebstemperaturen,
• Sicherheit der Stromversorgung (USV, NEA),
• Einbruchsschutz und Zutrittskontrolle

Racks und Verkabelung

Grundlegend im Datacenter ist das „Rack“ (engl. für Gestell), also der Netzschrank zur Aufnahme von IT­-Komponenten mit einer genormten Breite von 19 Zoll (48,26 cm, DIN 41494) und einer Höhe dem x­-fachen von 1,75 Zoll (eine Höheneinheit [HE]= 4,445 cm). Netzschränke werden immer in Außenbreite und ­höhe in mm sowie den nutzbaren HE angegeben, z. B. „42 HE 600x800“. Die nutzbare Innenbreite ist genormt, die Außenmaße jedoch dann je nach Hersteller unterschiedlich. Üblicherweise sind sie etwa 2 m hoch (= 42 HE) und haben Bautiefen von 600, 800, 1000 oder 1200 mm. 

Die Standardtiefe moderner Server liegt inzwischen bei mind. 1000 mm. Die Breite der Racks kann ggf. auch von 19 Zoll abweichen. Die Aufbauform (2­/4­-Pfosten­-Racks), Montagemöglichkeiten, Kabelführungen, Zusatz­-Equipment wie Bürstenfelder, Aufstellflächen, Schubladen, elektrischer Anschluss­ und Überwachungssysteme sind je nach Hersteller sehr vielfältig und auch unterschiedlich gebrauchsfähig. Man kann leider niemals davon ausgehen, dass die Montagemöglichkeiten im Rack und die angebotenen Befestigungen der IT­-Ausrüstung automatisch passen. Der Einsatz sollte daher sorgfältig geplant und überprüft werden.

Die im Voraus zu planende Verkabelung sollte über die neueste Generation von Kabelsystemen verfügen, um mehrere Generationen von Aktivtechnik zu unterstützen, und ebenfalls von Anfang an sehr umfangreich angelegt sein (Any-to-All-Verkabelung mit zentralen Verteilerbereichen nach TIA 942­A und ISO 24764), um spätere Änderungen in der Technik realisieren zu können, ohne nachträglich verkabeln zu müssen. 

Zusätzlich sollte ausreichend Kapazität eingeplant werden, um notwendige Ergänzungen durchführen zu können. Die Standardbreite eines Racks von ca. 600 mm bietet selten Platz, um Überlängen von Standard­-Patchkabel geordnet abzulegen. Dafür bieten sich breitere Racks mit vertikalen Zero­U­-Panels an, in denen hier zusätzliche senkrechte Patchfelder angelegt sind. Damit lassen sich jetzt Infrastrukturen mit hoher Packungsdichte bei gleichzeitig sauberer Kabelführung und damit guter Kühlleistung ermöglichen. Bei entsprechender Ausgestaltung können mit einem Zero­U­-Schacht auch zwei nebeneinanderstehende Racks bedient werden.

Eine gute Kühlung im Rack kann durch Front-­ und Rücktüren mit hohem Luftdurchsatz erreicht werden. Bereiche mit höherer Wärmedichte lassen sich zusätzlich gezielt mit Rücktür-­Wärmetauschern kühlen. Die Leistungsaufnahme pro Schrank kann zwischen 5 kW und 20 kW betragen. Ziel ist es, einen möglichst geringen Stromverbrauch pro Rack zu erreichen und diesen im Schrank und über das ganze RZ möglichst gleichmäßig zu verteilen. Im Rahmen IP-­basierender Steckdosenleisten und intelligenter PDU (Power Distribution Units) wird eine gesicherte und überwachte Stromverteilung gelegt. Durch entsprechende Server­ und Desktop­Virtualisierung lassen sich insgesamt Raum­ und Strombedarf sowie notwendige Kühlungsleistung entscheidend verringern.

Kühlsysteme

Der empfohlene Temperaturbereich in einem Datacenter sollte nach gängiger Lehrmeinung (ASHRAE­-Empfehlung) zwischen 18 und 24 °C liegen. Zwar vertragen die meisten Komponenten auch erheblich höhere Temperaturen, jedoch steigt damit der elektrische Widerstand und somit sinkt die Lebensdauer des Gerätes. Für die Klimatisierung von Rechenzentren gibt es diverse Kühlkonzepte: freie Kühlung, Geothermie, Kühlung durch Grundwasser, adiabatische Kühlung (Verdunstungskälte), Absorptions­- und solare Kälte. Je nach Standort und Anforderungen gibt es meist eine optimale Strategie. Da die Kosten hierfür bis zu 50% der Energiekosten ausmachen können, sind energieeffiziente Kühlkonzepte sinnvoll.

Energetisch sehr kostengünstig ist die indirekte oder direkte freie Kühlung. Sie ist dann möglich, wenn die thermische Differenz zwischen zuführender Temperatur und Abwärme größer 11 K ausmacht. In der Praxis ergibt sich im nordeuropäischen Raum die beste Energieeffizienz durch Kombination von freier Kühlung, ergänzt durch hydraulische Kühlung bei hohen Außentemperaturen. Hohe Anschaffungskosten hierfür führen dann zu geringstmöglichen Betriebskosten. Notwendig sind dafür jedoch umfangreiche Flächen für Wärmetauscher im Außenbereich, die sich nicht unbedingt in der prallen Sonne befinden sollten.

Sinnvoll ist es auch, die zu kühlende Fläche im Technikraum durch intelligente Einhausung zu minimieren. Hierbei werden im sog. Warmgang­-Prinzip die IT-­Schränke mit den Rückseiten gegenübergestellt und dort, in einem eingehausten Bereich, die von vorn strömende Kaltluft als Warmluft gesammelt und abgeführt. Das Kaltgang-­Prinzip, bei dem die Frontseiten im eingehausten Bereich gegenüberstehen, leitet umgekehrt die aus dem Doppelboden kommende kalte Luft nach hinten in den Raum, wo die erwärmte Luft an der Decke abgesaugt und abgeleitet wird. Letzteres ist energieeffizienter, dafür bedienungsunfreundlicher.

Grundsätzlich sollte die kühle Luft aus einer Bodenzuführung in den Rack gelangen und die Warmluft an der Decke abgesaugt werden. Wichtig ist ein optimales Air­flow­-Management im Rack durch intelligenten Technikaufbau und entsprechende nicht behindernde Kabeltrassenführung sowie bei hoher Packungsdichte (> 15 KW pro Rack) ggf. die Ergänzung durch aktive Kühlkomponenten (Wasserkühlung, aktive Kühltüren), um die optimale Betriebstemperatur auch bei hoher Last zu garantieren.

Strom- und Notstromversorgung

Wichtig ist ab Level­ 3-Rechenzentren eine über zwei unterschiedliche Stromversorgungen einkommende 2­-Wege-­Zuführung, welche jeweils über eigene unterbrechungsfreie Stromversorgungen (USV) abgepuffert werden. Jeder einzelne Rack erhält dann Stromverteiler beider Strompfade, jede Technikkomponente wird mittels gedoppelter Netzteile beiderseits versorgt. Gefährlichste Bedrohung sind hier nicht unbedingt längerfristige Ausfälle, sondern eher Versorgungsabbrüche im Zehntelsekundenbereich.

Die Anzahl der kleineren Unterbrechungen bis max. 3 min liegen laut Bundesnetzagentur für 2014 nur für Deutschland (SAIDI­-Werte) bei 149 000. Nach dem „Eaton Blackout ­Tracker“ wurden in der DACH-­Region im selben Jahr insgesamt 711 größere Stromausfälle (> 3 min) mit insgesamt 61 295 min (> 42 Tage, durchschnittlich 135 min) registriert. Unterbrechungsfreie Spannungsversorgungen (USV) sollen nur den kurzfristigen Bereich absichern, eine längerfristige Stromversorgung kann dann nur mittels leistungsfähiger, vollautomatischer Netzersatzanlagen (NEA), also Notstromgeneratoren mit mind. 24 Std. Autonomiezeit erfolgen. Daneben sind als „Redundanz­Redundanz“ externe Einspeisungen für entsprechend vorbereitete THW­-Einheiten vorzusehen.

Die Planung der Anlagen – als sich gegenseitig beeinflussendes Wechselspiel aus benötigter Rechnerlast und abgepufferter USV-­Kapazität – zu der dafür benötigten Abwärmelast für die Klimatisierung (die wiederum USV abgesichert sein muss), ist äußerst komplex. Hierfür sollte entsprechende Unterstützung von Klimatechnikfirmen und USV­-Herstellern genutzt werden. Sinnvoll sind auch hier modulare, skalierbare Anlagen mit einem hohen Wirkungsgrad, sowohl im Teillast-­ als auch im Volllast-­Modus.

Die USV sollte nach EN62040­3 eine VFI Klasse 1­-Anlage sein (Voltage and Frequency Independent from mains supply), also unabhängig von Frequenz und Spannung (ehemals „Online“) Nur diese ist für den Dauerbetrieb in großen Netzwerken und Rechenzentren geeignet. In der Batterietechnik gibt es neben den bewährten, aber sperrigen und schweren Blei­säure­batterien länger haltende Nassbatterien (VLA, ­Vented Lead Acid) mit komplexerer Wartung oder geschlossene Batterien (VRLA, Valve Regulated Lead Acid). Sie sind kostengünstiger, haben aber auch eine geringere Lebensdauer. Wichtig ist auch das Batteriemanagement: Das Energiespeichersystem (Akkus) der USV benötigt für eine lange Lebensdauer und eine dauerhaft hochwertige Nennleistung eine intelligente mehrstufige Ladetechnik und eine entsprechende (Fern­)Überwachung.

Die Energieeffizienz eines RZ ergibt sich als PUE­-Wert (Power Usage Effectiveness). Es entspricht dem Verhältnis von Lastverbrauch der gesamten RZ-­Infrastruktur zu dem Anteil, den die IT-­Komponenten benötigen. Ein PUE von 2 (alte RZ­-Technik) bedeutet, dass für das gesamte RZ doppelt so viel Energie benötigt wird, wie für die eigentliche Netto-­IT­-Technik allein. Gute Werte liegen hier bei 1,3 bis 1,5.

Systeme für den Brandschutz

Im RZ herrscht aufgrund der hohen Energiedichte der verwendeten Anlagen ein besonders hohes Brandrisiko. Daher sollte baulich bereits eine Unterteilung in einzelne autarke Brandabschnitte vorgenommen werden. Daneben sind Systeme für Brandfrüherkennung und/oder Brandvermeidung sowie Brandbekämpfung unvermeidbar. Das Rauchmeldesystem basiert auf einer Raumluft­-Ansaugvorrichtung mit hochintelligenter, sensibler Sensortechnologie. 

Es wird sowohl im Absaugbereich der erwärmten Raumluft eingesetzt als auch im Doppelboden und möglichst in jedem Rack. Die automatischen Feuerlöschsysteme beruhen auf erstickenden Inert-­Gasen oder Stickstoff. Sinnvoll sind auch eingesetzte Sauerstoffreduktionssysteme, wie das Oxyreduct der Firma Wagner. Es beruht auf einer Reduzierung des Sauerstoffanteils in der Raumluft auf bis zu 15%, was eine Brand­entstehung nahezu unmöglich macht. Für einen Arbeitsaufenthalt im RZ muss es dann wieder temporär auf normale Werte angehoben werden. Es ersetzt außerdem keine Brandrauchdetektoren und Löscheinrichtungen.

Monitoring-Lösungen und Zugangssicherungen

Umfangreiche Software für eine Komplettüberwachung eines RZ, sog. DCIM-­Software (Data Center Infrastructure Management), sind nicht nur für das Monitoring einsetzbar, sondern bereits bei der RZ­-Planung, bei der Raumkonzeption, Belastungsplanung, Energieeffizienz, erforderliche Kühlleistungen etc. Moderne DCIM­-Lösungen überwachen nicht nur das gesamte RZ in allen Komponenten (USV, Kühlung, Rackzustand, Hotspots), sondern stellen auch Steuerungstools bereit, mit deren Hilfe sich Kapazitäten planen und umgruppieren lassen. 

Sie überwachen die Stromzufuhr sowie Umgebungsparameter (Temperatur, Luftfeuchtigkeit), sie visualisieren die gesamte Stromversorgung, präsentieren übersichtliche Schaltpläne, erheben Messwerte zur Ermittlung des PUE­-Wertes, prüfen Auslastungs­ und Verlaufskurven beliebiger Parameter und ermitteln damit auch Planungsgrundlagen für die Fortentwicklung eines RZ. Sie integrieren die Daten von Standard­-Netzwerküberwachungssystemen (z. B. Nagios, OpenView), die Videoüberwachung inklusive Bewegungsmelder, und führen die Zutrittskontrolle (Zwei-­Faktor­Authentifizierung) durch. Im Alarmfall können automatisch eigenständige Maßnahmen ablaufen und dazu Verantwortliche via Mail und SMS benachrichtigt werden.

Bei der Realisierung eines RZ sind eine Vielzahl von Vorgaben, gesetzlichen Richtlinien und Branchenstandards einzuhalten, z. B. ISO/IEC 20000­1, 27001 und 27002, BSI Grundschutz und das Hochverfügbarkeitskriterien vom BSI, Kühlkonzepte entsprechend den ASHRAE-­Normen (American Society of Heating, Re­­frigerating and Air­Conditioning), Brandschutz­ und Brandmeldekonzepte sowie Einbruchsmelde-­ und Zutrittskontrollkonzepte (VdS­Klasse C). Größtenteils noch im Entwurf ist die neue DIN EN 50600 „Aufbau und Einrichtung von Rechenzentren“; grundsätzlich kann man sich auch nach dem US-­Standard TIA­942 „Infrastructure Standard for Data Centers“ richten. Aufgrund der dargestellten Komplexität ist man sicher gut beraten, sich hierbei entsprechender Fachfirmen zu bedienen, um fundiertes Know­how mit einzubinden. Es lohnt sich aber auch, nach dem „BSI­Grundschutzkatalog“ oder dem „Hochverfügbarkeitskompendium“ zu googlen.