Blick in ein nine.ch-Rack

Mit diesem Beitrag möchten wir Ihnen einen Einblick in den detaillierten Aufbau unserer Racks in den verschiedenen Rechenzentren geben.

Grundsätzlich werden Racks nach einem bestimmten vorher festgelegten Layout ausgestattet. Bei diesem legen wir hohen Wert auf ein übersichtliches Kabelmanagement. So soll auch bei einem Full Rack, welches zwar vollständig mit Servern ausgebaut ist, dennoch alles übersichtlich bleiben. Jedes dort verwendete Netzwerk- und Stromkabel ist daher entsprechend mit der Höheneinheit und dem zu verbindenden Switchport gekennzeichnet.

Die Verkabelung unserer Devices ist konvergent. Beim Entwickeln unseres Rack-Layouts wurden alle Kabellängen der Netzwerk- und Stromkabel individuell abgemessen, um die korrekte Länge bei allen verbauten Servern sicher zu stellen. Am Beispiel der Verkabelung eines Servers, der auf der Höheneinheit 27 (HE27) verbaut ist, lässt sich dies gut aufzeigen:

Der Server wird

• mit dem schwarzen Netzwerkkabel auf den Port 27 des Out-of-band-Management-Switches (OOB-Switches)
• mit dem grünen Netzwerkkabel auf den Port 27 des primären Switches
• mit dem gelben Netzwerkkabel auf den Port 27 des sekundären Switches

angeschlossen.

Diese Verkabelungsmethodik wird für Server angewendet, die von Höheneinheit 02 bis und mit Höheneinheit 27 verbaut sind.

Ganz oben im Rack, auf der Höheneinheit 47, befindet sich jeweils ein RJ45-Patchpanel und direkt darunter ein Kabelendverschluss (KEV) für unsere Glasfaserverbindungen.

Für die Netzwerkanbindung unserer Server sind pro Rack jeweils zwei Switches der Marke „Brocade VDX 6740T“ zuständig. Diese sind via Fiber direkt mit 10 Gigabit an unsere Aggregations-Geräte angebunden. Die Verbindung zwischen diesen beiden VDX’s untereinander wird mit einem 40-Gigabit-Kupferkabel realisiert und das Out-of- band-Management betreiben wir über einen im Rack verbauten Cisco 2950-48-EI-Switch. Alle unsere Server, die in den Racks verbaut sind, verfügen über ein Intel RMM4-Modul. Durch dieses wird uns das Remote Management weitestgehend erleichtert und es können somit beispielsweise Event Logs, Systeminformationen und Sensor readings ausgelesen und die Remote Power Control Funktion genutzt werden.

Unter jedem Switch wird jeweils ein Kabelmanager und eine Blindblende verbaut. So können die Netzwerkkabel, welche an den jeweiligen Switches angeschlossen sind, gemäss Rack-Layout, sauber zu den Servern geführt werden. Verantwortlich für die Stromzufuhr unserer Server sind jeweils zwei E3METER-Stromschienen pro Rack, welche über 36 C13- und sechs C19-Plugs verfügen. Diese sind seitlich der Racks vor den Holmen verbaut. Die Server werden jeweils an den C13- und die Netzwerkgeräte an den C19-Plugs der Stromschiene angeschlossen. Um eine redundante Stromzufuhr zu gewährleisten, sind beide Stromschienen mit einem CEE-Stecker an verschiedenen Stromverteilern (USV1 und USV2) verbunden. Die Stromschienen sind ausserdem 3-phasig und somit 11kW-redundant gesichert.

Unsere Racks sind aufgeteilt in zwei Segmente: Managed und Root. Das bedeutet, dass innerhalb dieser Segmente die Server nur für die jeweilige Produktsparte eingesetzt werden. Jedes Rack verfügt ausserdem über ein Partnerrack. Hierbei handelt es sich um ein Rack, welches komplett identisch ausgebaut ist, jedoch nicht im selben Warmgang steht. Da die Racks an jeweils zwei verschiedene Stromverteiler angeschlossen werden, führt auch ein allfälliger Ausfall eines Stromunterverteilers zu keinem Stromausfall. Die Partnerracks werden beispielsweise auch für unsere Managed Cluster genutzt - in diesem Fall sind beide Server des Setups jeweils in zwei Partnerracks untergebracht. Auch als Root-Server-Kunde ist so, dank den Partnerracks, ein High-Availability-Setup realisierbar.

Skizze eines Partnerrack-Setups mit den Anbindungen an die Stromverteiler

Bei Fragen zu unseren Racksetups steht Ihnen unser Datacenters-Team sehr gerne zur Verfügung.

Fahrudin Izic arbeitet bei nine.ch als Infrastructure Officer und ist unter anderem für den Einbau und die Verkabelung von Servern und Switches in unseren Rechenzentren zuständig.