Netzwerkarchitektur bei nine.ch

nine Team Jan 23, 2017
Netzwerkarchitektur bei nine.ch

Um ein Netzwerk über mehrere Standorte und mit verschiedensten Kundengruppen realisieren zu können, braucht es neben den richtigen Geräten auch die richtige Architektur. In diesem Artikel möchten wir einen Überblick über den Aufbau des Netzwerks von nine.ch und die dafür notwendigen Schichten geben.

Übersicht

Bei nine.ch ist das Netzwerk in einer klassischen Core – Distribution – Access Architektur realisiert.

Vereinfachte Darstellung der Architektur
Vereinfachte Darstellung der Architektur

Diese Architektur erlaubt es uns, sowohl bei den Standorten als auch bei den sogenannten Netzwerksegmenten, flexibel zu sein. Ein Netzwerksegment stellt sich jeweils aus dem Standort und der Kundengruppe zusammen. Kunden von Managed-Produkten im Rechenzentrum e-shelter sind daher in einem anderen Segment untergebracht und somit getrennt von Colocation-Kunden im Rechenzentrum colozüri.ch.

Access

Beginnen wir mit der detaillierten Ansicht des untersten Layers, dem Access-Layer:

Access-Layer mit Verbindungen zum Server und zum Distribution-Layer
Access-Layer mit Verbindungen zum Server und zum Distribution-Layer

Der Access-Bereich besteht bei nine.ch aus zwei Top-of-Rack-Switches, an die alle Server angeschlossen werden. Wie das im Detail aussieht, kann im Blogbeitrag Blick in ein nine.ch-Rack nachgelesen werden.

Jeder der beiden 48-Port Brocade VDX Switches ist sowohl an einen Distribution-Router als auch an den zweiten Switch im Rack angeschlossen. So können wir sicherstellen, dass bei einem Ausfall eines Distribution-Routers weiterhin alle Pakete ihren Weg über den zweiten Router ins Internet finden.

Auf der Netzwerkseite sind Access-Ports mit dem entsprechenden VLAN auf den meisten Server aufgeschaltet. In einigen Fällen gibt es auch Trunks oder LACP-Bondings.

Distribution

Pro Segment gibt es zwei Distribution-Router der Redundanz wegen. An diesen kommen alle Racks des jeweiligen Segments zusammen.

In den Manged- und Root-Segmenten handelt es sich dabei um Brocade VDX Router, die neben 48x SFP+ Ports zusätzlich noch über 4x 40Gbit/s Ports verfügen. Die Besonderheit dieser Geräte liegt in der Bildung einer Single-Point of Management Fabric sowohl untereinander, als auch mit den Access-Switches. So können mit einem Login alle 20 Geräte einer Fabric gesteuert werden und die Konfigurationsdatei ist nicht an ein einzelnes Gerät gebunden, sondern wird in der Fabric verteilt.

Die Distribution-Router sind zu zwei verschiedenen Core-Routern verbunden, damit im Falle eines Ausfalls alles wie gewohnt weiterläuft.

Core

Kommen wir nun zum mächtigsten Teil unseres Netzwerks, dem Core-Layer.

Vier dieser Brocade MLXe-8 Router bilden unser Core-Netzwerk
Vier dieser Brocade MLXe-8 Router bilden unser Core-Netzwerk

Mit einem Leergewicht von 78kg und acht Interface-Slots ist dieses Gerät nicht nur gross, sondern hat auch netzwerktechnisch kein Problem mit Heavy-Load.

Pro Hauptstandort ist jeweils einer dieser Brocade MLXe-8 Router platziert. Die insgesamt vier Geräte sind dabei über einen Darkfiberring miteinander verbunden.

Verbindungen im Core Netzwerk untereinander und zu den Upstreams
Verbindungen im Core Netzwerk untereinander und zu den Upstreams

Die Core-Router verbinden jedoch nicht nur die Standorte untereinander und bilden den Uplink für die Distribution-Router, sondern ebnen auch den Weg ins Internet. Jeder von diesen Routern hat einen eigenen Link zu einem jeweils anderen Upstream-Provider. Dank grosszügig dimensionierten Interfacebandbreiten können wir so auch Lastspitzen gut abfangen.

Für so viel Traffic, Upstreams und IPs braucht es einiges an Rechenleistung. Core-Intern werden die verschiedenen Router per I-BGP ausgetauscht, von unseren Upstream-Providern erhalten wir per E-BGP über 600‘000 Routen. Hier gilt es nun zu bestimmen, welcher Upstream-Provider zu welchem Ziel den besten Weg hat. nine.ch selbst announced 61 Prefixes ins Internet, sodass unsere Kunden auf verschiedensten Wegen zu uns finden können.


Mit diesem Aufbau stellen wir sicher, dass selbst ein Ausfall von mehreren Geräten abgefangen werden kann und Ausfälle minimiert werden können. Für weitere Informationen über unsere Infrastruktur können Sie uns jederzeit telefonisch oder per E-Mail kontaktieren.