An die Stelle des klassischen North-to-South-Routing treten immer häufiger Spine-Leaf-Architekturen mit sogenanntem East-to-West-Routing. Kreuzverbindungsmodule erleichtern den Aufbau solcher Routing-Topologien.

Die Anzahl virtualisierter Rechenzentrumsumgebungen wächst seit Jahren kontinuierlich. Large Scale Online Services, IP-Storage, Software-defined Networking (SDN) oder Software-as-a-Service (SaaS) generieren in Rechenzentren einen sehr großen Traffic und setzen eine optimale Nutzung vorhandener Server-Kapazitäten voraus.

Für Datacenter-Betreiber führt deshalb oft kein Weg an der Virtualisierung vorbei. Der Trend geht mittlerweile unverkennbar in Richtung eines Software-Defined Datacenter, in dem die Server-Infrastrukturen komplett virtualisiert und alle Speicher- und Rechenressourcen zu einem Pool zusammengefasst sind. Aus diesem Pool können den Anwendern dann flexibel die aktuell benötigten Ressourcen zugewiesen werden.

Für den Aufbau solcher Ressourcenpools genügt es freilich nicht, nur die Server-Strukturen anzupassen. Um per Software zentral auf alle Ressourcen zugreifen und diese situativ immer wieder neu zuteilen zu können, muss vielmehr auch die Netzwerkinfrastruktur des Rechenzentrums überarbeitet und auf die nötigen Flexibilitäts- und Redundanzlevel gebracht werden.

Das bedeutet für fast jedes Datacenter, dass zwischen den virtualisierten Servern zahlreiche weitere horizontale Ethernet-Verbindungen aufgebaut werden müssen, da der Umweg über den Aggregation Layer immer Zeit (Latenz) und Ressourcen (Bandbreite) kostet. Das numerische Verhältnis zwischen extern und intern gerouteten Verbindungen wird dadurch dramatisch verändert: Kamen früher auf eine interne Verbindung durchschnittlich vier extern geroutete Verbindungen, so hat sich dieses Verhältnis mittlerweile in sein Gegenteil verkehrt.

Seit zunehmend Plattform-Virtualisierungen – etwa auf Basis von Docker – genutzt werden, stehen einer externen vier intern geroutete Verbindungen gegenüber. Das heißt, dass der Löwenanteil des Datenverkehrs im Rechenzentrum heute intern abläuft und sich zwischen den virtualisierten Servern abspielt.

Doch es ist nicht nur die Anzahl interner Ethernet-Verbindungen, die sich im Kontext der Virtualisierung verändert. Um die im Ressourcenpool gebündelten Kapazitäten so flexibel wie möglich nutzen zu können, müssen darüber hinaus auch die Datenlaufzeiten optimiert und Übertragungsraten zwischen 10 und 40 Gigabit pro Sekunde (Gbit/s) erreicht werden. Das erfordert eine Abkehr von klassischen Routing-Strategien.

Abbildung 1a: Die traditionelle dreischichtige Router-Architektur. (Bild: Fibercon)

Über das altbewährte vertikale North-to-South-Routing mit den Ebenen der Core-, Aggregations- und Access-Router (siehe: Abbildung 1a) lässt sich eine sinnvolle Verknüpfung virtualisierter Server kaum noch realisieren. Tatsächlich steht diese dreischichtige, kaskadenartige Routing-Topologie, die ursprünglich einmal für das externe Routing entwickelt worden war, dem Aufbau laufzeitoptimierter Server-Verbindungen im Wege.

Abbildung 1b: Die zweischichtige Spine-Leaf-Architektur. (Bild: Fibercon)

Vor diesem Hintergrund sind viele Rechenzentrumsbetreiber dazu übergegangen, das dreistufige North-to-South-Routing durch eine zweistufige Spine-Leaf-Achitektur zu ersetzen, die auch unter dem Namen East-to-West-Routing bekannt ist. (siehe: Abbildung 1b). Für diese Routing-Topologie ist ein Kreuzverbindungsschema charakteristisch, bei dem jeder Router des Spine-Layers ohne Zwischenschritte mit jedem Router des Leaf-Layers verknüpft ist (siehe: Abbildung 2).

Die klassische Server-basierte Zwischenebene des Aggregation Layers entfällt also und wird durch eine ausschließlich netzwerkbasierte, redundant ausgeführte Ebene ersetzt – den so genannten Mesh-Layer. Die Router werden dabei über faseroptische Gigabit-Ethernet-Module in Gestalt von SFP- und QSFP-Transceivern verknüpft. Auf Leaf-Seite sind hier Transceiver für Datenraten von 0,1 bis 25 Gbit/s, auf Spine-Seite Transceiver für Raten von 10 bis 100 Gbit/s üblich.

Abbildung 2: Das Kreuzverbindungsschema einer Spine-Leaf-Architektur. (Bild: Fibercon)

Auf die Geschwindigkeit der Datenübertragung wirkt sich dieser Ansatz höchst vorteilhaft aus: Im neuen East-to-West-Schema sind die Router jeweils nur ein Hop voneinander entfernt, was die Datenlaufzeit ganz erheblich verkürzt.

Ein willkommener Nebeneffekt der neuen Routing-Architektur ist zudem die Entstehung zahlreicher paralleler Pfade. Diese sollen durch neuere Multipfad-Protokolle wie TRILL (Transparent Interconnection of Lots of Links) oder SPB (Shortest Path Bridging) gezielt nutzbar gemacht werden, ältere Protokolle wie STP (Spanning-Tree-Protocol) werden dabei konsequent abgelöst. Datacenter-Betreiber gehen davon aus, dass sich dadurch vor allem im Storage-Bereich deutliche Bandbreitengewinne ergeben und Latenzzeiten signifikant reduziert werden.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Spine-Leaf-Architekturen praktisch umzusetzen, gestaltete sich bisher allerdings recht schwierig. Vor allem die lückenlose Realisierung des Mesh-Layers erwies sich regelmäßig als Herausforderung – ergab sich bei wachsender Router-Zahl doch eine hohe Anzahl paralleler Verbindungen, die zu immer komplexeren Leitungsverbindungen führte.

Bei jeder Spine-Leaf-Topologie sind zur Vernetzung von M=∑ Spine-Routern und N=∑ Leaf-Routern genau M x N faseroptische Verbindungen erforderlich. Schon ein schlankes Kreuzverbindungsschema, das 8 Leaf-Router mit 8 Spine-Routern verknüpft, setzt also 64 Verbindungen voraus – inklusive 128 SFP-Transceivern als optische Aktivkomponenten.

Das lässt erahnen, welche Dimensionen in einem Großrechenzentrum zu bewältigen sind. Muss die Server-Infrastruktur dann womöglich noch rasch skaliert werden, gelingt es kaum noch, das East-to-West-Verbindungsschema zuverlässig und lückenlos umzusetzen.

Warum sich der Aufbau von Spine-Leaf-Architekturen oft nur schwer bewältigen ließ, wird noch deutlicher, wenn man sich die Patch-Technik im Mesh-Layer vor Augen führt. Die Kreuzverbindungen wurden dort bisher stets durch Single-Fiber-Patch-ungen realisiert. Spine- und Leaf-Geräte werden dabei jeweils am Patchfeld abgebildet, die Router-Signale per Trunkkabel durch das Rechenzentrum geleitet und im Mesh-Layer via Breakout-Kabel auf die Patch-Felder geschaltet.

Abbildung 3: Ein Kreuzverbindungsschema der Spine-Leaf-Architektur auf Basis integrierter, faseroptischer Kreuzverbindungsmodule; hier exemplarisch mit dem Produkt "Crosscon". (Bild: Fibercon)

Das heißt im Endeffekt, dass der Netzwerktechniker eine Vielzahl einzelner LC-Duplex-Verbindungen stecken muss. Das erzeugt einen hohen Arbeits- und Kostenaufwand und stellt zugleich eine ergiebige Fehlerquelle dar. Denn angesichts der hohen Anzahl an Steckverbindungen ist eine falsche Zuordnung schnell passiert. Den Fehler zu finden und beheben, wird dann umso schwieriger; denn eine lückenlose Dokumentation ist bei derart umfangreichen Kreuzverbindungs-Patches fast unmöglich.

Durch technologische Weiterentwicklungen ist es jedoch inzwischen möglich geworden, die Kreuzverbindungen im Mesh-Layer einfacher, schneller und klar strukturiert aufzubauen. Das setzt allerdings die Bereitschaft voraus, vom Konzept des Patchen abzuweichen und stattdessen auf so genannte Kreuzverbindungsmodule wie das von Fibercon entwickelte und von LWL-Sachsenkabel (Euromicron Gruppe) gefertigte „Crosscon“-System zu setzen (vergleiche: Abbbildung 4).

Diese Module ersetzen Patch-Felder und Patch-Kabel im Bereichs- sowie Hauptverteiler und sind als 19‘‘-Rack-Einschub verfügbar. Der große Vorteil: Sie weisen intern eine innovative, dreidimensionale Vernetzung der einzelnen Kanäle (Verbindungen) auf, durch das die erforderliche Verbindungsanzahl von n2 Einzelverbindungen auf n Parallelverbindungen im Mesh-Layer reduziert wird.

Abbildung 4: Das Kreuzverbindungsmodul "Crosscon" mit 8x8 faseroptischen URM-Verbindungen (SMF). (Bild: Fibercon)

Die Module und die Router des Spine- beziehungsweise Leaf-Layers werden über klassische Trunk-Kabel miteinander verbunden. Einzelverbindungen entfallen vollständig, die Anzahl der Steckvorgänge wird drastisch reduziert. An die Stelle gepatchter und dadurch zunehmend unübersichtlicher Kreuzverbindungsstrukturen tritt damit ein klar strukturierter Aufbau des Mesh-Layer, der jederzeit problemlos zu überblicken ist.

Spine-Leaf-Architekturen umzusetzen, wird erheblich einfacher, wenn Anwender nicht auf gepatchte Verbindungen, sondern vielmehr auf Kreuzverbindungsmodule setzen. Die neue Technologie lässt übersichtliche, klar strukturierte Verbindungswege entstehen und optimiert so Flexibilität und Effizienz der Netzwerkinfrastruktur.

Durch konsequente Beseitigung von Fehlerquellen wird zudem die Verfügbarkeit erhöht. Auf dem Weg zu einer strukturierten Datacenter-Verkabelung nach DIN EN 50173-5 und DIN EN 50600-4 sind die Module somit ein wichtiger Meilenstein – auch wenn der Verzicht auf Patches im Mesh-Layer den standardisierten Verfahrensweisen auf den ersten Blick widerspricht. Denn die Grundidee einer strukturierten Verkabelung in virtualisierten Recehnzentrumsumgebungen lässt sich mit Kreuzverbindungsmodulen weitaus besser umsetzen als mit Hilfe klassischem Patchen. Im Mesh-Layer wird die strukturierte RZ-Verkabelung so quasi neu definiert.

Aktuell gestatten Kreuzverbindungsmodule wie das Crosscon-System die Realisierung von Kanalbreiten mit bis zu 32 x 32 Fasern. Da sich die Module kaskadisch erweitern lassen, gibt es für die Integration weiterer Router jedoch keine numerische Begrenzung. Das gibt Anwendern maximalen Bewegungsspielraum beim Aufbau ihrer Spine-Leaf-Architekturen.

Erstinstallationen und Skalierungen sind sehr schnell realisiert – nicht zuletzt auch dank der Trunk-Kabel-Anbindung der Router. Wer möchte, kann außerdem fixe Mesh-Layer-Bausteine definieren, die dann entweder als standardisierte Erweiterungsstrukturen oder als redundanter Mirror in die bestehende Topologie integriert werden.

* Philipp Nölle arbeitet für die Fibercon GmbH und Sandro Malessa für die LWL-Sachsenkabel GmbH, die zur Euromicron-Gruppe gehört.

Trends, die auf die Netzwerkplanung Einfluss nehmen

400 Gb ist näher als gedacht

Skalierbare Netzwerk- und Sicherheitsdienste im Rechenzentrum

Cookie-Manager AGB Hilfe Kundencenter Mediadaten Datenschutz Impressum & Kontakt Autoren

Copyright © 2022 Vogel Communications Group

Diese Webseite ist eine Marke von Vogel Communications Group. Eine Übersicht von allen Produkten und Leistungen finden Sie unter www.vogel.de

Ethernet Alliance; HPE Aruba; dtm Datentechnik Moll GmbH; Fibercon; gemeinfrei - geralt/Pixabay; Vogel IT-Medien GmbH; Vogel IT-Medien; TDE – Trans Data Elektronik GmbH (tde); gemeinfrei: Gerd Altmann; gemeinfrei: Hans; Beyond.pl; OVHcloud; temp-64GTX - stock.adobe.com; OCP; Michael Gaida; kalhh; gemeinfrei: Myriams-Fotos; gemeinfrei sosinda; D4S/TU Berlin; Elias; gemeinfrei: Willi Heidelbach; Huawei Technologies; Samsung; Infinidat; NovaStor; Atix AG; Rational Einbauküchen Solutions GmbH; Ginkgo Analytics; Quix Quantum; Forschungszentrum Jülich / Sascha Kreklau ; Michael Traitov - stock.adobe.com; EMC - Home of Data; ilya_levchenko - stock.adobe.com; Weissblick - stock.adobe.com; Global Switch; Google; Atnorth; Envia Tel; Boon Edam GmbH