The Datacenter as a Computer

Das Konzept des "Warehouse-Scale Computer" bildet die Grundlage für global angelegte Cloud-Rechenzentren. Das Buch "The Datacenter as a Computer" beleuchtet die Ansätze von Google, Microsoft, Amazon & Co.

Literatur  –  0 Kommentare
Server, Rechenzentrum, Vorratsdatenspeicherung

Luiz André Barroso, Urs Hölzle, Parthasarathy Ranganathan
The Datacenter as a Computer: Designing Warehouse-Scale Machines,
Third Edition

Morgan & Claypool, 2018
209 Seiten, kostenfrei als PDF
ISBN 978-1-68173-433-0

Die Grundlagen für moderne Techniken wie die Cloud, Kubernetes oder Hadoop wurden in den ersten Jahren nach dem Millennium gelegt. Diese Entwicklung begleitet seit 2009 mit dem Erscheinen der ersten Ausgabe das Buch "Designing Warehouse-Scale Machines", von dem 2018 die dritte erweiterte Auflage erschienen ist. Dieser Referenztext für das Feld "Internet Scale", mitverfasst von Urs Hölzle, Googles Verantwortlichem für Infrastruktur und die Google Cloud, beschreibt die gegenüber klassischen Ansätzen fundamental andere Herangehensweise, ein Rechenzentrum aufzubauen und Dienste ins Internet zu stellen.

Im Kern dieses neuen Ansatzes steht der sogenannte "Warehouse-Scale Computer" (WSC). Im Gegensatz zum althergebrachten Rechenzentrum läuft nicht jede Applikation auf dedizierten einzelnen Maschinen. Stattdessen übernimmt eine zwischen die Rechner und die Anwendungen eingezogene Schicht ("cluster-level infrastructure") die Aufgabe, alle Ressourcen wie Netzwerk, Speicher und Rechenpower zusammenzufassen und gesamtheitlich zu verwalten – ähnlich wie es ein Betriebssystem in jedem Computer tut.

Cluster-level Infrastructure

Diese Zwischenschicht ist in der Lage, neuartige große verteilte Anwendungen laufen zu lassen, wie YouTube, Office 365, Google Maps oder die Google-Suche. Aus dem Rechenzentrum ist ein Computer geworden, der das ganze Rechenzentrum umfasst. Darauf bezieht sich der Begriff "Warehouse-scale". Wo, auf welchen und auf wie vielen Maschinen eine Anwendung läuft, ist dabei unerheblich. Bei Google heißt diese interne Software "Borg". Kubernetes ist die dritte Generation, eine Re-Implementierung von Borg und als Open Source für jedermann frei verwendbar.

The Datacenter as a Computer: Designing Warehouse-Scale Machines, Third Edition (Bild: Morgan & Claypool Publishers)

Andere Unternehmen haben mit ähnlichen WSC-Architekturen nachgezogen, nicht zuletzt Amazon, Microsoft und Facebook. Im Buch steht aufgrund des Arbeitsgebers der Autoren die Herangehensweise von Google stark im Vordergrund, Alternativen wie Apache Mesos oder Amazons DynamoDB finden aber ebenso Erwähnung. In der neuesten Ausgabe wird auch Docker in diesen Zusammenhang eingeordnet, die Containerisierung ist ein zentrales Element der WSC-Architektur.

Die geänderte Herangehensweise stellt alle Aspekte des Rechenzentrums auf den Prüfstand. Da der einzelne Rechner austauschbar geworden ist, weil andere im Verbund seine Aufgaben leicht übernehmen können, ist es möglich, kostengünstigere Hardware zu verwenden. Darüber hinaus werden andere Netzwerkarchitekturen notwendig. Für den laufenden Betrieb sind vor allem die Stromkosten ganz wesentlich. Alle diese Themen behandelt das Buch im Detail: Sicherheit, Wirtschaftlichkeit und Kosten, Energiekosten, Buy versus Build, Widerstandsfähigkeit gegen Ausfälle sowie eine möglichst geringe "Tail Latency", also gleiche Performance für alle Anwendungen.

Zwischen Optimierung und Universalität

WSC-Cluster sind nicht auf eine bestimmte Anwendung hin optimiert, wie das Abfragen eines Suchindex, eine Online-Office-Suite oder das Abspielen von Videostreams. Die Autoren berichten, dass von der Planung solcher Workloads bis zur konkreten Nutzung des WSC die Anforderungen der Anwendungen sich bereits wieder verändert haben. Rechenzentren brauchen nach wie vor viel Kapital und eine mehrjährige Bauzeit, was sich auch in den aktuellen Bilanzen von Google, Amazon und Microsoft niederschlägt. Deshalb ist es eine interessante Erkenntnis des Buches, dass es von Vorteil ist, im selben WSC ganz verschiedene Anwendungen nebeneinander laufen zu lassen, die sich in Kritikalität, Lastspitzen und Ressourcenanforderungen unterscheiden und damit ergänzen.

Neue Anwendungen führen auch zu neuen Entwicklungen beim Warehouse-Scale Computer. Die vorliegende Ausgabe geht auf aktuelle Entwicklungen detailliert ein. Eine wesentliche Neuerung sind Deep-Learning-Anwendungen. Die Autoren stellen dar, welches Wachstum KI bei Google und damit in ihren Rechenzentren erfahren hat.

Spätestens seit Spectre und Meltdown ist die kurzfristige breite Aktualisierung von Host-Betriebssystemen und sogar der Firmware mit Sicherheitspatches ein Thema. Innerhalb eines WSC lässt sich jeder Teil der Anwendung – in der Regel durch einen Container oder VM repräsentiert – verschieben (sogenannte "Live Migration"), ohne dass dies für den Nutzer der Anwendung spürbar würde.

Hardware-Trends

Das Buch geht im Detail auf Adaptionen der Rechenzentrums-Hardware ein. Die Autoren beleuchten in diesem Zusammenhang zwei Trends: einerseits die Bestrebung, immer mehr einfache, kleine Maschinen zu deployen und von High-End-Servern wegzugehen. Andererseits der Trend, Spezialhardware zu nutzen. An erster Stelle sind hier "hochgezüchtete" Grafikkarten zu nennen, die vorzugsweise in den Bereichen Machine Learning und Rendering zum Einsatz kommen.

Noch weiter geht der Trend mit Cloud-Anbieter-spezifischer Hardware wie Googles Tensor Processing Units (TPU). Die Beschleuniger sind komplett auf den Anwendungsbereich Deep Learning zugeschnitten. Sie beschleunigen aber nicht nur das Training und die Berechnung der Modelle, sondern bieten in erster Linie Anwendern einen vereinfachten Zugriff auf Machine-Learning-Modelle wie Übersetzungen und Bilderkennung. Microsoft fokussiert sich bei seinen Azure-Diensten auf ASICs und Amazon vertraut auf FPGAs.

Fazit

"The Datacenter as a Computer" (PDF) bietet einen 360-Grad-Blick auf alle Aspekte eines modernen Cloud-Rechenzentrums und die darin laufenden Anwendungen, von der Netzwerkanbindung über Hard- und Software bis zum Monitoring. Es vermittelt ein breites Verständnis davon, wie heute IT in der Cloud von den Technologievorreitern gemacht wird. (map)

Bernd Fondermann
ist freier Softwarearchitekt. Er hat eine Schwäche für verteilte Systeme sowie Datenspeicher, die ohne SQL abgefragt werden können. Er ist Member der Apache Software Foundation und hat seine Schwerpunkte in den Kubernetes- und Hadoop-Ökosystemen.