Menü
Developer

Support für Kubernetes in Apache Spark 2.3

Apache Spark, das Framework für Clustercomputing, wurde in der aktuellen Version 2.3 um den nativen Support für Kubernetes ergänzt. Nutzer können Spark-Workloads nun auf einem existierenden Kubernetes 1.7+ Cluster betreiben.

Von
vorlesen Drucken Kommentare lesen
Support für Kubernetes in Apache Spark 2.3

Entwickler können jetzt zwei der bekanntesten Open-Source-Projekte – Apache Spark als Anwendung für das Clustercomputing und Kubernetes als Plattform zur Orchestrierung von Container-Anwendungen – nun sehr viel direkter miteinander einsetzen. Die aktuelle Version 2.3 von Apache Spark stellt ihnen die native Unterstützung von Kubernetes zur Verfügung.

Dadurch sollen die Nutzer von Apache Spark dazu in der Lage sein, die entsprechenden Spark-Workloads problemlos auf einen bereits existierenden Kubernetes 1.7+ Cluster laufen zu lassen. Sie können so die Fähigkeit von Spark zur Verwaltung verteilter Datenverarbeitungsaufgaben nutzen, während die Apache-Spark-Workloads direkt die Möglichkeiten einsetzen können, die ihnen von Kubernetes zur Verfügung gestellt werden. So können Entwickler direkt die Mandantenfähigkeit der Kubernetes-Cluster und das Teilen via Namespaces und Quotas nutzen. Auch administrative Features wie die Pluggable Authorization und die Protokollierung von Kubernetes können sie direkt verwenden.

(Bild: Kubernetes)

In ihrem Blogeintrag heben die Kubernetes-Entwickler zudem hervor, dass zur Nutzung dieser neuen Features und Vorteile keine Änderungen oder neue Installationen auf dem Kubernetes-Cluster notwendig sind. Nutzer müssen nur ein Container-Image anlegen und die richtigen RBAC-Rollen (Role-Based Access Control) für ihre Spark-Anwendung aufsetzen. Dabei arbeitet eine native Spark-Anwendung dann als Custom Controller, der Kubernetes-Ressourcen als Antwort auf eine Anfrage des Spark-Schedulers entsprechend anlegt. Wer es selbst auf seinem Kubernetes-Cluster ausprobieren will, kann dazu die Binaries des offiziellen Spark 2.3.0-Release von der Webseite von Apache Spark herunterladen. (fms)