Confluent baut Apache Kafka für unbegrenzte Speicherung aus

Im Rahmen des Projekts Metamorphosis erweitert Confluent seine Event-Streaming-Cloud um automatisch verwalteten, unendlichen Speicher für Kafka.

Lesezeit: 1 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 2 Beiträge

(Bild: val lawless / shutterstock.com)

Von

Der Streaming-Plattform-Anbieter Confluent arbeitet an einem strategischen Umbau, der seinen Cloud-Dienst für Event Streaming einfacher, effizienter und kostengünstiger gestalten soll. Im Rahmen des Projekts Metamorphosis kündigt das Unternehmen nun eine auf Apache Kafka basierende unbegrenzte und automatisch verwaltete Speicherung (Infinite Storage) für Confluent Cloud an.

Bisher galten für die auf der Event-Streaming-Plattform bereitgestellten CKUs (Confluent Unit for Kafka) Speicherlimitierungen, da die Betreiber stets um eine Balance zwischen der von Entwicklern benötigten Aufbewahrungsdauer und den für den Speicher anfallenden Kosten bemüht waren. Diesen Konflikt will Confluent nun auflösen, da das von den ehemaligen Kafka-Entwicklern gegründete Unternehmen die Ansicht vertritt, dass die bisher üblichen Speicherintervalle von Tagen bis zu wenigen Wochen angesichts der wachsenden Zahl von Anwendungen und Diensten, die auf Event-Streaming-Daten angewiesen sind, nicht mehr ausreichend sei – wie Jun Rao, einer der Mitgründer von Confluent, in seinem Blogbeitrag ausführt.

Confluent Cloud will daher in Kürze für Standard und Dedicated Cluster unbegrenzten Speicher zur Verfügung stellen und damit auch dem offenbar von zahlreichen Kafka-Anwendern geäußerten Wunsch nachkommen, die Event-Streaming-Plattform als primäres Speichersystem zur Datenbank auszubauen. Durch die Kombination von aktuellen (Echtzeit) und historischen Daten in Kafka ließe sich der gesamte Systemaufbau so deutlich vereinfachen, um nicht nur die Genauigkeit der Erkenntnisse aus den Daten zu steigern, sondern um auch gleichzeitig Anwendern eine höhere Qualität der Applikationen und Dienste bereitzustellen. Bisher werden historische Daten – meist aus Kostengründen – in andere Datenspeicher ausgelagert und von dort nur bei entsprechendem Bedarf eingebunden.

Von der in Confluent Cloud als Tiered Storage (abgestufte Speicherung) umgesetzten unbegrenzten Datenhaltung sollen zahlreiche Anwendungsszenarien profitieren. Rao verweist in diesem Zusammenhang beispielsweise auf Banken, die dadurch nicht nur ihre gesetzlich auferlegten Speicherfristen leichter erfüllen, sondern auch Kunden einfacheren Zugang zu deren historischen Finanztransaktionen und Kontobewegungen verschaffen könnten.

Die neue Funktion soll Anwendern der Confluent Cloud zunächst auf AWS zur Verfügung stehen – ein Rollout auf andere Cloud-Provider-Plattformen folgt später. Für die von den Compute-Ressourcen abgekoppelte Speicherung fallen verbrauchsabhängige Kosten an, eine Provisionierung des Speichers vorab ist aber nicht erforderlich. Weitere Informationen zur unbegrenzten Speicherung mit Apache Kafka finden sich im Confluent-Blog sowie in der Dokumentation zum Projekt Metamorphosis.

(map)