Streaming und Mainframe: alte Hardware-Architektur trifft moderne Software
Unterschiede zwischen Kafka und anderen Integrationstechniken
Und was unterscheidet Streaming-Systeme wie Kafka / Confluent von anderer Middleware, die über Techniken wie SOA, EAI, REST oder API für Integration sorgen soll?
Gegenüber klassischen Middleware-Ansätzen hat Daten-Streaming mit der Confluent-Plattform eine Reihe großer Vorteile: Sie wird auch mit asynchronen Vorgängen fertig, kann heterogene Datensätze genau wie ein ETL-Tool oder ein ESB integrieren und schafft gleichzeitig einen hohen Durchsatz bis hin zu Gigabytes pro Sekunde.
Die klassischen Message-Broker stoßen bei Echtzeit und hoher Skalierbarkeit an ihre Grenzen und müssen außerdem mit anderen Integration- und Streaming-Plattformen kombiniert werden, um verschiedene Systeme zu integrieren und Daten zu korrelieren. APIs und REST kommen auch in Confluent-Infrastrukturen vor. Das sind modernere, mit Clouds und mit Microservices kompatible Methoden, Applikationen zur Kommunikation mit ihrer Umgebung zu befähigen.
Wie sorgt Confluent dafür, dass beim Streaming nicht die Sicherheit und Vertraulichkeit kritischer Mainframe-Daten gefährdet wird?
Confluent ist ganz klar auf Sicherheit ausgelegt. Die Ereignisdaten in der Plattform dienen als „Single Source of Truth“, weil sie im Originalformat und unveränderlich in Confluent gespeichert bleiben, statt wie sonst üblich allerlei Transformationen unterzogen zu werden. Anwender haben ja keinen direkten Zugriff beispielsweise auf den Mainframe, wenn sie Daten über Confluent abfragen. Wer Daten aus Confluent abruft, bekommt sie, egal woher sie stammen, sicher, schnell, garantiert und zuverlässig. Mechanismen wie Authentisierung, Autorisierung und Verschlüsselung stehen bereit, um die Daten in der Plattform zu sichern, und unsere Kunden können sie je nach ihrem Bedarf einsetzen.
Zudem liegt unser Fokus auf „Data Governance“, also Themen wie Datenqualität, wer ist berechtigt, auf Daten zuzugreifen et cetera. Wir wollen Sichtbarkeit und Transparenz über die gesamte Streaming-Pipeline herstellen – vom Mainframe bis beispielsweise zu Snowflake. Da Confluent eine skalierbare Echtzeit-Verwaltung bietet, lassen sich damit auch regulatorische Anforderungen wie BAIT (Bankaufsichtliche Anforderungen an die IT) oder die DSGVO (Datenschutz-Grundverordnung) umsetzen.