Carsten Lux: "Data Lineage dreht den ETL-Prozess um"

Wie Fachbereiche und Entwickler in den Unternehmen die Herausforderungen der Datenflussanalyse und das Data Lineage meistern, erklärt Carsten Lux von ASG Technologies im Gespräch mit heise Developer.

Know-how  –  3 Kommentare
Carsten Lux: "Data Lineage dreht den ETL-Prozess um"

(Bild: pixabay)

heise Developer: Herr Lux, die Digitalisierung bringt eine zunehmend größere Datenflut mit sich. Welche Herausforderungen ergeben sich daraus für Unternehmen?

Carsten Lux: Es ist in der Tat so, dass Unternehmen mit immer mehr Datenquellen und größeren Datenvolumen zurechtkommen müssen. Dadurch wird es auch zunehmend schwieriger, den Überblick über die Datenverläufe zu behalten. Das wirkt sich sowohl auf die Compliance-Konformität als auch die Geschäftsprozesse der Unternehmen aus. Die Datenschutzgrundverordnung (DSGVO) ist wahrscheinlich die bekannteste Richtlinie. Aber in manchen Branchen sind bis zu 15 Richtlinien zu erfüllen.

heise Developer: Vor welchen konkreten Problemen stehen Unternehmen beim Thema Compliance?

Lux: Nehmen Sie beispielsweise den Fall, dass Unternehmen Datenflüsse innerhalb eines Data Warehouse transparent machen wollen, um genau belegen zu können, welchen Weg die Informationen durch das Unternehmen genommen haben – sprich, wer die Daten wann und wie verarbeitet hat. Anstrengungen, diese Prozesse händisch nachzuverfolgen, sind früher oder später zum Scheitern verurteilt. Um die Beziehungen zwischen Datenelementen im gesamten Unternehmen nachvollziehbar zu machen, sind Data-Intelligence-Techniken wie Data Lineage unverzichtbar.

heise Developer: Ist Data Lineage auch für Entwickler relevant?

Lux: Nicht nur für die verschieden Fachbereiche eines Unternehmens ist Data Lineage von besonderer Bedeutung, sondern auch für die Software- und Datenbank-Entwicklungsabteilungen. Data Lineage ist heute nicht nur als "Herkunftsanalyse" zu verstehen, sondern umfasst die Auswertung des Datenflusses in jede beliebige Richtung. Die früher als Impact-Analyse bezeichnete "Auswirkungsanalyse einer Änderung" heißt heute vielfach Forward Lineage.

Carsten Lux arbeitet als Account Executive Enterprise Data Intelligence Solutions bei ASG Technologies. Das Unternehmen versteht sich als Anbieter von Software in den Bereichen IT-Systems-Management und Informationsmanagement, mit denen Kunden ihre Daten von der Erfassung über die Analyse bis hin zur Verarbeitung verwalten können.

Auch der Auswertung der Zusammenhänge zwischen technischen Datenfeldern in Programmen und Datenbanken und der fachlichen Beschreibung als Business Term und Critical Data Element (CDE) sowie der Zuweisung des Data Owner kommt immer größere Bedeutung zu. Die für Entwickler und Fachbereiche verfügbare Information und Transparenz erhöht das Verständnis zwischen den Abteilungen und vermeidet teure Missverständnisse in Projekten.

heise Developer: Was sind die technischen Voraussetzungen für Compliance-Konformität?

Lux: Die IT-Infrastruktur muss darauf ausgerichtet sein. Grundsätzlich sind Content- und Data-Intelligence-Systeme nötig, um beispielsweise Anforderungen der DSGVO zu erfüllen. Eine Data-Intelligence-Anwendung ist für das Metadatenmanagement, also die Verwaltung der Informationen über Merkmale anderer Daten zuständig. Kommen also beispielsweise in einem Data Warehouse Informationen aus unterschiedlich strukturierten Datenquellen zusammen, erfolgt das durch den ETL-Prozess: dem Extrahieren, Transformieren und Laden der Daten. Beim Thema Data Lineage geht es darum, den ETL-Prozess umzudrehen und in umgekehrter Weise nachzuvollziehen. Hierbei gilt es, alle im Datenfluss vorhandenen Systeme zu betrachten und zu analysieren.