Datentechnik | Data Engineering

Was Datentechnik in der Praxis umfasst

Data Engineering verbindet Datenquellen, Transformationsschritte und Zielsysteme zu einer funktionsfähigen Datenarchitektur. Typische Aufgaben sind das Extrahieren aus Fachanwendungen, das Bereinigen und Vereinheitlichen von Daten, das Modellieren für analytische oder operative Zwecke sowie das Laden in Datenplattformen. Hinzu kommen Themen wie Pipeline-Orchestrierung, Fehlerbehandlung, Versionierung, Dokumentation und die technische Absicherung von Datenqualität.

Einsatzfelder zwischen Quellsystemen und Nutzung

Die Leistung wird eingesetzt, wenn Daten aus mehreren Systemen zusammengeführt oder in verwertbare Strukturen überführt werden müssen. Das betrifft etwa ERP-, CRM-, Web-, Sensor- oder Transaktionsdaten, die für Reporting, Machine-Learning-Modelle, Dashboards oder interne Schnittstellen bereitgestellt werden. Auch bei der Migration von Datenbeständen, beim Aufbau eines Data Warehouse oder bei der Vereinheitlichung historischer und laufender Datenströme ist Data Engineering gefragt.

Verarbeitungsformen und Architekturansätze

Je nach Anforderung kommen unterschiedliche Verarbeitungsmodelle zum Einsatz. Batch-Verarbeitung eignet sich für periodische Läufe, während Streaming oder ereignisnahe Verarbeitung auf geringe Latenzen ausgerichtet ist. Technisch werden häufig ETL- oder ELT-Ansätze verwendet; als Zielumgebungen dienen etwa Data Warehouses, Data Lakes oder kombinierte Architekturen. Ob eine Lösung lokal, in der Cloud oder hybrid betrieben wird, hängt von Datenquellen, Sicherheitsanforderungen, Betriebsmodell und Integrationsaufwand ab.

Einordnung innerhalb von Data Science und Abgrenzung

Innerhalb der Hierarchie unter Datenwissenschaften | Data Science stellt Data Engineering die technische Grundlage für datenbasierte Arbeit bereit. Datenanalyse | Data Analytics nutzt die aufbereiteten Daten zur Auswertung und Interpretation, während Data Mining Muster, Zusammenhänge oder Auffälligkeiten in Datenbeständen identifiziert. Datendienste | Data Services fokussieren stärker auf die Bereitstellung von Daten, Schnittstellen oder datenbezogenen Betriebsleistungen. Data Engineering liegt davor und dazwischen: Es sorgt dafür, dass Daten konsistent, verknüpfbar und technisch nutzbar vorliegen.