Zurück zu Projekten

Verkehr & Infrastruktur · Data Engineering

Data Warehouse neu gedacht

Ergebnis

Moderne, skalierbare Datenplattform als verlässliche Grundlage. Automatisierte Pipelines und Reporting – weniger Aufwand, weniger Fehlerquellen.

PythonSQLApache AirflowdbtData Warehouse DesignELT

Ausgangslage

Ein gewachsenes Data Warehouse stieß bei Wartbarkeit und Skalierung an seine Grenzen. Die Datenflüsse waren heterogen und in Teilen schwer nachvollziehbar – eine verlässliche, zukunftsfähige Grundlage für Analysen fehlte.

Vorgehen

Ich habe das Data Warehouse neu konzipiert und implementiert und die Datenflüsse dafür sauber analysiert und neu strukturiert. Die Pipelines habe ich mit Python, SQL und Airflow automatisiert und die Architektur konsequent in Richtung eines modernen ELT-Ansatzes weiterentwickelt: Die Transformationslogik habe ich mit dbt direkt im Warehouse umgesetzt – versionierbar, testbar und nachvollziehbar. Datenstrecken und Reporting laufen damit automatisiert statt manuell.

Ergebnis

  • Moderne, skalierbare Datenplattform als verlässliche Grundlage.
  • Transparente, testbare Transformationslogik durch den Wechsel von reinem ETL hin zu ELT mit dbt.
  • Automatisierte Daten-Pipelines und automatisiertes Reporting – weniger Aufwand, weniger Fehlerquellen.
  • Messbare Wirkung: [z. B. „Reporting-Aufwand um X % reduziert" / „Y Modelle in dbt überführt" – mit echten Zahlen ergänzen]