Entwicklung & Technik · Data Engineering

KI-Schulungen für Data Engineers

Data Engineers bauen und betreiben die Pipelines, auf denen Reporting, Analytics und KI-Anwendungen aufsetzen: Ingestion aus Quellsystemen, Transformationen in dbt oder Spark, Orchestrierung mit Airflow oder Dagster, Datenqualität und Governance im Data Warehouse oder Lakehouse. Ein großer Teil der Arbeit besteht aus SQL, Python, YAML und viel Detailwissen über Schemas und Abhängigkeiten. KI-Coding-Assistenten und Agenten beschleunigen diese Arbeit deutlich: Sie schreiben dbt-Modelle samt Tests und Dokumentation, optimieren langsame Abfragen, erstellen Airflow-DAGs, migrieren Legacy-ETL-Strecken und erklären komplexe Lineage. Weil Daten oft sensibel sind, gehört der verantwortungsvolle Umgang mit Schemas, Beispieldaten und Zugangsdaten zum Kern dieses Kurses.

Für wen ist das Training?

  • Data Engineers und Analytics Engineers
  • BI-Entwickler:innen mit ETL- und Data-Warehouse-Verantwortung
  • Plattform-Teams für Data Lakehouse und Streaming
  • Entwickler:innen, die Legacy-ETL-Prozesse modernisieren

Typische Herausforderungen, die wir adressieren

  • Gewachsene ETL-Strecken in gespeicherten Prozeduren oder proprietären Tools ohne Tests
  • Langsame, teure Abfragen und ineffiziente Spark-Jobs
  • Fehlende Datenqualitätsprüfungen und unklare Verantwortlichkeiten für Datensätze
  • Lückenhafte Dokumentation von Datenmodellen, Lineage und Geschäftslogik

Praxisszenarien aus Ihrem Bereich

dbt-Modelle mit Tests

Der Agent schreibt Staging-, Intermediate- und Mart-Modelle in dbt, ergänzt Schema-Tests, Quellendefinitionen und Beschreibungen und führt dbt build iterativ aus, bis Modelle und Tests erfolgreich durchlaufen.

SQL-Abfragen optimieren

Die KI analysiert Ausführungspläne, erkennt teure Joins, fehlende Partitionierung oder Clustering und schreibt Abfragen um, die weniger Daten scannen und reproduzierbar schneller laufen. Kostenersparnisse werden messbar belegt.

Airflow- und Dagster-Pipelines

Aus Anforderungen entstehen DAGs oder Assets mit sauberer Abhängigkeitsstruktur, Retries, Sensoren, Alerting und Backfill-Fähigkeit, inklusive Tests für Transformationslogik. Bestehende Namens- und Ordnerkonventionen werden dabei konsequent übernommen.

Legacy-ETL migrieren

Gespeicherte Prozeduren oder grafische ETL-Jobs werden analysiert, die Geschäftslogik dokumentiert und schrittweise in dbt- oder PySpark-Code überführt, abgesichert durch Abgleichsabfragen zwischen alt und neu. Abweichungen werden dokumentiert.

Datenqualität automatisieren

Der Assistent definiert Prüfungen für Vollständigkeit, Eindeutigkeit, Wertebereiche und Aktualität, implementiert sie mit dbt-Tests oder Great Expectations und richtet Benachrichtigungen bei Verstößen ein. Verantwortliche werden direkt informiert.

Spark-Jobs analysieren

Spark-UI-Informationen und Logs werden ausgewertet, Skew, Shuffles und Speicherprobleme erkannt und Optimierungen wie Broadcast Joins, Repartitionierung oder Caching vorgeschlagen. Jede Optimierung wird durch Laufzeitvergleiche vor und nach der Änderung belegt.

Mögliche Praxisprojekte im Kurs

Datenqualitäts-Dashboard

Eine kleine Webanwendung, die Testergebnisse aus dbt oder Datenqualitäts-Checks einliest und Trends, Ausreißer und betroffene Tabellen übersichtlich darstellt. Verantwortliche Teams sehen so sofort, wo Handlungsbedarf besteht.

Ingestion-Pipeline für eine REST-API

Eine Python-Pipeline, die Daten inkrementell aus einer API lädt, Schemaänderungen erkennt und die Ergebnisse partitioniert im Lakehouse ablegt. Fehlerhafte Datensätze werden gesondert protokolliert.

Lineage-Explorer

Ein Tool, das das dbt-Manifest ausliest und Abhängigkeiten zwischen Quellen, Modellen und Dashboards als interaktiven Graphen darstellt. So werden Auswirkungen von Änderungen schnell sichtbar.

Alle 10 Kurse für Data Engineers

Vibe & Agentic Coding (10)

Datenschutz & Compliance

Data-Engineering-Prompts sollten Schemas und synthetische Beispieldaten statt echter personenbezogener Datensätze enthalten; Datenbank-Credentials und Connection Strings gehören nicht in den Kontext. Beachten Sie DSGVO-Grundsätze wie Zweckbindung und Datenminimierung, dokumentieren Sie Datenflüsse nachvollziehbar und prüfen Sie neue Python-Pakete und Konnektoren auf Lizenz und Supply-Chain-Risiken.

Voraussetzungen

Sicherer Umgang mit SQL und Python sowie praktische Erfahrung mit einem Data Warehouse, dbt, Spark oder einem Orchestrierungswerkzeug.

Häufige Fragen

Muss die KI Zugriff auf unsere Produktionsdaten haben?

Nein, und das ist meist auch nicht sinnvoll. Für die allermeisten Aufgaben reichen Schemas, Metadaten, Ausführungspläne und synthetische Beispieldaten. Im Kurs lernen Sie, wie Sie dem Agenten genau diesen Kontext bereitstellen, Lesezugriffe auf Entwicklungsumgebungen begrenzen und dennoch belastbare Ergebnisse erhalten.

Funktioniert das mit unserem Data Warehouse?

Die Arbeitsweisen sind plattformunabhängig und funktionieren mit Snowflake, BigQuery, Databricks, Redshift, Synapse oder PostgreSQL gleichermaßen. Wichtig ist, dem Assistenten den SQL-Dialekt und plattformspezifische Besonderheiten wie Partitionierung oder Clustering mitzuteilen. Wir zeigen, wie Sie das in Anweisungsdateien festhalten. So passt der generierte Code zuverlässig zur Plattform.

Unverbindlich anfragen

Wir melden uns innerhalb eines Werktags mit Terminbestätigung oder Alternativvorschlag.

Format *
Gesamt 949 € zzgl. gesetzl. MwSt.