Schulung · RAG & LLM-Apps · Data Engineering

RAG & LLM-Apps für Data Engineers

RAG und LLM-Anwendungen entwickeln: Embeddings, Vektordatenbanken, Chunking, Retrieval, Evaluierung, Kosten und Datenschutz.

Dauer
2 Tage (14 Std.)
Format
Online oder vor Ort
Sprache
Deutsch oder Englisch
Teilnehmende
offene Termine oder exklusiv für Ihr Team
Abschluss
Teilnahmebescheinigung

Überblick

In diesem Kurs verbinden wir RAG & LLM-Apps mit den typischen Abläufen im Bereich Data Engineering. Die Teilnehmenden arbeiten an realistischen Szenarien und nehmen sofort einsetzbare Prompts, Workflows und Checklisten mit.

Retrieval-Augmented Generation verbindet Sprachmodelle mit Ihrem eigenen Wissen: Handbücher, Verträge, Tickets, Wikis oder Produktdaten werden durchsuchbar gemacht und dem Modell zur Laufzeit als Kontext übergeben. So entstehen Assistenten, die fundiert mit Quellenangaben antworten, statt zu halluzinieren. In dieser zweitägigen Schulung bauen Sie eine vollständige RAG-Pipeline von der Dokumentaufbereitung über Embeddings und Vektordatenbank bis zur Antwortgenerierung und lernen anhand eigener Testdokumente, an welchen Stellschrauben die Qualität der Antworten tatsächlich entschieden wird.

Der zweite Tag führt vom Prototyp zur belastbaren Anwendung. Sie vergleichen Chunking-Strategien, kombinieren semantische und lexikalische Suche, setzen Reranking, Metadatenfilter und Query-Umformulierung ein und messen die Wirkung mit systematischen Evaluierungen. Hinzu kommen Prompt-Caching, Kostensteuerung, Latenzoptimierung, Berechtigungskonzepte auf Dokumentebene und datenschutzkonformer Betrieb mit Blick auf DSGVO und EU AI Act. Am Ende wissen Sie, wann klassisches RAG genügt, wann ein großes Kontextfenster oder ein agentisches Retrieval besser passt und wie Sie Ihre Architektur begründet auswählen.

Data Engineers bauen und betreiben die Pipelines, auf denen Reporting, Analytics und KI-Anwendungen aufsetzen: Ingestion aus Quellsystemen, Transformationen in dbt oder Spark, Orchestrierung mit Airflow oder Dagster, Datenqualität und Governance im Data Warehouse oder Lakehouse. Ein großer Teil der Arbeit besteht aus SQL, Python, YAML und viel Detailwissen über Schemas und Abhängigkeiten. KI-Coding-Assistenten und Agenten beschleunigen diese Arbeit deutlich: Sie schreiben dbt-Modelle samt Tests und Dokumentation, optimieren langsame Abfragen, erstellen Airflow-DAGs, migrieren Legacy-ETL-Strecken und erklären komplexe Lineage. Weil Daten oft sensibel sind, gehört der verantwortungsvolle Umgang mit Schemas, Beispieldaten und Zugangsdaten zum Kern dieses Kurses.

Das Training findet live statt – wahlweise online im virtuellen Klassenraum oder vor Ort in unseren Trainingsräumen in München, Salzburg, Berlin, Augsburg, Hannover, Bremen, Stuttgart und Kaiserslautern. Auf Wunsch kommen wir auch exklusiv für Ihr Team zusammen.

Für wen ist das Training?

  • Data Engineers und Analytics Engineers
  • BI-Entwickler:innen mit ETL- und Data-Warehouse-Verantwortung
  • Plattform-Teams für Data Lakehouse und Streaming
  • Entwickler:innen, die Legacy-ETL-Prozesse modernisieren

Typische Herausforderungen, die wir adressieren

  • Gewachsene ETL-Strecken in gespeicherten Prozeduren oder proprietären Tools ohne Tests
  • Langsame, teure Abfragen und ineffiziente Spark-Jobs
  • Fehlende Datenqualitätsprüfungen und unklare Verantwortlichkeiten für Datensätze
  • Lückenhafte Dokumentation von Datenmodellen, Lineage und Geschäftslogik

Das können Sie nach dem Training

  • Sie bauen eine vollständige RAG-Pipeline von der Dokumentaufbereitung bis zur Antwort mit Quellenangaben.
  • Sie wählen Embedding-Modell, Chunking-Strategie und Vektordatenbank begründet aus.
  • Sie verbessern die Trefferqualität mit hybrider Suche, Reranking und Metadatenfiltern.
  • Sie messen die Qualität Ihrer Anwendung mit systematischen Evaluierungen und erkennen Regressionen.
  • Sie setzen KI-Agenten für dbt-Modelle, Pipelines und SQL-Optimierung produktiv ein.
  • Sie modernisieren Legacy-ETL-Strecken mit KI-Unterstützung und sichern die Ergebnisse durch Abgleichstests ab.
  • Sie schützen sensible Daten, indem Sie mit Schemas, synthetischen Beispielen und minimalen Zugriffsrechten arbeiten.

Inhalte & Ablauf

Tag 1

Modul 1 Grundlagen von RAG und LLM-Anwendungen
  • Architektur einer RAG-Pipeline: Ingestion, Indexierung, Retrieval, Generierung
  • Embeddings verstehen: semantische Ähnlichkeit, Dimensionen, Modellauswahl
  • RAG, Fine-Tuning und lange Kontextfenster sinnvoll gegeneinander abwägen
  • Strukturierte Ausgaben, Quellenangaben und Umgang mit Halluzinationen
Modul 2 Dokumentaufbereitung und Chunking
  • PDF, Office-Dokumente, HTML und Tabellen zuverlässig extrahieren
  • Chunking-Strategien: feste Größe, strukturbasiert, semantisch, mit Überlappung
  • Metadaten anreichern und kontextuelle Zusammenfassungen pro Chunk erzeugen
  • Inkrementelle Aktualisierung und Löschung von Dokumenten im Index
Modul 3 Vektordatenbanken und Retrieval-Strategien
  • Vektordatenbanken und -erweiterungen im Vergleich, etwa pgvector, Qdrant, Weaviate oder OpenSearch
  • Hybride Suche aus Vektor- und Volltextsuche mit BM25
  • Reranking, Metadatenfilter und Query-Umformulierung
  • Agentisches Retrieval: das Modell entscheidet selbst über Suchschritte und Werkzeuge
Modul 4 Evaluierung und Qualitätssicherung
  • Testdatensätze aus echten Fragen aufbauen und pflegen
  • Retrieval-Metriken wie Recall und Precision sowie Antwortmetriken wie Faithfulness
  • LLM-as-a-Judge sinnvoll einsetzen und kalibrieren
  • Regressionstests bei Änderungen an Chunking, Modell oder Prompt

Tag 2

Modul 5 Betrieb, Kosten und Datenschutz
  • Prompt-Caching, Batch-Verarbeitung und Modellwahl zur Kostensenkung
  • Latenz optimieren und Antworten streamen
  • Berechtigungen auf Dokumentebene, Mandantentrennung und Schutz vor Prompt Injection
  • Datenschutz: Datenresidenz, Auftragsverarbeitung, Löschkonzepte, DSGVO und EU AI Act
Modul 6 Praxislabor: Data Engineering
  • dbt-Modelle mit Tests
  • SQL-Abfragen optimieren
  • Airflow- und Dagster-Pipelines
  • Legacy-ETL migrieren
  • Datenqualität automatisieren
  • Spark-Jobs analysieren
Modul 7 Datenschutz, Qualität & Transfer in den Alltag
  • Data-Engineering-Prompts sollten Schemas und synthetische Beispieldaten statt echter personenbezogener Datensätze enthalten; Datenbank-Credentials und Connection Strings gehören nicht in den Kontext. Beachten Sie DSGVO-Grundsätze wie Zweckbindung und Datenminimierung, dokumentieren Sie Datenflüsse nachvollziehbar und prüfen Sie neue Python-Pakete und Konnektoren auf Lizenz und Supply-Chain-Risiken.
  • Spielregeln für den sicheren KI-Einsatz im Team
  • Ergebnisse prüfen: Fakten, Quellen, Tests und Vier-Augen-Prinzip
  • Persönlicher Umsetzungsplan für die nächsten 30 Tage
  • Offene Fragen, Ausblick und Ressourcen zum Weiterlernen

Praxisszenarien aus Ihrem Bereich

dbt-Modelle mit Tests

Der Agent schreibt Staging-, Intermediate- und Mart-Modelle in dbt, ergänzt Schema-Tests, Quellendefinitionen und Beschreibungen und führt dbt build iterativ aus, bis Modelle und Tests erfolgreich durchlaufen.

SQL-Abfragen optimieren

Die KI analysiert Ausführungspläne, erkennt teure Joins, fehlende Partitionierung oder Clustering und schreibt Abfragen um, die weniger Daten scannen und reproduzierbar schneller laufen. Kostenersparnisse werden messbar belegt.

Airflow- und Dagster-Pipelines

Aus Anforderungen entstehen DAGs oder Assets mit sauberer Abhängigkeitsstruktur, Retries, Sensoren, Alerting und Backfill-Fähigkeit, inklusive Tests für Transformationslogik. Bestehende Namens- und Ordnerkonventionen werden dabei konsequent übernommen.

Legacy-ETL migrieren

Gespeicherte Prozeduren oder grafische ETL-Jobs werden analysiert, die Geschäftslogik dokumentiert und schrittweise in dbt- oder PySpark-Code überführt, abgesichert durch Abgleichsabfragen zwischen alt und neu. Abweichungen werden dokumentiert.

Datenqualität automatisieren

Der Assistent definiert Prüfungen für Vollständigkeit, Eindeutigkeit, Wertebereiche und Aktualität, implementiert sie mit dbt-Tests oder Great Expectations und richtet Benachrichtigungen bei Verstößen ein. Verantwortliche werden direkt informiert.

Spark-Jobs analysieren

Spark-UI-Informationen und Logs werden ausgewertet, Skew, Shuffles und Speicherprobleme erkannt und Optimierungen wie Broadcast Joins, Repartitionierung oder Caching vorgeschlagen. Jede Optimierung wird durch Laufzeitvergleiche vor und nach der Änderung belegt.

Mögliche Praxisprojekte im Kurs

Datenqualitäts-Dashboard

Eine kleine Webanwendung, die Testergebnisse aus dbt oder Datenqualitäts-Checks einliest und Trends, Ausreißer und betroffene Tabellen übersichtlich darstellt. Verantwortliche Teams sehen so sofort, wo Handlungsbedarf besteht.

Ingestion-Pipeline für eine REST-API

Eine Python-Pipeline, die Daten inkrementell aus einer API lädt, Schemaänderungen erkennt und die Ergebnisse partitioniert im Lakehouse ablegt. Fehlerhafte Datensätze werden gesondert protokolliert.

Lineage-Explorer

Ein Tool, das das dbt-Manifest ausliest und Abhängigkeiten zwischen Quellen, Modellen und Dashboards als interaktiven Graphen darstellt. So werden Auswirkungen von Änderungen schnell sichtbar.

Voraussetzungen

Solide Programmierkenntnisse in Python (oder alternativ TypeScript), Grundkenntnisse in Datenbanken und REST-APIs sowie erste Erfahrungen mit LLM-APIs. Sicherer Umgang mit SQL und Python sowie praktische Erfahrung mit einem Data Warehouse, dbt, Spark oder einem Orchestrierungswerkzeug.

Technische Voraussetzungen

Laptop mit Python, Git, Docker und Code-Editor sowie API-Zugang zu mindestens einem LLM- und Embedding-Anbieter. Zugangsdaten für die Übungen können bei Bedarf gestellt werden.

Datenschutz & Compliance

Data-Engineering-Prompts sollten Schemas und synthetische Beispieldaten statt echter personenbezogener Datensätze enthalten; Datenbank-Credentials und Connection Strings gehören nicht in den Kontext. Beachten Sie DSGVO-Grundsätze wie Zweckbindung und Datenminimierung, dokumentieren Sie Datenflüsse nachvollziehbar und prüfen Sie neue Python-Pakete und Konnektoren auf Lizenz und Supply-Chain-Risiken.

Terminvorschläge

Alle Termine sind Vorschläge – Ihr Wunschtermin ist jederzeit möglich.

  • Mi, 25. November 2026 – Do, 26. November 2026 Online Anfragen
  • Di, 8. Dezember 2026 – Mi, 9. Dezember 2026 Salzburg Anfragen
  • Di, 15. Dezember 2026 – Mi, 16. Dezember 2026 Online Anfragen
  • Di, 12. Januar 2027 – Mi, 13. Januar 2027 Bremen Anfragen
  • Mo, 25. Januar 2027 – Di, 26. Januar 2027 Online Anfragen
  • Di, 9. Februar 2027 – Mi, 10. Februar 2027 Augsburg Anfragen

Häufige Fragen

Wann ist RAG besser als Fine-Tuning?

RAG eignet sich, wenn ein Modell auf aktuelles, umfangreiches oder häufig wechselndes Wissen zugreifen und Quellen angeben soll. Fine-Tuning verändert eher Stil, Format oder spezialisiertes Verhalten. In vielen Projekten ist RAG der schnellere, günstigere und besser kontrollierbare Weg, gelegentlich ergänzt durch Fine-Tuning für Spezialaufgaben.

Welche Vektordatenbank sollten wir verwenden?

Das hängt von Datenmenge, bestehender Infrastruktur, Filteranforderungen und Betriebsmodell ab. Wer bereits PostgreSQL nutzt, kommt mit pgvector oft weit, spezialisierte Systeme punkten bei großen Datenmengen und hybrider Suche. Im Kurs vergleichen Sie mehrere Optionen praktisch und leiten Kriterien für Ihre Entscheidung ab.

Wie lässt sich RAG datenschutzkonform betreiben?

Wichtig sind die Wahl von Anbietern mit passender Datenresidenz und Auftragsverarbeitungsvertrag, Berechtigungsprüfungen auf Dokumentebene, ein Löschkonzept für Index und Logs sowie Datenminimierung bei personenbezogenen Inhalten. Für sensible Daten kommen auch selbst betriebene Modelle infrage. Wir behandeln diese Optionen anhand realistischer Architekturen.

Muss die KI Zugriff auf unsere Produktionsdaten haben?

Nein, und das ist meist auch nicht sinnvoll. Für die allermeisten Aufgaben reichen Schemas, Metadaten, Ausführungspläne und synthetische Beispieldaten. Im Kurs lernen Sie, wie Sie dem Agenten genau diesen Kontext bereitstellen, Lesezugriffe auf Entwicklungsumgebungen begrenzen und dennoch belastbare Ergebnisse erhalten.

Funktioniert das mit unserem Data Warehouse?

Die Arbeitsweisen sind plattformunabhängig und funktionieren mit Snowflake, BigQuery, Databricks, Redshift, Synapse oder PostgreSQL gleichermaßen. Wichtig ist, dem Assistenten den SQL-Dialekt und plattformspezifische Besonderheiten wie Partitionierung oder Clustering mitzuteilen. Wir zeigen, wie Sie das in Anweisungsdateien festhalten. So passt der generierte Code zuverlässig zur Plattform.

Was kostet die Schulung „RAG & LLM-Apps für Data Engineers“?

Die Schulung kostet pauschal 949 € zzgl. gesetzl. MwSt. pro Teilnehmer:in – unabhängig davon, ob sie online oder vor Ort stattfindet. Enthalten sind 2 Trainingstag(e) mit Live-Trainer:in, Kursunterlagen, Übungsumgebung und Teilnahmebescheinigung.

Kann ich einen eigenen Wunschtermin angeben?

Ja. Unsere Terminvorschläge sind eine Orientierung. Im Anfrageformular können Sie jederzeit einen Wunschtermin oder Zeitraum im Freitext angeben – wir prüfen die Verfügbarkeit und bestätigen innerhalb eines Werktags.

Findet der Kurs online oder vor Ort statt?

Beides ist möglich: live online im virtuellen Klassenraum oder vor Ort in München, Salzburg, Berlin, Augsburg, Hannover, Bremen, Stuttgart oder Kaiserslautern. Auf Wunsch führen wir das Training auch exklusiv für Ihr Team durch.

Weitere Kurse für Data Engineers

Weitere Kurse zu RAG & LLM-Apps

Alle 29 Kurse zu RAG & LLM-Apps

RAG & LLM-Apps · MünchenRAG & LLM-Apps · SalzburgRAG & LLM-Apps · BerlinRAG & LLM-Apps · AugsburgRAG & LLM-Apps · HannoverRAG & LLM-Apps · BremenRAG & LLM-Apps · StuttgartRAG & LLM-Apps · KaiserslauternRAG & LLM-Apps · Online