Schulung – RAG & LLM-Apps – Testautomatisierung & QA

RAG & LLM-Apps für Testautomatisierung und QA

RAG und LLM-Anwendungen entwickeln: Embeddings, Vektordatenbanken, Chunking, Retrieval, Evaluierung, Kosten und Datenschutz.

Dauer
6 Stunden, ein Termin
Format
Online oder vor Ort
Sprache
Deutsch oder Englisch
Teilnehmende
offene Termine oder exklusiv für Ihr Team
Abschluss
Teilnahmebescheinigung

Überblick

„RAG & LLM-Apps für Testautomatisierung und QA“ ist ein praxisorientiertes Training für Rollen wie Testautomatisierer:innen und SDETs, QA-Engineers und Testmanager:innen und Entwickler:innen mit Verantwortung für Test-Suites. Sie lernen RAG & LLM-Apps nicht abstrakt, sondern an Aufgaben aus Ihrem Arbeitsalltag kennen – mit Beispielen, Übungen und Vorlagen aus dem Bereich Testautomatisierung & QA.

Retrieval-Augmented Generation verbindet Sprachmodelle mit Ihrem eigenen Wissen: Handbücher, Verträge, Tickets, Wikis oder Produktdaten werden durchsuchbar gemacht und dem Modell zur Laufzeit als Kontext übergeben. So entstehen Assistenten, die fundiert mit Quellenangaben antworten, statt zu halluzinieren. In dieser kompakten Schulung bauen Sie eine vollständige RAG-Pipeline von der Dokumentaufbereitung über Embeddings und Vektordatenbank bis zur Antwortgenerierung und lernen anhand eigener Testdokumente, an welchen Stellschrauben die Qualität der Antworten tatsächlich entschieden wird.

Der zweite Tag führt vom Prototyp zur belastbaren Anwendung. Sie vergleichen Chunking-Strategien, kombinieren semantische und lexikalische Suche, setzen Reranking, Metadatenfilter und Query-Umformulierung ein und messen die Wirkung mit systematischen Evaluierungen. Hinzu kommen Prompt-Caching, Kostensteuerung, Latenzoptimierung, Berechtigungskonzepte auf Dokumentebene und datenschutzkonformer Betrieb mit Blick auf DSGVO und EU AI Act. Am Ende wissen Sie, wann klassisches RAG genügt, wann ein großes Kontextfenster oder ein agentisches Retrieval besser passt und wie Sie Ihre Architektur begründet auswählen.

Qualitätssicherung steht unter Druck: Release-Zyklen werden kürzer, Anwendungen komplexer und durch KI-Coding entsteht mehr Code in kürzerer Zeit, der getestet werden will. Testautomatisierer:innen und QA-Engineers profitieren deshalb besonders von KI-Assistenten und Agenten. Diese leiten Testfälle aus User Stories und Akzeptanzkriterien ab, schreiben Playwright- oder Cypress-Tests mit robusten Selektoren, erzeugen API-Tests aus OpenAPI-Spezifikationen, analysieren Flaky Tests und bauen Testdatengeneratoren. Gleichzeitig verändert sich die Rolle: QA wird zur Instanz, die auch KI-generierten Code systematisch absichert. Im Kurs lernen Sie, KI für Testdesign, Automatisierung und Fehleranalyse einzusetzen und Teststrategien an die neue Entwicklungsgeschwindigkeit anzupassen.

Das Training findet live statt – wahlweise online im virtuellen Klassenraum oder vor Ort in unseren Trainingsräumen in München, Salzburg, Berlin, Augsburg, Hannover, Bremen, Stuttgart und Kaiserslautern. Auf Wunsch kommen wir auch exklusiv für Ihr Team zusammen.

Für wen ist das Training?

  • Testautomatisierer:innen und SDETs
  • QA-Engineers und Testmanager:innen
  • Entwickler:innen mit Verantwortung für Test-Suites
  • Fachliche Tester:innen, die in die Automatisierung einsteigen

Typische Herausforderungen, die wir adressieren

  • Instabile End-to-End-Tests mit zeitabhängigen Fehlern und fragilen Selektoren
  • Hoher Aufwand für Testfallerstellung, Pflege und Testdaten
  • Lückenhafte Abdeckung von APIs, Grenzfällen und Fehlerszenarien
  • Wachsende Mengen an KI-generiertem Code, die gezielt abgesichert werden müssen

Das können Sie nach dem Training

  • Sie bauen eine vollständige RAG-Pipeline von der Dokumentaufbereitung bis zur Antwort mit Quellenangaben.
  • Sie wählen Embedding-Modell, Chunking-Strategie und Vektordatenbank begründet aus.
  • Sie verbessern die Trefferqualität mit hybrider Suche, Reranking und Metadatenfiltern.
  • Sie messen die Qualität Ihrer Anwendung mit systematischen Evaluierungen und erkennen Regressionen.
  • Sie leiten Testfälle mit KI systematisch aus Anforderungen ab und automatisieren sie in Playwright, Cypress oder API-Tests.
  • Sie analysieren Flaky Tests und Abdeckungslücken mit KI-Unterstützung und beheben sie nachhaltig.
  • Sie passen Ihre Teststrategie an KI-gestützte Entwicklung an und sichern generierten Code gezielt ab.

Inhalte & Ablauf

Modul 1 Grundlagen von RAG und LLM-Anwendungen
  • Architektur einer RAG-Pipeline: Ingestion, Indexierung, Retrieval, Generierung
  • Embeddings verstehen: semantische Ähnlichkeit, Dimensionen, Modellauswahl
  • RAG, Fine-Tuning und lange Kontextfenster sinnvoll gegeneinander abwägen
  • Strukturierte Ausgaben, Quellenangaben und Umgang mit Halluzinationen
Modul 2 Dokumentaufbereitung und Chunking
  • PDF, Office-Dokumente, HTML und Tabellen zuverlässig extrahieren
  • Chunking-Strategien: feste Größe, strukturbasiert, semantisch, mit Überlappung
  • Metadaten anreichern und kontextuelle Zusammenfassungen pro Chunk erzeugen
  • Inkrementelle Aktualisierung und Löschung von Dokumenten im Index
Modul 3 Vektordatenbanken und Retrieval-Strategien
  • Vektordatenbanken und -erweiterungen im Vergleich, etwa pgvector, Qdrant, Weaviate oder OpenSearch
  • Hybride Suche aus Vektor- und Volltextsuche mit BM25
  • Reranking, Metadatenfilter und Query-Umformulierung
  • Agentisches Retrieval: das Modell entscheidet selbst über Suchschritte und Werkzeuge
Modul 4 Evaluierung und Qualitätssicherung
  • Testdatensätze aus echten Fragen aufbauen und pflegen
  • Retrieval-Metriken wie Recall und Precision sowie Antwortmetriken wie Faithfulness
  • LLM-as-a-Judge sinnvoll einsetzen und kalibrieren
  • Regressionstests bei Änderungen an Chunking, Modell oder Prompt
Modul 5 Betrieb, Kosten und Datenschutz
  • Prompt-Caching, Batch-Verarbeitung und Modellwahl zur Kostensenkung
  • Latenz optimieren und Antworten streamen
  • Berechtigungen auf Dokumentebene, Mandantentrennung und Schutz vor Prompt Injection
  • Datenschutz: Datenresidenz, Auftragsverarbeitung, Löschkonzepte, DSGVO und EU AI Act
Modul 6 Praxislabor: Testautomatisierung & QA
  • Testfälle aus Anforderungen ableiten
  • Playwright- und Cypress-Tests schreiben
  • Flaky Tests analysieren
  • API-Tests aus Spezifikationen
  • Testdaten generieren
  • Testabdeckung und Mutation Testing
Modul 7 Datenschutz, Qualität & Transfer in den Alltag
  • Testdaten sollten synthetisch oder wirksam anonymisiert sein, denn Produktionsdaten mit Personenbezug dürfen weder in Testumgebungen noch in Prompts ungeschützt verwendet werden (DSGVO). Zugangsdaten für Testsysteme gehören in Secret-Stores statt in Testcode; in regulierten Bereichen sind zudem Nachvollziehbarkeit und Dokumentation von Testergebnissen, etwa für NIS2- oder Cyber-Resilience-Act-Nachweise, sicherzustellen.
  • Spielregeln für den sicheren KI-Einsatz im Team
  • Ergebnisse prüfen: Fakten, Quellen, Tests und Vier-Augen-Prinzip
  • Persönlicher Umsetzungsplan für die nächsten 30 Tage
  • Offene Fragen, Ausblick und Ressourcen zum Weiterlernen

Praxisszenarien aus Ihrem Bereich

Testfälle aus Anforderungen ableiten

Der Assistent erzeugt aus User Stories und Akzeptanzkriterien strukturierte Testfälle mit Äquivalenzklassen, Grenzwerten und Negativszenarien, auf Wunsch als Gherkin-Szenarien für Behaviour-Driven Development. Lücken in den Anforderungen werden benannt.

Playwright- und Cypress-Tests schreiben

Die KI schreibt End-to-End-Tests mit rollenbasierten Selektoren, Page Objects oder Fixtures, sinnvollem Warten statt fester Pausen und führt sie iterativ aus, bis sie stabil laufen.

Flaky Tests analysieren

Der Agent wertet Testhistorie, Traces, Screenshots und Logs aus, identifiziert Ursachen wie Race Conditions, Testabhängigkeiten oder instabile Testdaten und schlägt nachhaltige Korrekturen vor. Die Ergebnisse fließen in Ihre Teststrategie ein.

API-Tests aus Spezifikationen

Aus OpenAPI-Beschreibungen entstehen API-Tests für Statuscodes, Schemas, Authentifizierung und Fehlerfälle sowie Contract-Tests, die Schnittstellenänderungen zwischen Teams früh sichtbar machen. Die Tests laufen automatisiert in der CI-Pipeline.

Testdaten generieren

Die KI erstellt Generatoren für realistische, synthetische Testdaten, Factories und Seed-Skripte, die Grenzfälle gezielt abdecken und ohne echte personenbezogene Daten auskommen. Datenschutzprobleme in Testumgebungen werden so vermieden.

Testabdeckung und Mutation Testing

Coverage-Berichte und Ergebnisse von Mutation-Testing-Werkzeugen werden ausgewertet, ungetestete Pfade benannt und fehlende Tests gezielt ergänzt, um die tatsächliche Aussagekraft der Suite zu erhöhen. Wirkungslose Tests werden sichtbar.

Mögliche Praxisprojekte im Kurs

Flaky-Test-Report

Ein Skript, das JUnit-XML-Ergebnisse mehrerer CI-Läufe zusammenführt, instabile Tests erkennt und eine priorisierte Liste mit Fehlermustern erzeugt. Die Liste dient als Grundlage für gezielte Stabilisierung.

Testdaten-Generator

Ein CLI, das aus einem Datenbankschema oder JSON-Schema realistische, synthetische Datensätze inklusive Grenzfällen erzeugt. Die Datenmenge und Verteilung lassen sich flexibel konfigurieren.

E2E-Suite für eine Demo-App

Eine Playwright-Testsuite mit Page Objects, visuellen Vergleichen und CI-Integration, die ein KI-Agent für eine bestehende Webanwendung aufbaut. Die Tests laufen parallel und liefern Traces bei Fehlern.

Voraussetzungen

Solide Programmierkenntnisse in Python (oder alternativ TypeScript), Grundkenntnisse in Datenbanken und REST-APIs sowie erste Erfahrungen mit LLM-APIs. Erfahrung in Softwaretest oder Testautomatisierung sowie Grundkenntnisse in mindestens einer Programmiersprache wie JavaScript, TypeScript, Python oder Java.

Technische Voraussetzungen

Laptop mit Python, Git, Docker und Code-Editor sowie API-Zugang zu mindestens einem LLM- und Embedding-Anbieter. Zugangsdaten für die Übungen können bei Bedarf gestellt werden.

Datenschutz & Compliance

Testdaten sollten synthetisch oder wirksam anonymisiert sein, denn Produktionsdaten mit Personenbezug dürfen weder in Testumgebungen noch in Prompts ungeschützt verwendet werden (DSGVO). Zugangsdaten für Testsysteme gehören in Secret-Stores statt in Testcode; in regulierten Bereichen sind zudem Nachvollziehbarkeit und Dokumentation von Testergebnissen, etwa für NIS2- oder Cyber-Resilience-Act-Nachweise, sicherzustellen.

Termine & Standorte

Pro Standort schlagen wir Ihnen einen Termin in rund vier Wochen vor. Ihr Wunschtermin ist jederzeit möglich.

  • München Fr, 11. Dezember 2026 6 Std. Anfragen
  • Salzburg Mi, 16. Dezember 2026 6 Std. Anfragen
  • Berlin Mi, 16. Dezember 2026 6 Std. Anfragen
  • Augsburg Mo, 14. Dezember 2026 6 Std. Anfragen
  • Hannover Do, 10. Dezember 2026 6 Std. Anfragen
  • Bremen Di, 15. Dezember 2026 6 Std. Anfragen
  • Stuttgart Mi, 16. Dezember 2026 6 Std. Anfragen
  • Kaiserslautern Fr, 11. Dezember 2026 6 Std. Anfragen
  • Online Mi, 16. Dezember 2026 6 Std. Anfragen

Häufige Fragen

Wann ist RAG besser als Fine-Tuning?

RAG eignet sich, wenn ein Modell auf aktuelles, umfangreiches oder häufig wechselndes Wissen zugreifen und Quellen angeben soll. Fine-Tuning verändert eher Stil, Format oder spezialisiertes Verhalten. In vielen Projekten ist RAG der schnellere, günstigere und besser kontrollierbare Weg, gelegentlich ergänzt durch Fine-Tuning für Spezialaufgaben.

Welche Vektordatenbank sollten wir verwenden?

Das hängt von Datenmenge, bestehender Infrastruktur, Filteranforderungen und Betriebsmodell ab. Wer bereits PostgreSQL nutzt, kommt mit pgvector oft weit, spezialisierte Systeme punkten bei großen Datenmengen und hybrider Suche. Im Kurs vergleichen Sie mehrere Optionen praktisch und leiten Kriterien für Ihre Entscheidung ab.

Wie lässt sich RAG datenschutzkonform betreiben?

Wichtig sind die Wahl von Anbietern mit passender Datenresidenz und Auftragsverarbeitungsvertrag, Berechtigungsprüfungen auf Dokumentebene, ein Löschkonzept für Index und Logs sowie Datenminimierung bei personenbezogenen Inhalten. Für sensible Daten kommen auch selbst betriebene Modelle infrage. Wir behandeln diese Optionen anhand realistischer Architekturen.

Brauche ich Programmierkenntnisse für diesen Kurs?

Grundkenntnisse in einer Programmiersprache sind hilfreich, da Sie generierte Tests lesen, verstehen und anpassen sollten. Fachliche Tester:innen mit wenig Programmiererfahrung profitieren dennoch stark, weil die KI Code erklärt und beim Einstieg in die Automatisierung unterstützt. Die Übungen sind so gestaltet, dass unterschiedliche Vorkenntnisse berücksichtigt werden.

Ersetzt KI die manuelle und explorative Qualitätssicherung?

Nein. KI automatisiert wiederkehrende Aufgaben wie Testfallerstellung, Skripting und Fehleranalyse und schafft so Zeit für exploratives Testen, Risikobewertung und fachliche Abnahmen. Gerade bei KI-generiertem Code wird das kritische Urteil erfahrener QA-Fachleute wichtiger, nicht weniger. Die Verantwortung für Qualität bleibt beim Menschen.

Was kostet die Schulung „RAG & LLM-Apps für Testautomatisierung und QA“?

Die Schulung kostet pauschal 949 € zzgl. gesetzl. MwSt. pro Teilnehmer:in – unabhängig davon, ob sie online oder vor Ort stattfindet. Enthalten sind 6 Stunden Live-Training mit Trainer:in, Kursunterlagen, Übungsumgebung und Teilnahmebescheinigung.

Kann ich einen eigenen Wunschtermin angeben?

Ja. Für jeden Standort schlagen wir Ihnen einen Termin in rund vier Wochen vor. Im Anfrageformular können Sie aber jederzeit einen Wunschtermin oder Zeitraum im Freitext angeben – wir prüfen die Verfügbarkeit und melden uns innerhalb eines Werktags.

Findet der Kurs online oder vor Ort statt?

Beides ist möglich: live online im virtuellen Klassenraum oder vor Ort in München, Salzburg, Berlin, Augsburg, Hannover, Bremen, Stuttgart und Kaiserslautern. Auf Wunsch führen wir das Training auch exklusiv für Ihr Team durch.

Kann der Kurs auf unser Team zugeschnitten werden?

Ja. Maßgeschneiderte Kurse kosten ca. 4.500 € mehr, je nach Thema und nach Absprache. Wir stimmen Inhalte, Beispiele und Übungen vorab mit Ihnen ab.

Weitere Kurse für Testautomatisierung und QA

Weitere Kurse zu RAG & LLM-Apps

Alle 29 Kurse zu RAG & LLM-Apps

RAG & LLM-Apps – MünchenRAG & LLM-Apps – SalzburgRAG & LLM-Apps – BerlinRAG & LLM-Apps – AugsburgRAG & LLM-Apps – HannoverRAG & LLM-Apps – BremenRAG & LLM-Apps – StuttgartRAG & LLM-Apps – KaiserslauternRAG & LLM-Apps – Online