Formation · RAG & applications LLM · Data engineering

RAG & applications LLM pour les data engineers

Développer des applications RAG et LLM : embeddings, bases vectorielles, chunking, retrieval, évaluation, coûts et protection des données.

Durée
2 jours (14 h)
Format
En ligne ou en présentiel
Langue
Allemand ou anglais
Participants
sessions ouvertes ou intra-entreprise
Attestation
Attestation de participation

Présentation

Cette formation associe RAG & applications LLM aux processus quotidiens du domaine Data engineering. Les participants travaillent sur des scénarios réalistes et repartent avec des prompts, des workflows et des checklists immédiatement utilisables.

La génération augmentée par récupération, ou RAG, relie les modèles de langage à vos propres connaissances : manuels, contrats, tickets, wikis ou données produits deviennent interrogeables et sont fournis au modèle comme contexte au moment de la requête. Vous obtenez des assistants qui répondent sur des bases solides, sources à l’appui, au lieu d’halluciner. Pendant ces deux jours, vous construisez un pipeline RAG complet, de la préparation des documents à la génération des réponses en passant par les embeddings et la base vectorielle, et identifiez les leviers qui font réellement la qualité.

Le second jour mène du prototype à une application robuste. Vous comparez les stratégies de chunking, combinez recherche sémantique et lexicale, appliquez reranking, filtres de métadonnées et reformulation des requêtes, puis mesurez leur effet grâce à des évaluations systématiques. Sont également abordés le prompt caching, la maîtrise des coûts, l’optimisation de la latence, les droits d’accès au niveau des documents et une exploitation conforme au RGPD et à l’AI Act européen. Vous saurez quand un RAG classique suffit, quand une grande fenêtre de contexte ou un retrieval agentique convient mieux, et comment justifier vos choix d’architecture.

Les data engineers construisent et exploitent les pipelines sur lesquels reposent reporting, analytique et applications d’IA : ingestion depuis les systèmes sources, transformations avec dbt ou Spark, orchestration avec Airflow ou Dagster, qualité et gouvernance des données dans l’entrepôt ou le lakehouse. Le travail mêle SQL, Python, YAML et une connaissance fine des schémas et des dépendances. Les assistants et agents de codage IA l’accélèrent nettement : ils écrivent des modèles dbt avec tests et documentation, optimisent les requêtes lentes, créent des DAG Airflow, migrent des chaînes ETL historiques et expliquent un lignage complexe. Les données étant souvent sensibles, la gestion responsable des schémas, des jeux d’exemple et des identifiants est au cœur de cette formation.

La formation se déroule en direct – en ligne dans une classe virtuelle ou en présentiel dans nos salles à Munich, Salzbourg, Berlin, Augsbourg, Hanovre, Brême, Stuttgart et Kaiserslautern. Nous pouvons également l’organiser en intra pour votre équipe.

À qui s’adresse cette formation ?

  • Data engineers et analytics engineers
  • Développeurs BI responsables de l’ETL et de l’entrepôt de données
  • Équipes plateforme lakehouse et streaming
  • Développeurs chargés de moderniser des processus ETL historiques

Les défis concrets que nous traitons

  • Des chaînes ETL anciennes en procédures stockées ou outils propriétaires, sans tests
  • Des requêtes lentes et coûteuses et des jobs Spark peu efficaces
  • L’absence de contrôles de qualité et des responsabilités floues sur les jeux de données
  • Une documentation lacunaire des modèles de données, du lignage et des règles métier

Objectifs pédagogiques

  • Vous construisez un pipeline RAG complet, de la préparation des documents aux réponses sourcées.
  • Vous choisissez de façon argumentée modèle d’embeddings, stratégie de chunking et base vectorielle.
  • Vous améliorez la pertinence des résultats grâce à la recherche hybride, au reranking et aux filtres de métadonnées.
  • Vous mesurez la qualité de votre application par des évaluations systématiques et détectez les régressions.
  • Mobiliser efficacement des agents IA pour les modèles dbt, les pipelines et l’optimisation SQL.
  • Moderniser l’ETL historique avec l’IA et sécuriser les résultats par des tests de rapprochement.
  • Protéger les données sensibles en travaillant avec des schémas, des jeux d’exemple synthétiques et des droits d’accès minimaux.

Programme

Jour 1

Module 1 Fondamentaux du RAG et des applications LLM
  • Anatomie d’un pipeline RAG : ingestion, indexation, recherche, génération
  • Comprendre les embeddings : similarité sémantique, dimensions, choix du modèle
  • Arbitrer entre RAG, fine-tuning et grandes fenêtres de contexte
  • Sorties structurées, citation des sources et gestion des hallucinations
Module 2 Préparation des documents et chunking
  • Extraire de façon fiable PDF, documents bureautiques, HTML et tableaux
  • Stratégies de chunking : taille fixe, selon la structure, sémantique, avec chevauchement
  • Enrichir les métadonnées et générer des résumés contextuels par chunk
  • Mise à jour incrémentale et suppression de documents dans l’index
Module 3 Bases vectorielles et stratégies de recherche
  • Comparer bases et extensions vectorielles comme pgvector, Qdrant, Weaviate ou OpenSearch
  • Recherche hybride combinant vecteurs et plein texte avec BM25
  • Reranking, filtres de métadonnées et reformulation des requêtes
  • Retrieval agentique : le modèle décide lui-même des étapes de recherche et des outils
Module 4 Évaluation et assurance qualité
  • Constituer et entretenir des jeux de test à partir de vraies questions
  • Métriques de recherche comme le rappel et la précision, métriques de réponse comme la fidélité
  • Utiliser et calibrer à bon escient un LLM-as-a-judge
  • Tests de non-régression lors de changements de chunking, de modèle ou de prompt

Jour 2

Module 5 Exploitation, coûts et protection des données
  • Prompt caching, traitement par lots et choix du modèle pour réduire les coûts
  • Optimiser la latence et diffuser les réponses en streaming
  • Droits au niveau des documents, cloisonnement des clients et protection contre l’injection de prompt
  • Protection des données : localisation, sous-traitance, politique de suppression, RGPD et AI Act européen
Module 6 Atelier pratique : Data engineering
  • Modèles dbt avec tests
  • Optimiser les requêtes SQL
  • Pipelines Airflow et Dagster
  • Migrer l’ETL historique
  • Automatiser la qualité des données
  • Analyser les jobs Spark
Module 7 Protection des données, qualité & mise en pratique
  • Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.
  • Règles du jeu pour un usage sûr de l’IA en équipe
  • Vérifier les résultats : faits, sources, tests et principe des quatre yeux
  • Plan d’action personnel pour les 30 prochains jours
  • Questions ouvertes, perspectives et ressources pour aller plus loin

Cas pratiques de votre domaine

Modèles dbt avec tests

L’agent écrit les modèles staging, intermediate et mart dans dbt, ajoute tests de schéma, définitions de sources et descriptions, puis exécute dbt build en boucle jusqu’à la réussite des modèles et des tests.

Optimiser les requêtes SQL

L’IA analyse les plans d’exécution, repère les jointures coûteuses et l’absence de partitionnement ou de clustering, puis réécrit les requêtes pour qu’elles parcourent moins de données et s’exécutent plus vite.

Pipelines Airflow et Dagster

Les besoins deviennent des DAG ou des assets à la structure de dépendances claire, avec relances, capteurs, alertes et prise en charge des backfills, ainsi que des tests de la logique de transformation.

Migrer l’ETL historique

Procédures stockées ou jobs ETL graphiques sont analysés, la logique métier documentée puis transposée progressivement en dbt ou PySpark, avec des requêtes de rapprochement entre ancien et nouveau traitement.

Automatiser la qualité des données

L’assistant définit des contrôles de complétude, d’unicité, de plages de valeurs et de fraîcheur, les implémente avec des tests dbt ou Great Expectations et configure des alertes en cas d’écart.

Analyser les jobs Spark

Informations de la Spark UI et logs sont interprétés, déséquilibres de partitions, shuffles et problèmes mémoire identifiés, et des optimisations proposées : broadcast joins, repartitionnement ou mise en cache.

Projets pratiques possibles

Tableau de bord qualité des données

Une petite application web qui lit les résultats des tests dbt ou des contrôles qualité et affiche clairement tendances, anomalies et tables concernées.

Pipeline d’ingestion d’une API REST

Un pipeline Python qui charge les données d’une API de façon incrémentale, détecte les évolutions de schéma et écrit les résultats partitionnés dans le lakehouse.

Explorateur de lignage

Un outil qui lit le manifeste dbt et représente les dépendances entre sources, modèles et tableaux de bord sous forme de graphe interactif.

Prérequis

De solides compétences en Python (ou à défaut en TypeScript), des bases en bases de données et API REST ainsi qu’une première expérience des API de LLM. Une bonne maîtrise de SQL et de Python et une expérience pratique d’un entrepôt de données, de dbt, de Spark ou d’un orchestrateur.

Prérequis techniques

Un ordinateur portable avec Python, Git, Docker et un éditeur de code, ainsi qu’un accès API à au moins un fournisseur de LLM et d’embeddings. Des identifiants pour les exercices peuvent être fournis si nécessaire.

Protection des données & conformité

Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.

Dates proposées

Toutes les dates sont indicatives – votre date souhaitée est toujours possible.

  • mer. 25 novembre 2026 – jeu. 26 novembre 2026 En ligne Demander
  • mar. 8 décembre 2026 – mer. 9 décembre 2026 Salzbourg Demander
  • mar. 15 décembre 2026 – mer. 16 décembre 2026 En ligne Demander
  • mar. 12 janvier 2027 – mer. 13 janvier 2027 Brême Demander
  • lun. 25 janvier 2027 – mar. 26 janvier 2027 En ligne Demander
  • mar. 9 février 2027 – mer. 10 février 2027 Augsbourg Demander

Questions fréquentes

Quand privilégier le RAG plutôt que le fine-tuning ?

Le RAG s’impose lorsqu’un modèle doit s’appuyer sur des connaissances récentes, volumineuses ou changeantes, et citer ses sources. Le fine-tuning agit plutôt sur le style, le format ou un comportement spécialisé. Dans beaucoup de projets, le RAG est la voie la plus rapide, la moins coûteuse et la plus maîtrisable, parfois complétée par un fine-tuning ciblé.

Quelle base de données vectorielle choisir ?

Cela dépend du volume de données, de l’infrastructure existante, des besoins de filtrage et du mode d’exploitation. Si vous utilisez déjà PostgreSQL, pgvector vous mènera souvent loin ; les solutions spécialisées se distinguent sur les gros volumes et la recherche hybride. Vous comparez plusieurs options en pratique pour définir vos critères de choix.

Comment exploiter un RAG en conformité avec le RGPD ?

Il faut choisir des fournisseurs offrant une localisation des données adaptée et un contrat de sous-traitance, contrôler les droits au niveau des documents, prévoir une politique de suppression pour l’index et les journaux et minimiser les données personnelles. Pour les données très sensibles, des modèles auto-hébergés sont envisageables. Nous examinons ces options sur des architectures réalistes.

L’IA doit-elle accéder à nos données de production ?

Non, et ce n’est généralement pas pertinent. Pour la grande majorité des tâches, schémas, métadonnées, plans d’exécution et jeux de données synthétiques suffisent. Vous apprendrez à fournir précisément ce contexte à l’agent, à limiter les accès en lecture aux environnements de développement et à obtenir malgré tout des résultats fiables.

Cela fonctionne-t-il avec notre entrepôt de données ?

Les méthodes sont indépendantes de la plateforme et s’appliquent aussi bien à Snowflake, BigQuery, Databricks, Redshift, Synapse qu’à PostgreSQL. L’essentiel est d’indiquer à l’assistant le dialecte SQL et les spécificités de la plateforme, comme le partitionnement ou le clustering. Nous montrons comment les consigner dans des fichiers d’instructions.

Combien coûte la formation « RAG & applications LLM pour les data engineers » ?

La formation coûte 949 € HT forfaitaires par participant – en ligne comme en présentiel. Sont inclus 2 jour(s) de formation avec un formateur en direct, les supports de cours, un environnement d’exercice et une attestation de participation.

Puis-je proposer ma propre date ?

Oui. Nos dates sont indicatives. Dans le formulaire, vous pouvez à tout moment indiquer librement la date ou la période souhaitée – nous vérifions les disponibilités et confirmons sous un jour ouvré.

La formation a-t-elle lieu en ligne ou en présentiel ?

Les deux sont possibles : en direct dans une classe virtuelle ou en présentiel à Munich, Salzbourg, Berlin, Augsbourg, Hanovre, Brême, Stuttgart ou Kaiserslautern. Nous pouvons aussi l’organiser en intra pour votre équipe.

Autres formations pour les data engineers

Autres formations RAG & applications LLM

Les 29 formations RAG & applications LLM

RAG & applications LLM · MunichRAG & applications LLM · SalzbourgRAG & applications LLM · BerlinRAG & applications LLM · AugsbourgRAG & applications LLM · HanovreRAG & applications LLM · BrêmeRAG & applications LLM · StuttgartRAG & applications LLM · KaiserslauternRAG & applications LLM · En ligne