Formation · Développement d’agents IA · Data engineering

Développement d’agents IA pour les data engineers

Développer des agents IA de qualité professionnelle : architectures, tool use, SDK d’agents, LangGraph, mémoire, évaluations et déploiement.

Durée
2 jours (14 h)
Format
En ligne ou en présentiel
Langue
Allemand ou anglais
Participants
sessions ouvertes ou intra-entreprise
Attestation
Attestation de participation

Présentation

« Développement d’agents IA pour les data engineers » est une formation pratique destinée notamment aux profils suivants : Data engineers et analytics engineers, Développeurs BI responsables de l’ETL et de l’entrepôt de données et Équipes plateforme lakehouse et streaming. Vous découvrez Développement d’agents IA non pas de façon abstraite, mais à travers des tâches de votre quotidien – avec des exemples, des exercices et des modèles issus du domaine Data engineering.

Les agents IA vont bien au-delà des chatbots classiques : ils décomposent les tâches, appellent des outils et des API, analysent les résultats et itèrent jusqu’à atteindre leur objectif. Cette formation de deux jours vous apprend à concevoir de tels systèmes pour qu’ils fonctionnent de manière fiable, traçable et sûre en entreprise. Vous comparez les modèles d’architecture, du workflow simple à la boucle agentique jusqu’aux systèmes multi-agents, et les mettez en pratique avec le Claude Agent SDK, l’OpenAI Agents SDK et LangGraph.

L’objectif n’est pas la démo rapide, mais le passage en production. Vous concevez avec soin les interfaces d’outils et le contexte, connectez des outils via le Model Context Protocol, structurez mémoire à court et à long terme et mettez en place des évaluations qui révèlent tôt les régressions. S’y ajoutent les garde-fous contre l’injection de prompt et les actions indésirables, la validation humaine, le traçage, la maîtrise des coûts et le déploiement. Vous saurez ensuite quand un agent se justifie, quand un workflow déterministe suffit et quel framework convient à votre projet.

Les data engineers construisent et exploitent les pipelines sur lesquels reposent reporting, analytique et applications d’IA : ingestion depuis les systèmes sources, transformations avec dbt ou Spark, orchestration avec Airflow ou Dagster, qualité et gouvernance des données dans l’entrepôt ou le lakehouse. Le travail mêle SQL, Python, YAML et une connaissance fine des schémas et des dépendances. Les assistants et agents de codage IA l’accélèrent nettement : ils écrivent des modèles dbt avec tests et documentation, optimisent les requêtes lentes, créent des DAG Airflow, migrent des chaînes ETL historiques et expliquent un lignage complexe. Les données étant souvent sensibles, la gestion responsable des schémas, des jeux d’exemple et des identifiants est au cœur de cette formation.

La formation se déroule en direct – en ligne dans une classe virtuelle ou en présentiel dans nos salles à Munich, Salzbourg, Berlin, Augsbourg, Hanovre, Brême, Stuttgart et Kaiserslautern. Nous pouvons également l’organiser en intra pour votre équipe.

À qui s’adresse cette formation ?

  • Data engineers et analytics engineers
  • Développeurs BI responsables de l’ETL et de l’entrepôt de données
  • Équipes plateforme lakehouse et streaming
  • Développeurs chargés de moderniser des processus ETL historiques

Les défis concrets que nous traitons

  • Des chaînes ETL anciennes en procédures stockées ou outils propriétaires, sans tests
  • Des requêtes lentes et coûteuses et des jobs Spark peu efficaces
  • L’absence de contrôles de qualité et des responsabilités floues sur les jeux de données
  • Une documentation lacunaire des modèles de données, du lignage et des règles métier

Objectifs pédagogiques

  • Vous choisissez le bon patron pour chaque tâche, du workflow fixe à l’agent autonome.
  • Vous concevez outils et contexte pour que vos agents travaillent de façon fiable et économique.
  • Vous implémentez des agents avec le Claude Agent SDK, l’OpenAI Agents SDK ou LangGraph.
  • Vous mettez en place évaluations et traçage pour mesurer la qualité et détecter les régressions.
  • Mobiliser efficacement des agents IA pour les modèles dbt, les pipelines et l’optimisation SQL.
  • Moderniser l’ETL historique avec l’IA et sécuriser les résultats par des tests de rapprochement.
  • Protéger les données sensibles en travaillant avec des schémas, des jeux d’exemple synthétiques et des droits d’accès minimaux.

Programme

Jour 1

Module 1 Architectures d’agents et patrons de conception
  • Workflows ou agents : chaînage de prompts, routage, parallélisation, orchestrateur-exécutants
  • La boucle agentique : planifier, agir, observer, ajuster
  • Systèmes multi-agents, sous-agents et passages de relais entre agents
  • Critères de choix du modèle, du framework et du niveau d’autonomie
Module 2 Tool use et ingénierie du contexte
  • Function calling et sorties structurées avec JSON Schema
  • Bien concevoir ses outils : granularité, nommage, messages d’erreur, idempotence
  • Connecter et réutiliser des outils via des serveurs MCP
  • Gérer la fenêtre de contexte : résumé, compaction, retrieval et prompt caching
Module 3 Les frameworks en pratique
  • Claude Agent SDK : boucle agentique, outils, sous-agents, permissions et hooks
  • OpenAI Agents SDK : agents, handoffs, garde-fous et traçage
  • LangGraph : graphes à état, checkpointing et validation humaine
  • Comparaison sur une même tâche et critères de choix d’un framework
Module 4 Mémoire, évaluations et observabilité
  • Mémoire à court et long terme, stratégies de stockage et d’oubli
  • Jeux d’évaluation, LLM-as-a-judge et mesure du succès par tâche
  • Traçage des appels d’outils, de la consommation de tokens et des latences
  • Tests de non-régression lors de changements de prompts, de modèles ou d’outils

Jour 2

Module 5 Garde-fous, sécurité et déploiement
  • Se protéger contre l’injection de prompt, la fuite de données et les outils trop privilégiés
  • Contrôles des entrées et sorties, étapes de validation et sandboxing
  • Déploiement en service, exécution asynchrone, reprises et plafonds de coûts
  • Gouvernance, journalisation et exigences du RGPD et de l’AI Act européen
Module 6 Atelier pratique : Data engineering
  • Modèles dbt avec tests
  • Optimiser les requêtes SQL
  • Pipelines Airflow et Dagster
  • Migrer l’ETL historique
  • Automatiser la qualité des données
  • Analyser les jobs Spark
Module 7 Protection des données, qualité & mise en pratique
  • Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.
  • Règles du jeu pour un usage sûr de l’IA en équipe
  • Vérifier les résultats : faits, sources, tests et principe des quatre yeux
  • Plan d’action personnel pour les 30 prochains jours
  • Questions ouvertes, perspectives et ressources pour aller plus loin

Cas pratiques de votre domaine

Modèles dbt avec tests

L’agent écrit les modèles staging, intermediate et mart dans dbt, ajoute tests de schéma, définitions de sources et descriptions, puis exécute dbt build en boucle jusqu’à la réussite des modèles et des tests.

Optimiser les requêtes SQL

L’IA analyse les plans d’exécution, repère les jointures coûteuses et l’absence de partitionnement ou de clustering, puis réécrit les requêtes pour qu’elles parcourent moins de données et s’exécutent plus vite.

Pipelines Airflow et Dagster

Les besoins deviennent des DAG ou des assets à la structure de dépendances claire, avec relances, capteurs, alertes et prise en charge des backfills, ainsi que des tests de la logique de transformation.

Migrer l’ETL historique

Procédures stockées ou jobs ETL graphiques sont analysés, la logique métier documentée puis transposée progressivement en dbt ou PySpark, avec des requêtes de rapprochement entre ancien et nouveau traitement.

Automatiser la qualité des données

L’assistant définit des contrôles de complétude, d’unicité, de plages de valeurs et de fraîcheur, les implémente avec des tests dbt ou Great Expectations et configure des alertes en cas d’écart.

Analyser les jobs Spark

Informations de la Spark UI et logs sont interprétés, déséquilibres de partitions, shuffles et problèmes mémoire identifiés, et des optimisations proposées : broadcast joins, repartitionnement ou mise en cache.

Projets pratiques possibles

Tableau de bord qualité des données

Une petite application web qui lit les résultats des tests dbt ou des contrôles qualité et affiche clairement tendances, anomalies et tables concernées.

Pipeline d’ingestion d’une API REST

Un pipeline Python qui charge les données d’une API de façon incrémentale, détecte les évolutions de schéma et écrit les résultats partitionnés dans le lakehouse.

Explorateur de lignage

Un outil qui lit le manifeste dbt et représente les dépendances entre sources, modèles et tableaux de bord sous forme de graphe interactif.

Prérequis

De solides compétences en Python ou en TypeScript, une expérience des API REST et une première pratique des API de LLM ou des assistants IA. Une bonne maîtrise de SQL et de Python et une expérience pratique d’un entrepôt de données, de dbt, de Spark ou d’un orchestrateur.

Prérequis techniques

Un ordinateur portable avec Python ou Node.js, Git et un éditeur de code, ainsi qu’un accès API à au moins un fournisseur de LLM, par exemple Anthropic ou OpenAI. Des identifiants pour les exercices peuvent être fournis si nécessaire.

Protection des données & conformité

Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.

Dates proposées

Toutes les dates sont indicatives – votre date souhaitée est toujours possible.

  • mar. 24 novembre 2026 – mer. 25 novembre 2026 En ligne Demander
  • mer. 2 décembre 2026 – jeu. 3 décembre 2026 Munich Demander
  • jeu. 10 décembre 2026 – ven. 11 décembre 2026 En ligne Demander
  • mar. 12 janvier 2027 – mer. 13 janvier 2027 Hanovre Demander
  • jeu. 28 janvier 2027 – ven. 29 janvier 2027 En ligne Demander
  • lun. 1 février 2027 – mar. 2 février 2027 Berlin Demander

Questions fréquentes

Quel framework d’agents choisir ?

Tout dépend de votre stratégie de modèles, du niveau de contrôle souhaité et des compétences de l’équipe. Les SDK des éditeurs offrent un démarrage léger avec des fonctions bien intégrées, tandis que LangGraph donne un contrôle plus fin sur l’état et les enchaînements. Pendant la formation, vous résolvez la même tâche avec plusieurs frameworks et en tirez des critères de choix concrets.

Comment empêcher un agent d’exécuter des actions erronées ou dangereuses ?

En combinant plusieurs niveaux de protection : outils au périmètre restreint et aux droits minimaux, validation des entrées et sorties, étapes d’approbation pour les actions critiques, sandboxing et évaluation continue. L’injection de prompt via des contenus externes est traitée comme un risque bien réel. Vous appliquez ces mesures directement à votre propre agent.

Toute automatisation nécessite-t-elle un agent ?

Non. De nombreuses tâches se traitent de façon plus fiable, moins coûteuse et plus transparente avec un workflow fixe de quelques appels au LLM. Un agent se justifie lorsque le chemin de résolution ne peut pas être planifié à l’avance et que le système doit s’adapter aux résultats intermédiaires. Nous travaillons précisément cet arbitrage sur des exemples concrets.

L’IA doit-elle accéder à nos données de production ?

Non, et ce n’est généralement pas pertinent. Pour la grande majorité des tâches, schémas, métadonnées, plans d’exécution et jeux de données synthétiques suffisent. Vous apprendrez à fournir précisément ce contexte à l’agent, à limiter les accès en lecture aux environnements de développement et à obtenir malgré tout des résultats fiables.

Cela fonctionne-t-il avec notre entrepôt de données ?

Les méthodes sont indépendantes de la plateforme et s’appliquent aussi bien à Snowflake, BigQuery, Databricks, Redshift, Synapse qu’à PostgreSQL. L’essentiel est d’indiquer à l’assistant le dialecte SQL et les spécificités de la plateforme, comme le partitionnement ou le clustering. Nous montrons comment les consigner dans des fichiers d’instructions.

Combien coûte la formation « Développement d’agents IA pour les data engineers » ?

La formation coûte 949 € HT forfaitaires par participant – en ligne comme en présentiel. Sont inclus 2 jour(s) de formation avec un formateur en direct, les supports de cours, un environnement d’exercice et une attestation de participation.

Puis-je proposer ma propre date ?

Oui. Nos dates sont indicatives. Dans le formulaire, vous pouvez à tout moment indiquer librement la date ou la période souhaitée – nous vérifions les disponibilités et confirmons sous un jour ouvré.

La formation a-t-elle lieu en ligne ou en présentiel ?

Les deux sont possibles : en direct dans une classe virtuelle ou en présentiel à Munich, Salzbourg, Berlin, Augsbourg, Hanovre, Brême, Stuttgart ou Kaiserslautern. Nous pouvons aussi l’organiser en intra pour votre équipe.

Autres formations pour les data engineers

Autres formations Développement d’agents IA

Les 30 formations Développement d’agents IA

Développement d’agents IA · MunichDéveloppement d’agents IA · SalzbourgDéveloppement d’agents IA · BerlinDéveloppement d’agents IA · AugsbourgDéveloppement d’agents IA · HanovreDéveloppement d’agents IA · BrêmeDéveloppement d’agents IA · StuttgartDéveloppement d’agents IA · KaiserslauternDéveloppement d’agents IA · En ligne