Formation · OpenAI Codex · Data engineering

OpenAI Codex pour les data engineers

Déléguer le développement avec OpenAI Codex : CLI et agent cloud, AGENTS.md, sandbox, approbations et workflows de PR en équipe.

Durée
2 jours (14 h)
Format
En ligne ou en présentiel
Langue
Allemand ou anglais
Participants
sessions ouvertes ou intra-entreprise
Attestation
Attestation de participation

Présentation

« OpenAI Codex pour les data engineers » s’adresse notamment aux profils suivants : Data engineers et analytics engineers, Développeurs BI responsables de l’ETL et de l’entrepôt de données et Équipes plateforme lakehouse et streaming. Elle montre pas à pas comment utiliser OpenAI Codex de manière productive, sûre et traçable dans le domaine Data engineering – des bases aux workflows avancés.

OpenAI Codex est un agent de développement qui fonctionne aussi bien en local, sous forme d’outil en ligne de commande et d’extension d’IDE, que dans le cloud. En local, Codex lit votre dépôt, propose des modifications et exécute des commandes dans un environnement isolé. Dans le cloud, il traite en parallèle les tâches que vous lui déléguez dans des conteneurs dédiés et restitue des diffs ou des pull requests traçables. En deux jours, vous apprenez à combiner ces deux usages et à découper le travail pour que l’agent le mène à bien.

Le pilotage et la sécurité sont au cœur de la formation. Avec AGENTS.md, vous transmettez à Codex la connaissance du projet, les commandes de build et de test ainsi que vos conventions. Vous configurez les modes d’approbation et la sandbox pour que l’agent n’agisse que dans le cadre autorisé, et préparez des environnements cloud avec des scripts d’installation adaptés. Vous intégrez enfin Codex à vos workflows de pull request, exploitez la revue de code automatisée et fixez les règles de délégation et de contrôle avant fusion.

Les data engineers construisent et exploitent les pipelines sur lesquels reposent reporting, analytique et applications d’IA : ingestion depuis les systèmes sources, transformations avec dbt ou Spark, orchestration avec Airflow ou Dagster, qualité et gouvernance des données dans l’entrepôt ou le lakehouse. Le travail mêle SQL, Python, YAML et une connaissance fine des schémas et des dépendances. Les assistants et agents de codage IA l’accélèrent nettement : ils écrivent des modèles dbt avec tests et documentation, optimisent les requêtes lentes, créent des DAG Airflow, migrent des chaînes ETL historiques et expliquent un lignage complexe. Les données étant souvent sensibles, la gestion responsable des schémas, des jeux d’exemple et des identifiants est au cœur de cette formation.

La formation se déroule en direct – en ligne dans une classe virtuelle ou en présentiel dans nos salles à Munich, Salzbourg, Berlin, Augsbourg, Hanovre, Brême, Stuttgart et Kaiserslautern. Nous pouvons également l’organiser en intra pour votre équipe.

À qui s’adresse cette formation ?

  • Data engineers et analytics engineers
  • Développeurs BI responsables de l’ETL et de l’entrepôt de données
  • Équipes plateforme lakehouse et streaming
  • Développeurs chargés de moderniser des processus ETL historiques

Les défis concrets que nous traitons

  • Des chaînes ETL anciennes en procédures stockées ou outils propriétaires, sans tests
  • Des requêtes lentes et coûteuses et des jobs Spark peu efficaces
  • L’absence de contrôles de qualité et des responsabilités floues sur les jeux de données
  • Une documentation lacunaire des modèles de données, du lignage et des règles métier

Objectifs pédagogiques

  • Vous utilisez Codex en local et dans le cloud pour les tâches de développement adaptées à chaque mode.
  • Vous rédigez un AGENTS.md qui guide l’agent de manière fiable dans votre projet.
  • Vous configurez modes d’approbation et sandbox selon vos exigences de sécurité.
  • Vous déléguez des tâches à l’agent cloud et en vérifiez méthodiquement les résultats.
  • Mobiliser efficacement des agents IA pour les modèles dbt, les pipelines et l’optimisation SQL.
  • Moderniser l’ETL historique avec l’IA et sécuriser les résultats par des tests de rapprochement.
  • Protéger les données sensibles en travaillant avec des schémas, des jeux d’exemple synthétiques et des droits d’accès minimaux.

Programme

Jour 1

Module 1 Panorama de Codex : CLI, IDE et cloud
  • Comparer le fonctionnement de Codex en local et dans le cloud
  • Installer la CLI Codex, s’authentifier et la lancer dans un dépôt
  • Sessions interactives, exécution non interactive et choix du modèle
  • Distinguer les tâches adaptées à un agent de celles qui ne le sont pas
Module 2 La connaissance du projet avec AGENTS.md
  • Construire un AGENTS.md avec les commandes de build, de test et de lint
  • Formuler précisément conventions, repères d’architecture et interdits
  • Utiliser des AGENTS.md imbriqués pour les monorepos et sous-projets
  • Mesurer l’effet des consignes et les améliorer par itérations
Module 3 Sandbox, approbations et sécurité
  • Choisir le mode d’approbation, de la lecture seule à une large autonomie
  • Comprendre les limites de la sandbox pour le système de fichiers et le réseau
  • Gérer secrets, dépendances téléchargées et injection de prompt
  • Fichiers de configuration pour des standards d’équipe et des réglages sûrs par défaut
Module 4 Déléguer des tâches à l’agent cloud
  • Configurer des environnements cloud avec scripts d’installation et dépendances
  • Rédiger des tâches avec objectif, contexte et critères d’acceptation
  • Lancer plusieurs tâches en parallèle et comparer les résultats
  • S’appuyer sur les journaux et sorties de tests pour comprendre les solutions

Jour 2

Module 5 Workflows de PR et revue de code en équipe
  • Transformer les résultats en pull requests et demander des corrections
  • Utiliser la revue de code automatisée de Codex sur GitHub
  • Intégrer Codex dans des scripts et des pipelines CI
  • Définir les règles d’équipe : délégation, obligations de revue, responsabilités
Module 6 Atelier pratique : Data engineering
  • Modèles dbt avec tests
  • Optimiser les requêtes SQL
  • Pipelines Airflow et Dagster
  • Migrer l’ETL historique
  • Automatiser la qualité des données
  • Analyser les jobs Spark
Module 7 Protection des données, qualité & mise en pratique
  • Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.
  • Règles du jeu pour un usage sûr de l’IA en équipe
  • Vérifier les résultats : faits, sources, tests et principe des quatre yeux
  • Plan d’action personnel pour les 30 prochains jours
  • Questions ouvertes, perspectives et ressources pour aller plus loin

Cas pratiques de votre domaine

Modèles dbt avec tests

L’agent écrit les modèles staging, intermediate et mart dans dbt, ajoute tests de schéma, définitions de sources et descriptions, puis exécute dbt build en boucle jusqu’à la réussite des modèles et des tests.

Optimiser les requêtes SQL

L’IA analyse les plans d’exécution, repère les jointures coûteuses et l’absence de partitionnement ou de clustering, puis réécrit les requêtes pour qu’elles parcourent moins de données et s’exécutent plus vite.

Pipelines Airflow et Dagster

Les besoins deviennent des DAG ou des assets à la structure de dépendances claire, avec relances, capteurs, alertes et prise en charge des backfills, ainsi que des tests de la logique de transformation.

Migrer l’ETL historique

Procédures stockées ou jobs ETL graphiques sont analysés, la logique métier documentée puis transposée progressivement en dbt ou PySpark, avec des requêtes de rapprochement entre ancien et nouveau traitement.

Automatiser la qualité des données

L’assistant définit des contrôles de complétude, d’unicité, de plages de valeurs et de fraîcheur, les implémente avec des tests dbt ou Great Expectations et configure des alertes en cas d’écart.

Analyser les jobs Spark

Informations de la Spark UI et logs sont interprétés, déséquilibres de partitions, shuffles et problèmes mémoire identifiés, et des optimisations proposées : broadcast joins, repartitionnement ou mise en cache.

Projets pratiques possibles

Tableau de bord qualité des données

Une petite application web qui lit les résultats des tests dbt ou des contrôles qualité et affiche clairement tendances, anomalies et tables concernées.

Pipeline d’ingestion d’une API REST

Un pipeline Python qui charge les données d’une API de façon incrémentale, détecte les évolutions de schéma et écrit les résultats partitionnés dans le lakehouse.

Explorateur de lignage

Un outil qui lit le manifeste dbt et représente les dépendances entre sources, modèles et tableaux de bord sous forme de graphe interactif.

Prérequis

Vous avez une pratique réelle de la programmation, maîtrisez Git et la ligne de commande et connaissez les workflows basés sur les pull requests. Une bonne maîtrise de SQL et de Python et une expérience pratique d’un entrepôt de données, de dbt, de Spark ou d’un orchestrateur.

Prérequis techniques

Ordinateur portable personnel avec terminal, Git et environnement Node.js ; une offre ChatGPT incluant Codex ou une clé API OpenAI, ainsi qu’un compte GitHub pour les exercices cloud.

Protection des données & conformité

Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.

Dates proposées

Toutes les dates sont indicatives – votre date souhaitée est toujours possible.

  • mar. 24 novembre 2026 – mer. 25 novembre 2026 En ligne Demander
  • jeu. 3 décembre 2026 – ven. 4 décembre 2026 Munich Demander
  • mar. 8 décembre 2026 – mer. 9 décembre 2026 En ligne Demander
  • lun. 14 décembre 2026 – mar. 15 décembre 2026 Stuttgart Demander
  • jeu. 14 janvier 2027 – ven. 15 janvier 2027 Hanovre Demander
  • mer. 27 janvier 2027 – jeu. 28 janvier 2027 En ligne Demander

Questions fréquentes

Quand utiliser Codex en local et quand dans le cloud ?

En local, vous travaillez de manière interactive au plus près du code, par exemple pour déboguer ou explorer une piste en suivant chaque étape. L’agent cloud convient aux tâches bien délimitées qui peuvent se dérouler seules, comme compléter des tests ou corriger de petits bugs. Vous pouvez en lancer plusieurs en parallèle et relire chacune sous forme de pull request.

Que doit contenir un bon AGENTS.md ?

Un bon AGENTS.md explique comment construire, tester et vérifier le projet, quelles conventions s’appliquent et quelles zones ne doivent pas être modifiées. Il reste court, concret et à jour. Des repères d’architecture et la liste des pièges fréquents sont également utiles. Pendant la formation, vous rédigez un AGENTS.md pour votre propre projet et en mesurez l’effet.

Est-il risqué de laisser Codex exécuter des commandes ?

Par défaut, Codex travaille dans une sandbox qui restreint l’accès aux fichiers et au réseau, et demande une approbation avant les opérations sensibles. Vous déterminez le degré d’autonomie via les modes d’approbation et la configuration. La formation vous apprend à choisir ces réglages en connaissance de cause et à limiter des risques comme l’injection de prompt.

L’IA doit-elle accéder à nos données de production ?

Non, et ce n’est généralement pas pertinent. Pour la grande majorité des tâches, schémas, métadonnées, plans d’exécution et jeux de données synthétiques suffisent. Vous apprendrez à fournir précisément ce contexte à l’agent, à limiter les accès en lecture aux environnements de développement et à obtenir malgré tout des résultats fiables.

Cela fonctionne-t-il avec notre entrepôt de données ?

Les méthodes sont indépendantes de la plateforme et s’appliquent aussi bien à Snowflake, BigQuery, Databricks, Redshift, Synapse qu’à PostgreSQL. L’essentiel est d’indiquer à l’assistant le dialecte SQL et les spécificités de la plateforme, comme le partitionnement ou le clustering. Nous montrons comment les consigner dans des fichiers d’instructions.

Combien coûte la formation « OpenAI Codex pour les data engineers » ?

La formation coûte 949 € HT forfaitaires par participant – en ligne comme en présentiel. Sont inclus 2 jour(s) de formation avec un formateur en direct, les supports de cours, un environnement d’exercice et une attestation de participation.

Puis-je proposer ma propre date ?

Oui. Nos dates sont indicatives. Dans le formulaire, vous pouvez à tout moment indiquer librement la date ou la période souhaitée – nous vérifions les disponibilités et confirmons sous un jour ouvré.

La formation a-t-elle lieu en ligne ou en présentiel ?

Les deux sont possibles : en direct dans une classe virtuelle ou en présentiel à Munich, Salzbourg, Berlin, Augsbourg, Hanovre, Brême, Stuttgart ou Kaiserslautern. Nous pouvons aussi l’organiser en intra pour votre équipe.

Autres formations pour les data engineers

Autres formations OpenAI Codex

Les 32 formations OpenAI Codex

OpenAI Codex · MunichOpenAI Codex · SalzbourgOpenAI Codex · BerlinOpenAI Codex · AugsbourgOpenAI Codex · HanovreOpenAI Codex · BrêmeOpenAI Codex · StuttgartOpenAI Codex · KaiserslauternOpenAI Codex · En ligne