Développement & technique · Data engineering

Formations IA pour les data engineers

Les data engineers construisent et exploitent les pipelines sur lesquels reposent reporting, analytique et applications d’IA : ingestion depuis les systèmes sources, transformations avec dbt ou Spark, orchestration avec Airflow ou Dagster, qualité et gouvernance des données dans l’entrepôt ou le lakehouse. Le travail mêle SQL, Python, YAML et une connaissance fine des schémas et des dépendances. Les assistants et agents de codage IA l’accélèrent nettement : ils écrivent des modèles dbt avec tests et documentation, optimisent les requêtes lentes, créent des DAG Airflow, migrent des chaînes ETL historiques et expliquent un lignage complexe. Les données étant souvent sensibles, la gestion responsable des schémas, des jeux d’exemple et des identifiants est au cœur de cette formation.

À qui s’adresse cette formation ?

  • Data engineers et analytics engineers
  • Développeurs BI responsables de l’ETL et de l’entrepôt de données
  • Équipes plateforme lakehouse et streaming
  • Développeurs chargés de moderniser des processus ETL historiques

Les défis concrets que nous traitons

  • Des chaînes ETL anciennes en procédures stockées ou outils propriétaires, sans tests
  • Des requêtes lentes et coûteuses et des jobs Spark peu efficaces
  • L’absence de contrôles de qualité et des responsabilités floues sur les jeux de données
  • Une documentation lacunaire des modèles de données, du lignage et des règles métier

Cas pratiques de votre domaine

Modèles dbt avec tests

L’agent écrit les modèles staging, intermediate et mart dans dbt, ajoute tests de schéma, définitions de sources et descriptions, puis exécute dbt build en boucle jusqu’à la réussite des modèles et des tests.

Optimiser les requêtes SQL

L’IA analyse les plans d’exécution, repère les jointures coûteuses et l’absence de partitionnement ou de clustering, puis réécrit les requêtes pour qu’elles parcourent moins de données et s’exécutent plus vite.

Pipelines Airflow et Dagster

Les besoins deviennent des DAG ou des assets à la structure de dépendances claire, avec relances, capteurs, alertes et prise en charge des backfills, ainsi que des tests de la logique de transformation.

Migrer l’ETL historique

Procédures stockées ou jobs ETL graphiques sont analysés, la logique métier documentée puis transposée progressivement en dbt ou PySpark, avec des requêtes de rapprochement entre ancien et nouveau traitement.

Automatiser la qualité des données

L’assistant définit des contrôles de complétude, d’unicité, de plages de valeurs et de fraîcheur, les implémente avec des tests dbt ou Great Expectations et configure des alertes en cas d’écart.

Analyser les jobs Spark

Informations de la Spark UI et logs sont interprétés, déséquilibres de partitions, shuffles et problèmes mémoire identifiés, et des optimisations proposées : broadcast joins, repartitionnement ou mise en cache.

Projets pratiques possibles

Tableau de bord qualité des données

Une petite application web qui lit les résultats des tests dbt ou des contrôles qualité et affiche clairement tendances, anomalies et tables concernées.

Pipeline d’ingestion d’une API REST

Un pipeline Python qui charge les données d’une API de façon incrémentale, détecte les évolutions de schéma et écrit les résultats partitionnés dans le lakehouse.

Explorateur de lignage

Un outil qui lit le manifeste dbt et représente les dépendances entre sources, modèles et tableaux de bord sous forme de graphe interactif.

Les 10 formations pour les data engineers

Vibe & agentic coding (10)

Protection des données & conformité

Les prompts doivent contenir des schémas et des données synthétiques plutôt que des enregistrements personnels réels, et les identifiants ou chaînes de connexion aux bases doivent rester hors du contexte. Appliquez les principes du RGPD comme la limitation des finalités et la minimisation des données, documentez les flux de manière traçable et vérifiez licences et risques de chaîne d’approvisionnement des nouveaux paquets et connecteurs.

Prérequis

Une bonne maîtrise de SQL et de Python et une expérience pratique d’un entrepôt de données, de dbt, de Spark ou d’un orchestrateur.

Questions fréquentes

L’IA doit-elle accéder à nos données de production ?

Non, et ce n’est généralement pas pertinent. Pour la grande majorité des tâches, schémas, métadonnées, plans d’exécution et jeux de données synthétiques suffisent. Vous apprendrez à fournir précisément ce contexte à l’agent, à limiter les accès en lecture aux environnements de développement et à obtenir malgré tout des résultats fiables.

Cela fonctionne-t-il avec notre entrepôt de données ?

Les méthodes sont indépendantes de la plateforme et s’appliquent aussi bien à Snowflake, BigQuery, Databricks, Redshift, Synapse qu’à PostgreSQL. L’essentiel est d’indiquer à l’assistant le dialecte SQL et les spécificités de la plateforme, comme le partitionnement ou le clustering. Nous montrons comment les consigner dans des fichiers d’instructions.

Demande sans engagement

Nous vous répondons sous un jour ouvré avec une confirmation ou une proposition alternative.

Format *
Total 949 € HT