Data Engineering & MLOps Intermédiaire

Apache Airflow — Orchestration de Pipelines

Orchestrez vos pipelines de données complexes avec Airflow, le standard de l'industrie.

3 jours (21h)

Durée

Intermédiaire

Niveau

Inter-entreprise

1 590 €

par personne · HT

Intra-entreprise

2 200 €/jour

forfait groupe · HT

À propos de cette formation

Apache Airflow est la solution d'orchestration de workflows data la plus adoptée en entreprise. Cette formation vous apprend à concevoir, déployer et monitorer des DAGs (Directed Acyclic Graphs) pour automatiser vos pipelines ETL/ELT, vos entraînements de modèles ML et vos flux de données. Vous maîtriserez les opérateurs, les hooks, les XComs, et déploierez Airflow sur Docker et Kubernetes.

Objectifs pédagogiques

✓
Concevoir des DAGs Airflow robustes et maintenables
✓
Utiliser les opérateurs natifs (BashOperator, PythonOperator, SQL)
✓
Gérer les dépendances, les retries et les alertes
✓
Paramétrer les DAGs avec des variables et connexions
✓
Déployer Airflow sur Docker et Kubernetes (Helm)

Programme détaillé

1 Fondements Airflow

— Architecture : scheduler, webserver, worker
— DAGs, tasks, opérateurs
— Airflow UI : monitoring et logs

2 Développement de DAGs

— PythonOperator et BashOperator
— TaskFlow API (décorateurs @task)
— XCom et passage de données

3 Opérateurs avancés

— Connexions et hooks (Postgres, S3, HTTP)
— Sensors et trigger rules
— Dynamic task mapping

4 Déploiement

— Docker Compose pour Airflow
— Helm chart Kubernetes
— CI/CD pour les DAGs avec Git

Public cible

Data engineers et MLOps souhaitant automatiser et orchestrer leurs pipelines de données.

Prérequis

Python intermédiaire. Bases de Docker. Notions de bases de données.

Demander un devis

Un conseiller vous recontacte sous 24h.