Data Engineering & MLOps Expert

Apache Spark — Big Data Processing

Traitez des téraoctets de données en parallèle avec Apache Spark, le standard du Big Data.

4 jours (28h)

Durée

Expert

Niveau

Inter-entreprise

2 190 €

par personne · HT

Intra-entreprise

2 800 €/jour

forfait groupe · HT

À propos de cette formation

Apache Spark est le moteur de traitement distribué le plus utilisé pour le Big Data. Cette formation complète vous apprend à développer des pipelines de données scalables en Python (PySpark), à optimiser les performances et à intégrer Spark dans un écosystème data moderne. Vous pratiquerez sur des datasets massifs avec Spark SQL, DataFrames, Spark Streaming et MLlib.

Objectifs pédagogiques

✓
Comprendre l'architecture distribuée de Spark (drivers, executors, partitions)
✓
Développer des transformations et actions avec PySpark DataFrames
✓
Requêter des données avec Spark SQL
✓
Traiter des flux en temps réel avec Structured Streaming
✓
Optimiser les performances (partitioning, caching, broadcast)

Programme détaillé

1 Architecture Spark

— Cluster manager, driver, executors
— RDD vs DataFrame vs Dataset
— Spark UI et lecture du DAG

2 PySpark DataFrames

— Transformations lazy vs actions
— Joins, agrégations, window functions
— Lecture/écriture Parquet, Delta, S3

3 Spark SQL et optimisation

— Spark SQL et catalogues de données
— Catalyst optimizer et physical plans
— Partitioning, bucketing, caching

4 Streaming et MLlib

— Structured Streaming avec Kafka
— Watermarks et gestion du retard
— MLlib : pipelines ML distribués

Public cible

Data engineers et développeurs Python travaillant sur des volumes de données importants.

Prérequis

Python avancé. Bases de SQL. Notions de système distribué appréciées.

Demander un devis

Un conseiller vous recontacte sous 24h.