Spark Python, développer des applications pour le big data (3 jours)

Objectif de la formation :

Découvrir les concepts fondamentaux de Spark 

 

Utiliser le concept des RDD de Spark Exploiter des données avec Spark SQL 

 

Effectuer de l’analyse en temps réel avec Spark Streaming 

 

Utiliser Spark avec les notebooks Jupyter, manipuler les données avec Pyspark comme avec Pandas 

 

Aborder le machine learning avec Spark

INTER ENTREPRISE

1 910 €
  • – Présentiel dans nos locaux ou les vôtres
  • – Distanciel Online Retrouvez-nous sur : Strasbourg, Lille, Lyon, Reims, Genève, Bruxelles, Luxembourg, Frankfort, Karlsruhe, Berlin, Metz
  • INTRA (Appelez-nous pour obtenir une offre)
Inscription

Jour 1 :

Présentation d’Apache Spark et Utiliser Spark avec Python

Contenu :

  • Présentation d’Apache Spark (3.0 heures)
    Historique du framework.
    - Les quatre principaux composants : Spark SQL, Spark Streaming, MLlib et GraphX.
    - Les outils et les librairies Python pour Spark : PySpark, notebooks Jupyter, Koalas.
    - Les concepts de programmation de Spark.
    - Exécuter Spark dans un environnement distribué.
    Travaux pratiques : Mise en place de l’environnement Python pour Spark. Mise en œuvre de scripts manipulant des concepts de Spark.
  • Utiliser Spark avec Python : les resilient distributed datasets (RDD) (3.0 heures)
    Configurer son environnement Python.
    - Se connecter à Spark avec Python : les contextes et les sessions.
    - Présentation des RDD. Créer, manipuler et réutiliser des RDD.
    - Les principales fonctions/transformations, mise en œuvre d’algorithmes de type map/reduce.
    - Accumulateurs et variables broadcastées.
    - Utiliser des partitions.
    - Utiliser les notebooks et soumettre des jobs Python.
    Travaux pratiques : Manipulation de contextes et de sessions. Création et réutilisation de RDD. Soumission de travaux

Jour 2 :

Manipuler des données structurées et Machine learning avec Spark

Contenu :

  • Manipuler des données structurées (3.0 heures)
    Présentation de Spark SQL et des DataFrames et datasets.
    - Les différents types/formats de sources de données.
    - Interopérabilité avec les RDD.
    - Utiliser la librairie PySpark Pandas.
    Travaux pratiques tutorés : Exécution de requêtes avec Spark SQL. Mise en œuvre de DataFrames et datasets. Manipulation de DataFrame.
  • Machine learning avec Spark (3.0 heures)
    Introduction au machine learning.
    - Les différentes classes d'algorithmes.
    - Présentation de MLlib.
    - Implémentation des différents algorithmes dans MLlib.
    Travaux pratiques : Mise en œuvre d’apprentissages supervisés au travers d’une classification.

Jour 3 :

Analyser en temps réel avec Spark Streaming et Théorie des graphes

Contenu :

  • Analyser en temps réel avec Spark Streaming (3.0 heures)
    Comprendre l’architecture du streaming.
    - Présentation des Discretized Streams (DStreams).
    - Les différents types de sources.
    - Manipulation de l'API (agrégations, watermarking...).
    - Machine learning en temps réel.
    Travaux pratiques : Création de statistiques en temps réel à partir d’une source de données et prédictions à l’aide du machine learning
  • Théorie des graphes (3.0 heures)
    Introduction à la théorie des graphes (nœuds, arêtes, graphes orientés, chemins, principaux algorithmes).
    - Utilisation de l’API. Présentation des librairies GraphX et GraphFrame.
    Travaux pratiques : Mise en œuvre d’un algorithme de recherche du plus court chemin ou page rank et visualisation du graphe.

© 2026 All Rights Reserved.