Python sur spark avec databricks

Maîtriser la librairie PySpark afin d'utiliser Apache Spark avec le langage de programmation Python sur un environnement Databricks. 

Présentation de Databricks
✓ Historique
✓ Différence entre l’utilisation Administrateur et Utilisateur
✓ Comment mettre en place un projet sur Databricks/AWS
✓ Comment créer un cluster de calcul avec Databricks/AWS
✓ Gestion des notebooks, des utilisateurs et des ressources

Introduction à Spark
✓ Rappels sur le Big Data
✓ Présentation de Spark: Spark RDD, Spark SQL, Spark MLlib, Spark GraphX
✓ Configurer un Spark Context et une Spark Session
✓ Gestion de la mémoire sous Spark

Présentation de PySpark et l’API Pyspark RDD
✓ Présentation de Pyspark et fonctionnement avec les Java Virtual Machines
✓ Présentation de l’API PysparkRDD et manipulation de données non structurées
✓ Mise en pratique avec des fichiers textes (comptage de mots, nettoyage d’un fichier texte structuré) et avec des opérations d’agrégation sur PairRDDs

Utilisation de l’API Pyspark SQL
✓ Présentation de l’API PysparkSQL
✓ Lecture de fichiers csv, json, parquet et sauvegarde de fichier
✓ Nettoyage et manipulation de données
✓ Groupby et agrégation
✓ Jointure de tables
✓ Lien entre SQL et Python
✓ Manipulation d’objets Row, et Window

Utilisation de l’API Pyspark SQL (suite)
✓ Manipulation de dates
✓ Utilisation de User DefinedFunction et de Pandas User Defined functions
✓ Présentation de Pyspark Pandas
✓ Nombreuses mises en pratique sur des jeux de données

Introduction au Machine Learning
✓ Qu’est-ce que le Machine Learning? Apprentissages supervisé et non supervisé
✓ Compromis Biais Variance
✓ Modèles Linéaires
✓ Modèles Non Linéaires
✓ Modèles ensemblistes
✓ Modèles de clustering
✓ Métriques et évaluation des performances

Machine Learning avec PySpark
✓ Différence entre MLlib SQL et MLlib RDD
✓ Les transformations de processing sur les données et notions de Pipeline
✓ Mise en pratique avec des modèles de Machine Learning sur des problématiques de
clustering, de classification (données numériques et texte)
✓ Evaluation des performances avec Pyspark MLlib
✓ Utilisation de la librairie Xgboost sous un environnement Spark
✓ Utilisation de Pandas UDF pour faire tourner des modèles scikitlearn ou tensorflow en