Analyse de données en environnement hadoop

Connaitre les fonctionnements d'Hadoop Distributed File System (HDFS) et YARN / MapReduce. Savoir explorer HDFS et suivre l’exécution d’une application YARN. Déterminer les fonctionnements et
l'utilisation les différents outils de manipulation des données
 

Hadoop
Comprendre Hadoop et son écosystème
Quels impacts de l’arrivée d’Hadoop dans un SI traditionnel ?
Le Hadoop Distributed File System (HDFS)
Introduction aux données dans HDFS
MapReduce Framework et YARN 

Pig
Introduction à Pig
Programmation Pig avancée
Troubleshooting et optimisation avec Pig
Résolution des problèmes avec Pig
Utiliser l’UI Web d’Hadoop
Démo optionnelle : résolution d’un « Failed Job » avec l’UI Web
Echantillonnage de données et débogage
Vue d’ensemble des performances
Comprendre le plan d’exécution
Astuces pour améliorer la performance de vos « Pig Jobs »

Hive
Programmation Hive
Utilisation de HCatalog
Programmation Hive avancée
Etendre Hive
Transformation de données avec
des Scripts personnalisés
Fonctions définies par l’utilisateur
Paramétrer les requêtes
Exercices « Hands-On » :
transformation de données avec
Hive
Programmation Hive avancée (suite)
Analyse de données et statistiques

Sqoop
Import/Export avec Sqoop (SGBDR <-> HDFS)
Sqoop, fonctions avancées
Définition de workflow avec Oozie

Optionnel
Introduction à H-Base
Exemple d’ingestion de données avec l’ETL Talend
Créer son propre cluster Hadoop (plateforme de test)