Cours Big Data Hadoop and Spark Developer

À la fin du cours vous serez capables de comprendre:

• Les différents composants de l’écosystème Hadoop comme Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume et Apache Spark 
• Hadoop Distributed File System (HDFS) et l’architecture YARN
• MapReduce et ses caractéristiques et assimiler des concepts de MapReduce avancés
• Différents types de formats de fichier, le schéma Avro, l’utilisation de Avro avec Hive et l’évolution de Sqoop et de Schema
• Flume, l’architecture de Flume, les sources, les chutes de Flume, les réseaux et les configurations de Flume
• HBase, son architecture et son stockage de données, et apprendre la différence entre HBase et RDBMS
• Resilient Distribution Datasets (RDD) en détail
• Les scénarios d’usage de Spark les plus communs et différents algorithmes interactifs

Vous serez aussi capables de:

• Introduire des données en utilisant Sqoop et Flume
• Créer une base de données et des tableaux dans Hive et Impala, comprendre HBase, et utiliser Hive et Impala pour la séparation
• Se familiariser avec Pig et ses composants
• Faire une programmation fonctionnelle dans Spark, exécuter et construire des applications Spark
• Acquérir une compréhension approfondie du traitement parallèle dans Spark et des techniques d’optimisation Spark RDD
• Créer, transformer et rechercher des trames de données avec Spark SQL

Les opportunités de carrière dans le big data sont en hausse et Hadoop devient rapidement une technologie essentielle dans l’architecture big data. La formation Big Data est appropriée pour la Technologie de l’Information, la gestion des données et les professionnels des analyses de données, notamment:

• Développeurs de logiciels et architectes
• Professionnels en analyse des données
• Professionnels supérieurs dans la Technologie de l’Information
• Professionnels en tests et unités centrales
• Professionnels en gestion des données
• Professionnels en informatique décisionnelle
• Chefs de projet
• Futurs data scientists
• Diplômés qui comptent faire carrière dans l’analyse des données

Le cours aborde les sujets suivants:

• Introduction au cours
• Leçon 1 - Introduction aux big data et à l’écosystème Hadoop 
• Leçon 2 - HDFS et YARN 
• Leçon 3 - MapReduce et Sqoop 
• Leçon 4 - Les bases de Hive et Impala 
• Leçon 5 - Travailler avec Hive et Impala 
• Leçon 6 - Types de formats de données 
• Leçon 7 - Concepts Hive avancés et séparation des fichiers de données 
• Leçon 8 - Apache Flume et HBase 
• Leçon 9 - Pig 
• Leçon 10 - Les bases d’Apache Spark 
• Leçon 11 - RDDs dans Spark 
• Leçon 12 - Exécution des applications Spark 
• Leçon 13 - Traitement parallèle de Spark
• Leçon 14 - Techniques d’optimisation Spark RDD
• Leçon 15 - Algorithme Spark 
• Leçon 16 - Spark SQL 
• COURS GRATUIT - Apache Kafka
• COURS GRATUIT - Core Java

Le cours de formation inclut aussi cinq projets industriels concrets. Une évaluation positive d’un des deux premiers projets ci-dessous fait partie des critères d’éligibilité à la certification. Nous avons aussi inclus trois projets supplémentaires pour s’entraîner, pour vous aider à démarrer votre parcours Hadoop et Spark.

Projet 1 - Domaine: Secteur bancaire
Une institution bancaire portugaise a mené une campagne de marketing pour convaincre des potentiels clients d’investir dans un dépôt bancaire à terme. Leurs campagnes de marketing ont été menées par des appels téléphoniques et certains clients ont été contactés plus d’une fois. Votre devoir est d’analyser les données récupérées à travers la campagne de marketing.

Projet 2 – Domaine: Télécommunication
Un fournisseur de service de téléphonie mobile a lancé une nouvelle campagne Open Network. L’entreprise a invité les utilisateurs à formuler des réclamations à propos des tours dans leur localité si ils font face à des problèmes avec leur réseau mobile. L’entreprise a récupéré l’ensemble des données des utilisateurs qui ont déposé plainte. Le quatrième et le cinquième champ de l’ensemble des données a une latitude et une longitude des utilisateurs, qui constitue une information importante pour l’entreprise. Vous devez trouver cette information sur la latitude et la longitude sur la base de l’ensemble des données disponibles et créer trois groupes d’utilisateurs avec un algorithme k-means.

Projet 3 - Domaine: Réseaux sociaux  
Dans le cadre d’un exercice de recrutement, une grande entreprise de réseaux sociaux a demandé aux candidats d’analyser un ensemble de données issues de Stack Exchange. Vous utiliserez l’ensemble des données pour arriver à certaines idées-clés.

Projet 4 - Domaine: Site web qui fournit informations liées au cinéma
IMDB est une base de données en ligne liées au cinéma. Les utilisateurs de IMDB évaluent les films sur une échelle de 1 à 5 -- 1 étant le pire et 5 le meilleur – et fournissent des revues. L’ensemble des données possède aussi des informations supplémentaires, comme l’année de sortie du film. Votre devoir est d’analyser les données récupérées.

Projet 5 - Domaine: Assurance
Une compagnie d’assurance basée aux États-Unis a décidé de lancer un nouveau programme d’assurance médicale orienté vers différents clients. Pour aider un client à mieux comprendre le marché, vous devez réaliser une série d’analyses de données en utilisant Hadoop.

Il n’y a aucun prérequis pour ce cours. Cependant, avoir une connaissance de Core Java et de SQL est utile. Nous offrons un cours en ligne gratuit et d’auto-formation "Java essentials for Hadoop" si vous avez besoin de réviser vos compétences Core Java.

Durée du cours en ligne: 

• 1 an d’accès à la plateforme