Login
Cours Big Data Hadoop and Spark Developer
Cours de formation Big Data Hadoop and Spark Developer fournis par iLEARN
Disponibilité et prix des cours Big Data Hadoop and Spark Developer
Produits en évidence
Dans cette vitrine vous trouvez une sélection de cours de formation et d'examens dans le cadre Big Data Hadoop and Spark Developer.
Si vous ne trouvez pas le cours ou l'examen souhaité, n'hésitez pas à nous contacter.
BIG DATA HADOOP AND SPARK DEVELOPER
Le monde devient de plus en plus numérique et l’importance des big data et des analyses de données continuera d’augmenter dans les années à venir. Choisir une carrière dans le domaine des big data et des analyses de données pourrait être ce que vous cherchez pour répondre à vos ambitions de carrière.
Le cours de formation Big Data Hadoop (Hadoop Big Data) vous apprendra les concepts du système Hadoop, sa création dans un milieu de groupe, et il vous prépare pour la certification CCA175 Big Data de Cloudera (certification Hadoop).
CERTIFICATION BIG DATA HADOOP AND SPARK DEVELOPER
Il n’y a pas d’examen disponible, mais vous devez compléter 85% du Big Data cours, un projet et un test de simulation, avec un score minimum de 80%, pour obtenir une certification Spark Developer .
COURS BIG DATA HADOOP AND SPARK DEVELOPER
Avec ce cours de certification Big Data and Hadoop, vous apprendrez le système big data en utilisant Hadoop et Spark, y compris HDFS, YARN, et MapReduce. Le cours abordera aussi Pig, Hive et Impala pour traiter et analyser des grands ensembles de données stockées dans le HDFS et utiliser Sqoop et Flume pour l’importation des données.
On vous montrera le traitement des données en temps réel en utilisant Spark, notamment la programmation fonctionnelle dans Spark, la mise en œuvre des applications Spark, la compréhension du traitement parallèle dans Spark et l’utilisation des techniques d’optimisation Spark RDD. Vous apprendrez aussi les différents algorithmes interactifs dans Spark et à utiliser Spark SQL pour créer, transformer et rechercher les formulaires de données.
Finalement, il vous sera demandé d’exécuter des projets concrets et industriels en utilisant CloudLab dans le domaine bancaire, de la télécommunication, des réseaux sociaux, des assurances, et du commerce électronique.
Ci-dessous vous pouvez lire le document du cours avec les informations à propos de Big Data Hadoop and Spark Developer.
Objectifs
À la fin du cours vous serez capables de comprendre:
- Les différents composants de l’écosystème Hadoop comme Hadoop 2.7, Yarn, MapReduce, Pig, Hive, Impala, HBase, Sqoop, Flume et Apache Spark
- Hadoop Distributed File System (HDFS) et l’architecture YARN
- MapReduce et ses caractéristiques et assimiler des concepts de MapReduce avancés
- Différents types de formats de fichier, le schéma Avro, l’utilisation de Avro avec Hive et l’évolution de Sqoop et de Schema
- Flume, l’architecture de Flume, les sources, les chutes de Flume, les réseaux et les configurations de Flume
- HBase, son architecture et son stockage de données, et apprendre la différence entre HBase et RDBMS
- Resilient Distribution Datasets (RDD) en détail
- Les scénarios d’usage de Spark les plus communs et différents algorithmes interactifs
Vous serez aussi capables de:
- Introduire des données en utilisant Sqoop et Flume
- Créer une base de données et des tableaux dans Hive et Impala, comprendre HBase, et utiliser Hive et Impala pour la séparation
- Se familiariser avec Pig et ses composants
- Faire une programmation fonctionnelle dans Spark, exécuter et construire des applications Spark
- Acquérir une compréhension approfondie du traitement parallèle dans Spark et des techniques d’optimisation Spark RDD
- Créer, transformer et rechercher des trames de données avec Spark SQL
Adressé à
Les opportunités de carrière dans le big data sont en hausse et Hadoop devient rapidement une technologie essentielle dans l’architecture big data. La formation Big Data est appropriée pour la Technologie de l’Information, la gestion des données et les professionnels des analyses de données, notamment:
- Développeurs de logiciels et architectes
- Professionnels en analyse des données
- Professionnels supérieurs dans la Technologie de l’Information
- Professionnels en tests et unités centrales
- Professionnels en gestion des données
- Professionnels en informatique décisionnelle
- Chefs de projet
- Futurs data scientists
- Diplômés qui comptent faire carrière dans l’analyse des données
Contenus
Le cours aborde les sujets suivants:
- Introduction au cours
- Leçon 1 - Introduction aux big data et à l’écosystème Hadoop
- Leçon 2 - HDFS et YARN
- Leçon 3 - MapReduce et Sqoop
- Leçon 4 - Les bases de Hive et Impala
- Leçon 5 - Travailler avec Hive et Impala
- Leçon 6 - Types de formats de données
- Leçon 7 - Concepts Hive avancés et séparation des fichiers de données
- Leçon 8 - Apache Flume et HBase
- Leçon 9 - Pig
- Leçon 10 - Les bases d’Apache Spark
- Leçon 11 - RDDs dans Spark
- Leçon 12 - Exécution des applications Spark
- Leçon 13 - Traitement parallèle de Spark
- Leçon 14 - Techniques d’optimisation Spark RDD
- Leçon 15 - Algorithme Spark
- Leçon 16 - Spark SQL
- COURS GRATUIT - Apache Kafka
- COURS GRATUIT - Core Java
Le cours de formation inclut aussi cinq projets industriels concrets. Une évaluation positive d’un des deux premiers projets ci-dessous fait partie des critères d’éligibilité à la certification. Nous avons aussi inclus trois projets supplémentaires pour s’entraîner, pour vous aider à démarrer votre parcours Hadoop et Spark.
Projet 1 - Domaine: Secteur bancaire
Une institution bancaire portugaise a mené une campagne de marketing pour convaincre des potentiels clients d’investir dans un dépôt bancaire à terme. Leurs campagnes de marketing ont été menées par des appels téléphoniques et certains clients ont été contactés plus d’une fois. Votre devoir est d’analyser les données récupérées à travers la campagne de marketing.
Projet 2 – Domaine: Télécommunication
Un fournisseur de service de téléphonie mobile a lancé une nouvelle campagne Open Network. L’entreprise a invité les utilisateurs à formuler des réclamations à propos des tours dans leur localité si ils font face à des problèmes avec leur réseau mobile. L’entreprise a récupéré l’ensemble des données des utilisateurs qui ont déposé plainte. Le quatrième et le cinquième champ de l’ensemble des données a une latitude et une longitude des utilisateurs, qui constitue une information importante pour l’entreprise. Vous devez trouver cette information sur la latitude et la longitude sur la base de l’ensemble des données disponibles et créer trois groupes d’utilisateurs avec un algorithme k-means.
Projet 3 - Domaine: Réseaux sociaux
Dans le cadre d’un exercice de recrutement, une grande entreprise de réseaux sociaux a demandé aux candidats d’analyser un ensemble de données issues de Stack Exchange. Vous utiliserez l’ensemble des données pour arriver à certaines idées-clés.
Projet 4 - Domaine: Site web qui fournit informations liées au cinéma
IMDB est une base de données en ligne liées au cinéma. Les utilisateurs de IMDB évaluent les films sur une échelle de 1 à 5 -- 1 étant le pire et 5 le meilleur – et fournissent des revues. L’ensemble des données possède aussi des informations supplémentaires, comme l’année de sortie du film. Votre devoir est d’analyser les données récupérées.
Projet 5 - Domaine: Assurance
Une compagnie d’assurance basée aux États-Unis a décidé de lancer un nouveau programme d’assurance médicale orienté vers différents clients. Pour aider un client à mieux comprendre le marché, vous devez réaliser une série d’analyses de données en utilisant Hadoop.
Prérequis
Il n’y a aucun prérequis pour ce cours. Cependant, avoir une connaissance de Core Java et de SQL est utile. Nous offrons un cours en ligne gratuit et d’auto-formation "Java essentials for Hadoop" si vous avez besoin de réviser vos compétences Core Java.
Durée
Durée du cours en ligne:
- 1 an d’accès à la plateforme