Hadoop - Cloudera pour développeurs
Formation créée le 04/08/2021. Dernière mise à jour le 26/03/2024.
Version du programme : 1
Programme de la formation
Cloudera propose sa propre distribution d¿Hadoop, la plus utilisée à ce jour. Cloudera propose propose également une suite d¿outils permettant des traitements temps réel de très gros volumes de données.
Objectifs de la formation
- Connaître Hadoop 2.0 et Hadoop Distributed File System
- Comprendre comment mettre en oeuvre le nouveau Framework YARN dans Hadoop 2.0
- Apprendre à programmer avec « MapReduce »
- Savoir optimiser une tache MapReduce en suivant les meilleures pratiques
- Être en mesure de créer des workflows avec Oozie
- Comprendre comment créer et éxécuter des requêtes Hive sur des données HDFS
- Créer des tâches MapReduce permettant d¿analyser des données avec Pig
- Savoir débugger des programmes « MapReduce » pour les fiabiliser
Profil des bénéficiaires
Pour qui
- Chefs de projets, développeurs, data scientists, et toute personne souhaitant comprendre les techniques de développement avec MapReduce dans l'environnement Hadoop.
Prérequis
- Connaissances de base dans un langage de programmation objet.
Contenu de la formation
-
JOUR 1
- Les technologies Hadoop
- Comment fonctionne « Hadoop Distributed File System » et « MapReduce »
- Comment développer des applications "MapReduce"
-
JOUR2
- Comment réaliser des tests unitaires d'applications MapReduce
- Comment utiliser des combinateurs MapReduce, des partitionners et des caches distribués
- Les meilleures pratiques pour développer et débugger des applications MapReduce
-
JOUR 3
- Comment mettre en oeuvre l'entrée et la sortie des données dans les applications MapReduce
- Les algorithmes pour les principales tâches "MapReduce"
- Comment relier des ensembles de données dans MapReduce
- Comment Hadoop s'intègre dans le Data Center
- Comment utiliser les algorithmes d'apprentissage automatique de Mahout
- Comment Hive et Pig peuvent être utilisés pour développer rapidement des applications
- Comment créer des workflows importants avec Oozie
Équipe pédagogique
Les experts qui animent la formation sont des spécialistes des matières abordées. Ils ont été validés par nos équipes pédagogiques tant sur le plan des connaissances métiers que sur celui de la pédagogie, et ce pour chaque cours qu’ils enseignent. Ils ont au minimum cinq à dix années d’expérience dans leur domaine et occupent ou ont occupé des postes à responsabilité en entreprise.
Suivi de l'exécution et évaluation des résultats
- En amont de la formation : entretien permettant l’analyse des besoins des participants et/ou questionnaire de positionnement
- L’évaluation des compétences est réalisée : - Par des exercices pratiques et/ou mises en situation, tout au long de la formation - Par un exercice de synthèse et/ou un questionnaire d’auto-évaluation et/ou une certification, en fin de formation
- Feuille de présence émargée par demi-journée par les stagiaires et le formateur
- Formulaires d'évaluation de la formation à chaud et à froid (3mois après la session)
- Certificat de réalisation
- Attestation de fin de formation avec relevé des compétences acquises.
- DANS LE CAS DE FORMATIONS A DISTANCE Il est nécessaire que le stagiaire : - Possède un PC ou un Mac, avec le logiciel installé dans la bonne version - Une connexion internet stable d’au moins 8Mo/s - Un navigateur Web récent - Zoom ou Teams devra être installé (accompagnement possible)
Ressources techniques et pédagogiques
- Exposés, aides visuelles, support de cours, exercices pratiques d’utilisation
- Questions/réponses entre les stagiaires et le formateur
- En présentiel : ordinateurs Mac ou PC, connexion internet, tableau blanc/paperboard, vidéoprojecteur, partage de documents
- A distance : logiciel de visio-conférence, partage d’écran formateur et stagiaire, partage de document
Capacité d'accueil
Entre 1 et 8 apprenants
Délai d'accès
2 semaines
Accessibilité
Les personnes atteintes de handicap souhaitant suivre cette formation sont invitées à nous contacter directement, afin d’étudier ensemble les possibilités de suivre la formation.
Délai d'accès : Les inscriptions doivent être réalisées une semaine avant le début de la formation.
La formation peut être suivie :
- En inter-entreprises : 2 à 6 personnes. Session maintenue si 2 personnes confirmées.
- En intra-entreprise : 1 à 8 personnes
- Individuellement : planifiée selon les disponibilités de chacun
Horaires et rythmes :
- En présentiel : 9h à 17h, journées consécutives ou non
- A distance : sessions de 2h sur lundi 9h au samedi 12h
Lieu de formation :
- Sur site client
- A distance