Hadoop - traitement de données massives - Groupe 81073

Grand public

Cours INT-AFF

Plateforme Windows

Durée 28 heures

Lieu

3800, rue Sherbrooke Est

Local

Le numéro du local vous sera transmis quelques jours avant le début du cours

Numéro de groupe

81073

Frais avant taxes

(frais de matériel didactique inclus)

425,00 $ CAD

Date(s)

2, 3, 16, 17 mars 2019

Jour(s)

Samedi, dimanche

Horaire

8 h 30 à 16 h 30

Clientèle

Grand public
Personnes en emploi / Personnes sans emploi

Préalables

• Avoir suivi le cours Hadoop – Introduction au big data.
• Posséder des connaissances en Python /Java serait un atout.
• Posséder des connaissances en SQL serait un atout.

Objectifs

À la fin du cours, le participant pourra

  • Énumérer les étapes de « MapReduce »
  • Identifier un langage de développement « MapReduce »
  • Écrire un code « MapReduce » avec le langage approprié
  • Composer une requête avec le langage HQL (Hive Query Language)
  • Utiliser des outils Hadoop de traitement en lot (batch processing) pour traiter des mégadonnés (Pig)

Approche pédagogique

  • Ce cours comporte des cours magistraux, des démonstrations et des exercices dirigés pour acquérir les connaissances et les compétences en matière de technologies disponibles, d’architectures et d’environnement.

Attestation délivrée en fin de cours

Une attestation de participation est remise aux personnes ayant assisté à plus de 80 % des heures de formation

Matériel pédagogique

  • Les présentations en format électronique
  • Les différents exercices et labs en format électronique

Contenu du cours

Programmation en MapReduce

  • Description des différentes phases du modèle de programmation MapReduce
  • Compréhension des limites du modèle mapReduce
  • Maîtrise du flux des données entre les étapes Map et Reduce
  • Maîtrise de l’attribution des #mappers et #reducers dans les fichiers de configuration
  • Écriture d’un code MapReduce avec le langage Java et présentation des briques nécessaires
  • Maitrise de la façon de lancer un job MapReduce sur un cluster Hadoop
  • Installation de l’environnement de développement java pour Hadoop/Mapreduce
  • Installation et configuration du plugin Hadoop pour Eclipse
  • Écriture réussie d’un code Map/Reduce (ou job MapReduce) et exécution sur le cluster pour traitement

Utilisation adéquate de l’outil HIVE

  • Compréhension du rôle de HIVE
  • Écriture /exécution de plusieurs requêtes de données en langage HQL sur un tas de données exemple
  • Importation et Exportation des données vers et à partir de l’espace de stockage

Utilisation adéquate de l’outil PIG

  • Compréhension du rôle de PIG
  • Écriture /exécution d’un code PIG latin sur un tas de données exemple
  • Importation et Exportation des données vers et à partir de l’espace de stockage
College de Maisonneuve | Formation continue