Hadoop : Déploiement

Who is the training for?

Administrateurs systèmes

Duration

3,00 day(s)

Language(s) of service

EN FR

Next session

02.10.2023

See details

Location

Luxembourg

Price

2325,00€

Prerequisites

Connaissances en administration système - Connaissances Java

Goals

Comprendre le Big Data et ses enjeux - Savoir déployer Hadoop et son écosystème - Comprendre HDFS, MapReduce - Structurer les données avec HBase - Ecrire des requêtes avec HiveQL.

Introduction au Big Data

Qu'est-ce que le Big Data?
Source des données: l'homme, la machine
La problématique de taille
Position de Hadoop dans le paysage

Introduction à Hadoop

L'origine du projet
Le système de fichiers HDFS
Comprendre l'algorithme MapReduce
L'environnement d'Hadoop: HBase, ZooKeeper, Hive, Pig…
L'API YARN

Mettre Hadoop en place: HDFS

Du mode autonome au mode complètement distribué en cluster
Pré-requis, distributions Hadoop
Cluster Hadoop: NameNode, ResourceManager, DataNode, NodeManager
Les fichiers de configuration
Opérations de base sur le cluster HDFS: formatage, démarrage, arrêt

Atelier pratique: installer Hadoop sur 2 nœuds, formater et manipuler HDFS

Travailler avec MapReduce

L'intérêt de MapReduce
Mappers, reducers, parallélisme et indépendance des traitements
Entrées, sorties
Soumission d'un job à Hadoop

Atelier pratique: exécuter une tâche via MapReduce, avec sortie dans HDFS

Une base de données distribuée: HBase

L'accès aléatoire, temps réel, lecture-écriture au Big Data
Fonctionnalités de HBase, NoSQL
Pré-requis, configuration
Manipulation via le shell HBase

Atelier pratique: mettre en place HBase sur Hadoop, créer et manipuler une table

Et pourquoi pas un peu de SQL avec Hive?

Présentation de Hive
Gérer le schéma: bases, tables, vues, partitions
Manipulation des données, requêtes et map-reduce avec HiveQL
Audits et journal d'erreurs

Atelier pratique: chargement de données massives dans Hive, requêtes

Aller plus loin avec Hadoop

Gérer les logs et l'audit de tâches Hadoop
Découvrir MRUnit pour les test unitaires dans Hadoop
Débogage en local
Surveillance des perfomances

Atelier pratique: mise en place d'un job MapReduce plus complexe avec traces et tests unitaires

Teaching methods

Méthodologie basée sur l'Active Learning : 75% de pratique minimum. Chaque point théorique est systématiquement suivi d'exemples et exercices.

Evaluation

Contrôle continu

Certificate, diploma

Attestation de fin de stage mentionnant le résultat des acquis

Next session

Datum

City

Language and price

02.10.2023

04.10.2023

Luxembourg

FR 2325,00€

See details

PROMO -0% Hors taxes

Place of training

Luxembourg

5 Rue Goethe
L-1637 Luxembourg

Luxembourg: A 8 minutes à pied depuis Gare de Luxembourg: 750m (proximité Parcs de Pétrusse)

Locaux accessibles PMR

Schedule

Registration deadline

02.10.2023

04.10.2023

Paris

FR 2325,00€

See details

PROMO -0% Hors taxes

Place of training

Paris

11 rue Antoine Bourdelle
75015 Paris

Paris, rue Antoine Bourdelle:

A 24 minutes en métro depuis gare de l'Est: ligne 4 arrêt Montparnasse
A 27 minutes depuis gare du Nord: ligne 4 arrêt Montparnasse

Locaux accessibles PMR

Schedule

Registration deadline

02.10.2023

04.10.2023

A distance

FR 2325,00€

See details

PROMO -0% Hors taxes

Place of training

Distance

A distance

Nos formateurs sont habitués à travailler en classe virtuelle (visio-conférence). Au préalable, nous réalisons un audit afin de s’assurer systématiquement en amont de la possibilité pour les stagiaires de suivre à distance (équipement, qualité de la connexion, etc...).

Cela vous permet d'interagir pleinement lors de la session.

Pour un déroulement optimal en visioconférence (et après test de connexion en amont) nous vous suggérons de prévoir:

Le(s) logiciel(s) installé(s) sur le poste du participant,
Une connexion internet stable,
Idéalement 2 écrans (dont 1 pour interactivité et 1 pour poste de travail et prise en main éventuelle à distance par le formateur),
Un micro et haut-parleur ou kit mains-libres (pour interagir avec le formateur) et en option une webcam

Le participant devra être dégagé de ses contraintes professionnelles et/ou personnelles durant la formation.

Plus d'informations sur le déroulement de nos formations à distance: https://youtu.be/GsZhStn1OgI

Schedule

Registration deadline

02.10.2023

04.12.2023

06.12.2023

A distance

FR 2325,00€

See details

PROMO -0% Hors taxes

Place of training