GOEN BIS INHALT
Das Portal in Sachen lebenslanges Lernen
LU
DE
EN
FR
PT
Sie befinden sich hier: Startseite > Weiterbildungen > DAWAN

Hadoop: Déployer du Big Data

4 Tag(e)

Ziele

Comprendre le Big Data et ses enjeux - Savoir déployer Hadoop et son écosystème - Comprendre HDFS, MapReduce - Structurer les données avec HBase - Écrire des requêtes avec HiveQL - Lancer une analyse avec Pig.

Inhalt

Introduction au Big Data

Qu'est-ce que le Big Data?
Source des données: l'homme, la machine
La problématique de taille
Position de Hadoop dans le paysage

Introduction à Hadoop

L'origine du projet
Le système de fichiers HDFS
Comprendre l'algorithme MapReduce
L'environnement d'Hadoop: HBase, ZooKeeper, Hive, Pig…
L'API YARN

Mettre Hadoop en place: HDFS

Du mode autonome au mode complètement distribué en cluster
Pré-requis, distributions Hadoop
Cluster Hadoop: NameNode, ResourceManager, DataNode, NodeManager
Les fichiers de configuration
Opérations de base sur le cluster HDFS: formatage, démarrage, arrêt

Atelier pratique: installer Hadoop sur 2 nœuds, formater et manipuler HDFS

Travailler avec MapReduce

L'intérêt de MapReduce
Mappers, reducers, parallélisme et indépendance des traitements
Entrées, sorties
Soumission d'un job à Hadoop

Atelier pratique: exécuter une tâche via MapReduce, avec sortie dans HDFS

Une base de données distribuée: HBase

L'accès aléatoire, temps réel, lecture-écriture au Big Data
Fonctionnalités de HBase, NoSQL
Pré-requis, configuration
Manipulation via le shell HBase

Atelier pratique: mettre en place HBase sur Hadoop, créer et manipuler une table

Et pourquoi pas un peu de SQL avec Hive?

Présentation de Hive
Gérer le schéma: bases, tables, vues, partitions
Manipulation des données, requêtes et map-reduce avec HiveQL
Audits et journal d'erreurs

Atelier pratique: chargement de données massives dans Hive, requêtes

Analyser les données avec Pig

Présentation, installation du projet Apache Pig
Exécutions de Pig en local, en mode map-reduce
Scripter pour Pig
Le langage Pig Latin
Manipulations de données et stockage avec Pig

Atelier pratique: écrire un script contenant du Pig Latin pour une tâche simple, et l'exécuter en local, puis en mode map reduce.

Aller plus loin avec Hadoop

Gérer les logs et l'audit de tâches Hadoop
Découvrir MRUnit pour les test unitaires dans Hadoop
Débogage en local
Surveillance des perfomances

Atelier pratique: mise en place d'un job MapReduce plus complexe avec traces et tests unitaires

Pädagogische Methoden

Méthodologie basée sur l'Active Learning : 75% de pratique minimum. Chaque point théorique est systématiquement suivi d'exemples et exercices.

Zielgruppe

An wen richtet sich die Weiterbildung?

Administrateurs systèmes

 
Voraussetzungen

Connaissances en administration système, préférablement Java

Bewertung

Bewertungsmethoden

Contrôle continu

 
Zertifikat, Diplom

Attestation de fin de stage mentionnant le résultat des acquis

Kontakt mit dem Anbieter aufnehmen
DAWAN

Dawan - Service commercial

commercial@dawan.fr

+33 (0)9 72 37 73 73

Teile diesen Inhalt

 



Für den Inhalt dieser Weiterbildungsbeschreibung haftet alleine der Verfasser, d. h. der Weiterbildungsanbieter DAWAN.

Drucken Alles anzeigen/ausblenden An einen Freund senden
Kontakt mit dem Anbieter aufnehmen
DAWAN

Dawan - Service commercial

commercial@dawan.fr

+33 (0)9 72 37 73 73

Merkmale
Organisation Formation inter-entreprise
Medien

Sources des exercices + Support papier

Sprache der Dienstleistung
Nutzung von Cookies

lifelong-learning.lu benutzt Cookies, um Ihnen ein qualitatives Nutzererlebnis zu ermöglichen, den Traffic zu messen, die Funktionsweise der sozialen Netzwerke zu optimieren und Ihnen personalisierte Inhalte zur Verfügung zu stellen.

Indem Sie weiterhin die Dienste dieser Website nutzen, akzeptieren Sie die Verwendung von Cookies unter den in unseren diesbezüglichen Richtlinien vorgesehenen Bedingungen. Mehr dazu.

Notwendige Cookies
Diese Cookies ermöglichen die Nutzung der Hauptfunktionen unserer Website (zum Beispiel den Zugang zu Ihrem persönlichen Bereich). Ohne diese Cookies können Sie unsere Seite nicht normal benutzen.
Statistiken
Diese Cookies ermöglichen die Erstellung von Statistiken zum Besuch unserer Website. Ihre Deaktivierung hindert uns daran, die Qualität unserer Dienste zu verfolgen und zu verbessern.
Gezielte Werbung
Diese Cookies ermöglichen, Ihnen im Internet und über die sozialen Netzwerke Informationen und Bildungsangebote vorzuschlagen, die besser auf Ihre Bedürfnisse zugeschnitten sind.

Unsere Richtlinien zur Verwendung von Cookies einsehen.

Akzeptieren Cookieeinstellungen ändern
Veuillez patienter...