Hadoop: Administration

Administrateurs systèmes

Connaissances en administration système, préférablement Java

• Installer les services d'un nœud Hadoop
• Assembler plusieurs nœuds Hadoop
• Déployer une nouvelle application sur un cluster existant
• Effectuer une restauration de données suite à une reprise sur incident

Préambule

Qu'est-ce que le Big Data?
La problématique de taille
Position de Hadoop dans le paysage

Administration de Hadoop

Présentation d’un nœud existant
Organisation des services et étude du séquencement avec YARN

Atelier: modifier la taille des blocs HDFS pour diminuer le nombre de Map/Reduce

Mettre Hadoop en place

Relation entre la plateforme installée et les framework de développement
Proposer de frameworks indépendants pour assurer la compatibilité: Spring Data

Atelier: déployer une application d’accès à HBase au travers d’un mapping O/R Spring Data

Travailler avec MapReduce

Déployer un programme Map/Reduce sur un cluster de nœuds Hadoop
Recherche des logs
Remonter les anomalies aux développeurs
Proposer l’usage de file Kafka

Atelier: utilisation de file d’entrée sortie pour un programme Map/Reduce

Routage de données

Définition de routes logicielles
Mettre en place un cas de calcul où les données déclenchent les programmes

Atelier: faire un routage de données depuis un répertoire HDFS vers une file Kafka qui est l’entrée d’un programme Map/Reduce

Utilisation des vues

Utilisation des vues Ambari
Visualisation de l’état des nœuds d’un cluster
Importer/exporter des fichiers de configuration

Atelier: relancer une grappe de services, utilisation des vues YARN et Tez

Gestion des droits

Gestion des comptes utilisateurs
Gestion des droits de fichier sur un système de fichier distribué
Utilisation de certificat

Atelier: configurer les services Knox et Ranger

Méthodologie basée sur l'Active Learning : 75% de pratique minimum. Chaque point théorique est systématiquement suivi d'exemples et exercices.

Contrôle continu

Attestation de fin de stage mentionnant le résultat des acquis

Sources des exercices + Support papier