Apache Kafka: Administration

Connaissance minimale de l'administration de système - Notions de programmation objet.

Comprendre l'architecture de Kafka et ses cas d'utilisation - Utiliser les APIs Kafka - Administrer un cluster - Construire une architecture haute-disponibilité - Sécuriser un cluster.

Découvrir Kafka

Contexte d'utilisation: Big Data et Stream Data
Kafka: présentation, composants disponibles (brokers, topics, consumers, producers)
APIs proposées
Outils connexes

Installer et configurer Kafka

Procédure d'installation
Dimensionnement
Mise en place de files de messages
Interface en ligne de commande pour l'envoi de messages

Atelier: installation, configuration et commandes via la CLI

Utiliser les APIs Kafka

Panorama des différentes APIs:

• Producers API
• Consumers API
• Streams API
• Connect API
• AdminClient API
• KafkaStreams

Atelier: utilisation de plusieurs APIs proposées par Kafka

Administrer un cluster Kafka

Distribution et réplication des données
Choix d'une stratégie de réplication
Validation des messages
Gestion des offsets
Tâches d’administration et monitoring

Atelier: multiples tâches d’administration d’un cluster

Construire une architecture Haute Disponibilité

Noeuds disponibles et distribution
Brokers
Plateforme Confluent: Schema Registry et REST Proxy
Gestion de la sécurité

Atelier: Mise en place d'une architecture HA

Sécuriser un cluster Kafka

Quid sur la sécurité
Sécurité du transport (SSL)
Gestion de l'authentification
Gestion des ACLs
Authentification Zookeeper

Atelier: mise en place de la sécurité dans un cluster Kafka

Méthodologie basée sur l'Active Learning : 75% de pratique minimum. Chaque point théorique est systématiquement suivi d'exemples et exercices.

Contrôle continu

Attestation de fin de stage mentionnant le résultat des acquis

Sources des exercices + Support papier