Big Data supervision : Grafana Kibana Graphite Prometheus

Connaissance générale des systèmes d'informations et des bases de données

Connaître les outils et mécanismes permettant de superviser des fermes Big Data.
Identifier les critères de choix

Supervision: définitions

• Les objectifs de la supervision, les techniques disponibles
• La supervision d’une ferme Big Data
• Objets supervisés
• Les services et ressources
• Protocoles d’accès
• Exporteurs distribués de données
• Définition des ressources à surveiller
• Journaux et métriques
• Application aux fermes Big Data: Hadoop, Cassandra, HBase, MongoDB

Mise en œuvre

• Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
• Produits: Prometheus, Graphite, ElasticSearch
• Présentation, architectures
• Les sur-couches: Kibana, Grafana

JMX

• Principe des accès JMX
• MBeans
• Visualisation avec jconsole et jmxterm
• Suivi des performances Cassandra: débit d’entrées/sorties, charges, volumes de données, tables, …

Prometheus

• Installation et configuration de base
• Définition des ressources supervisées, des intervalles de collecte
• Démarrage du serveur Prometheus
• Premiers pas dans la console web, et l’interface graphique
• Exporteur JMX
• Exporteur mongodb
• Démonstration avec Cassandra ou Hadoop/HBase
• Configuration des agents sur les nœuds de calculs
• Agrégation des données JMX
• Expressions régulières
• Requêtage
• Visualisation des données

Graphite

• Modèle de données et mesures
• Format des données stockées, notion de timestamp
• Types de mesures: compteurs, jauges, histogrammes, résumés
• Identification des ressources supervisées: notions d’instances, de jobs
• Démonstration avec Cassandra
• Comparaison avec Prometheus

Exploration et visualisation des données

• Mise en œuvre de Grafana
• Installation, configuration
• Pose de filtres sur Prometheus et remontée des données
• Etude des différents types de graphiques disponibles, agrégation de données
• Appairage des données entre Prométheus et Grafana
• Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques

Kibana, installation et configuration

• Installation, configuration du mapping avec Elasticsearch
• Injection des données avec Logstash et Metribeat
• Architectures, paramétrages
• Mapping automatique ou manuel
• Configuration des indexes à explorer

Une attestation de participation sera transmise aux participants