BigData supervision : Grafana Kibana Graphite Prometheus

Connaître les outils et mécanismes permettant de superviser des fermes Big Data.
Identifier les critères de choix

Supervision : définitions

• Les objectifs de la supervision, les techniques disponibles. La supervision d'une ferme BigData.
• Objets supervisés. Les services et ressources. Protocoles d'accès. Exporteurs distribués de données.
• Définition des ressources à surveiller. Journaux et métriques.
• Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

• Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
• Produits : Prometheus, Graphite, Influxdb, ElasticSearch.
• Présentation, architectures.
• Les sur-couches : Kibana, Grafana.

Graphite

• Composants, architecture
• Modèle de données et mesures
• Format des données stockées, notion de timestamp
• Calculs de l'espace disque nécessaire
• Architecture de production.

InfluxDB

• Présentation, structure, évolution, installation
• Bucket, token, organisation
• Plugin Telegraph, architecture
• Interface graphique, alertes, langage flux
• Démonstration avec Jolokia2 et Cassandra.

JMX

• Principe des accès JMX. MBeans. Visualisation avec jconsole et jmxterm.
• Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...

Prometheus

• Installation et configuration de base
• Définition des ressources supervisées, des intervalles de collecte
• Types de mesures : compteurs, jauges, histogrammes, résumés.
• Notions d'instances, de jobs.
• Démarrage du serveur Prometheus
• Premiers pas dans la console web, et l'interface graphique.
• Le langage PromQL
• Node Exporter. JMX Exporteur. Mongodb Exporteur.
• Démonstration avec Cassandra
• Configuration des agents sur les noeuds de calculs. Agrégation des données JMX. Expressions régulières.
• Requêtage. Visualisation des données
• Comparaison avec Graphite et InfluxDB.

Exploration et visualisation des données

• Mise en oeuvre de Grafana. Installation, configuration.
• Pose de filtres sur Prometheus et remontée des données.
• Etude des différents types de graphiques disponibles,
• Agrégation de données. Appairage des données entre Prométheus et Grafana.
• Visualisation et sauvegarde de graphiques, création de tableaux de bord à partir des graphiques.

Kibana, installation et configuration

• Architectures, paramétrages
• Installation, configuration du mapping avec Elasticsearch.
• Mapping automatique ou manuel
• Démonstration avec Cassandra
• Injection des données avec Logstash, Filebeat et Metricbeat.
• Configuration des indexes
• Exploration des données,création de graphiques, de tableaux de bord

Une attestation de participation sera transmise aux participants