ElasticSearch Logstash et Kibana

• Analystes
• Développeurs

• Comprendre l'architecture globale de l'Elastic Stack (Elasticsearch, Logstash, Kibana, Beats)
• Installer et configurer les composants principaux dans un environnement de test ou de pré-production
• Mettre en place des pipelines d'ingestion de données avec Logstash
• Indexer, rechercher et agréger des données dans Elasticsearch
• Créer des visualisations et des tableaux de bord dans Kibana
• Appliquer quelques bonnes pratiques de supervision, sécurisation et maintenance

Introduction à l'Elastic Stack et cas d'usage

• Contexte : observabilité, analytics, centralisation des logs, recherche full-text
• Présentation des composants :
  • Elasticsearch
  • Logstash
  • Kibana
  • Beats / Filebeat / Metricbeat (aperçu)
• Cas d'usage typiques dans l'entreprise

Architecture globale et concepts clés

• Architecture logique : ingestion stockage visualisation
• Notions fondamentales d'Elasticsearch :
  • Cluster, nœuds, index, shards, réplicas
  • Documents, champs, mappings
• Flux de données type :
  • Application / système Beats / Logstash Elasticsearch Kibana

Installation et configuration de la stack

• Objectif : savoir installer une stack de base exploitable pour la suite de la formation
• Pré-requis techniques :
  • OS cibles (Linux principalement)
  • Version de Java (si nécessaire), ressources CPU / RAM / disque
  • Modes d'installation :
    • Packages (deb/rpm), archives, Docker / conteneurs (aperçu)
    • Démarrage/arrêt des services, vérifications de base
• Configuration initiale d'Elasticsearch :
  • Fichiers de configuration principaux (elasticsearch.yml)
  • Paramètres de cluster (nom, discovery, chemins données/logs)
  • Configuration réseau (bind host, ports, accès local/distant)
• Configuration initiale de Kibana :
  • Connexion à Elasticsearch (kibana.yml)
  • Paramètres de base (langue, index par défaut, espaces)
• Notions de base sur la sécurité :
  • Activation de la sécurité intégrée (aperçu : utilisateurs/roles)
  • Accès HTTP(S), authentification de base
• Exercices pratiques :
  • Installation d'Elasticsearch et Kibana sur un environnement de démo
  • Vérifier le bon fonctionnement via l'API REST et l'interface Kibana

Ingestion de données avec Logstash

• Objectif : comprendre et mettre en place des pipelines Logstash cohérents avec les objectifs de la formation
• Rôle de Logstash dans l'architecture :
  • Différences / complémentarité avec Beats
  • Quand utiliser Logstash vs Beats uniquement
• Architecture et concepts Logstash :
  • Pipelines : input ? filter ? output
  • Fichiers de configuration et service Logstash
• Plugins d'entrée (inputs) :
  • file, beats, tcp, udp, http (selon besoins)
• Plugins de filtre (filters) :
  • grok : parsing de logs non structurés
  • mutate : renommage, suppression, ajout de champs
  • date : gestion des timestamps
  • geoip : enrichissement géographique (si pertinent)
  • Gestion des conditionnels (if, else if, else)
• Plugins de sortie (outputs) :
  • elasticsearch : indexation dans Elasticsearch
  • stdout pour le debug
• Bonnes pratiques Logstash :
  • Organisation des fichiers de configuration
  • Gestion des performances (pipeline workers, batch size – aperçu)
  • Stratégies de logs et de supervision
• Exercices pratiques :
  • Créer un pipeline simple : lecture d'un fichier de logs ? parsing ? envoi vers Elasticsearch
  • Vérifier dans Kibana que les données sont bien indexées et interprétées

Manipulation de données dans Elasticsearch

• APIs principales :
  • Indexation de documents (API REST, bulk)
  • Recherche simple (query string)
  • Requêtes booléennes, filtrage, pagination
• Mapping et types de champs :
  • Champs texte vs keyword
  • Dates, numériques, booléens
  • Gestion des mappings dynamiques vs explicites
• Agrégations :
  • Agrégations de base (terms, range, date histogram)
  • Cas d'usage : top N, répartition par statut, évolution temporelle
• Exercices :
  • Import d'un jeu de données
  • Requêtes de recherche et agrégations simples

Visualisation et tableaux de bord avec Kibana

• Prise en main de l'interface :
  • Discover : exploration des données
  • Gestion des index patterns / data views
• Création de visualisations :
  • Graphiques à barres, linéaires, camemberts
  • Cartes (si données géo)
  • Filtres, time picker, sauvegarde des vues
• Tableaux de bord
  • Création d'un dashboard thématique
  • Interaction entre les visualisations (filtres croisés)
• Aperçu d'autres fonctionnalités :
  • Alerting (si disponible)
  • Canvas / Lens (selon version)
• Atelier :
  • Construire un dashboard métier basé sur les données importées via Logstash

Supervision, sécurisation et bonnes pratiques

• Supervision de la stack :
  • Monitoring de base via Kibana (health, shards, etc.)
  • Logs des services (Elasticsearch, Logstash, Kibana)
• Bonnes pratiques de configuration :
  • Gestion de la volumétrie : rotation d'index, ILM (aperçu)
  • Sauvegardes / snapshots (concepts)
• Sécurité (niveau introduction) :
  • Rôles, utilisateurs, espaces Kibana
  • Principes de cloisonnement par projet / équipe

Synthèse et mise en situation

• Récapitulatif des objectifs atteints :
  • Installation et configuration d'un environnement fonctionnel
  • Mise en place d'un pipeline Logstash
  • Indexation, recherche, visualisation
• Atelier de fin :
  • Scénario de bout en bout :
    • Source de logs ? Logstash ? Elasticsearch ? Dashboard Kibana
  • Questions / réponses, pistes pour aller plus loin :
    • Scale-out, haute dispo, modules avancés, observabilité complète, etc

Une attestation de participation sera transmise aux participants