Centraliser les logs avec Elastic Stack (ELK)

Que faire des journaux de logs systèmes?

Les logs sont des éléments indispensables à toutes les applications pour comprendre le fonctionnement, analyser, diagnostiquer et intervenir en conséquence.

Un des moyens simples d’avoir une gestion proactive du SI est de vérifier régulièrement les logs et réagir sur une information qui indique une dégradation du système, de l’application.

Quand on doit gérer beaucoup d’application, avec des systèmes multiples, des composants différents et que l’on veut consulter les logs, cela devient rapidement un casse-tête.

C’est là qu’intervient Elastic Stack (ELK).

Centraliser les logs avec Elastic Stack (ELK) : de quoi s’agit-il ?

The Elastic Stack (ELK) est composé de :

• ElasticSearch : Serveur d’indexation et qui permet une recherche des données rapides (comme google.fr). Il utilise un moteur de recherche distribué, une base de données NoSQL et une interface REST.
• Logstash : collecte et traite en parallèle des données provenant d’une multitude de sources (programmes, fichiers de logs, etc.), puis les agrège et les envoie vers Elasticsearch.
• Kibana : fournis un dashboard interactif et paramétrable à souhait pour visualiser les données stockées fournies par ElasticSearch.

Tous ces outils sont en licence libre. L’homogénéité des développements est assurée par la société Elastic, dans le cadre d’un développement communautaire.

Centraliser les logs avec Elastic Stack : 3 outils

Elasticsearch

Elasticsearch est un serveur utilisant Lucene (projet de la fondation Apache pour créer une bibliothèque java qui permet d’indexer et de chercher du texte)

Le moteur de recherche Elasticsearch permet de faire de l’indexation et de la recherche de données.

Il dispose de 2 familles de classes (indexation et recherche) :

• Indexation : permet de créer des index, d’y placer des documents, de les analyser et de les indexer
• Recherche : Accès à l’index, formulation des recherches, restitution du résultat et statistiques d’accès.

Toutes les fonctions sont disponibles via les interfaces JSON et Java.

On peut mettre tout type d’information dans Elasticsearch. Il existe beaucoup de cas d’utilisation différents.

Il est très souvent intégré à des applications pour aider à la recherche d’information contextuelle.

LogStash

LogStash est un outil dédié au traitement des logs. Il dispose d’une grande quantité de collecteurs de donnée, ce qui en fait un outil très puissant et adapté à presque tous les besoins de récolte de logs.

Il centralise, transforme et stocke les données.

Il faut le voir comme un outil qui va éclater tous les champs d’une ligne composant un log afin d’y faire des recherches complexes.
Pour cela, il peut traiter, transformer les données pour nous donner une meilleure compréhension de l’information.

Exemple : Traitement GOIP de l’adresse IP d’un log access sur un serveur Web qui va nous indiquer le pays de l’internaute.

Kibana

Kibana est un greffon de visualisation de donnée. Il va permettre d’accéder aux données fournies par Elasticsearch et les restituer sous forme de graphique. C’est un produit qui permet de réaliser de beaux graphiques.

Il fait des graphiques en ligne, barre, des histogrammes (camembert), nuage de points et peut les placer sur une carte géographique, ainsi que quelques traitements d’agrégation et de filtrage.

Son utilisation la plus courante est de créer un tableau de bord avec calcul en temps réel des données pour avoir un instantané de données croisées.

L’assemblage de ces 3 outils en fait une solution idéale pour centraliser et restituer l’état de fonctionnement d’un SI par analyse croisée des logs.

On peut aller dans le détail pour chercher des mots clés d’un log, d’une machine ou bien rester à un niveau macroscopique par affichage d’une information préparamétrée dans un graphique Kibana.

En général, on crée quelques graphiques qui permettent d’avoir un tableau de bord du fonctionnement du SI, puis en cas de besoin de détail, on va chercher précisément l’information afin de faire de la corrélation d’événement.

Contactez Syloé, Experts Linux pour centraliser les logs avec Elastic Stack

Vous souhaitez également centraliser vos logs et optimiser l’architecture technique de votre système d’information, vous orientez vers des solutions libres?? Contactez un Expert, il vous conseillera et vous accompagnera dans vos projets?!