À propos

Fluent Bit est un processeur et un redirecteur de journaux rapides pour les systèmes d'exploitation des familles Linux, Windows, Linux embarqué, MacOS et BSD. Il fait partie de l'écosystème Graduated Fluentd et d'un sous-projet du CNCF.

Fluent Bit permet de collecter des événements de journal ou des métriques provenant de différentes sources, de les traiter et de les transmettre à différents backends tels que Fluentd, Elasticsearch, Splunk, DataDog, Kafka, New Relic, les services Azure, les services AWS, les services Google, NATS, InfluxDB ou tout autre point de terminaison HTTP personnalisé.

Fluent Bit est doté de fonctionnalités complètes de traitement de flux SQL : manipulation et analyse de données à l'aide de requêtes SQL.

Fluent Bit fonctionne sur les architectures x86_64, x86, arm32v7 et arm64v8.

Caractéristiques

Hautes performances avec une faible empreinte CPU et mémoire
Analyse des données
- Convertissez vos messages non structurés à l'aide de nos analyseurs : JSON, Regex, LTSV et Logfmt
Fiabilité et intégrité des données
- Gestion de la contre-pression
- Mise en mémoire tampon des données dans la mémoire et le système de fichiers
Réseautage
- Sécurité : prise en charge TLS/SSL intégrée
- E/S asynchrones
Architecture enfichable et extensibilité : entrées, filtres et sorties
- Plus de 70 plugins intégrés disponibles
- Extensibilité
  - Écrivez n'importe quel plugin d'entrée, de filtre ou de sortie en langage C
  - Écrivez des filtres dans Lua ou des plugins de sortie dans Golang
Surveillance : exposez les métriques internes via HTTP au format JSON et Prometheus
Traitement de flux : effectuez la sélection et la transformation des données à l'aide de requêtes SQL simples
- Créez de nouveaux flux de données à l'aide des résultats de requêtes
- Fenêtres d'agrégation
- Analyse et prédiction des données : prévisions de séries temporelles
Portable : fonctionne sur les systèmes Linux, MacOS, Windows et BSD

Bit courant en production

Fluent Bit est largement utilisé dans les environnements de production. En 2022, Fluent Bit dépasse les 3 milliards de téléchargements et continue d'être déployé plus de 10 millions de fois par jour . Ce qui suit est un aperçu de ceux qui utilisent beaucoup Fluent Bit en production :

Si votre entreprise utilise Fluent Bit et n'est pas répertoriée, n'hésitez pas à ouvrir un ticket GitHub et nous ajouterons le logo.

utilisateurs

Documentation

Notre documentation officielle de projet pour les sujets d'installation, de configuration, de déploiement et de développement se trouve ici :

https://docs.fluentbit.io

Démarrage rapide

Construire à partir de zéro

Si vous souhaitez créer Fluent Bit à partir de sources, vous pouvez continuer et commencer avec les commandes suivantes.

 cd build
cmake ..
make
bin/fluent-bit -i cpu -o stdout -f 1

Si vous souhaitez plus de détails, veuillez vous référer à la section Construire et installer.

Exigences

CMake >= 3.0
Fléchir
Bison
Bibliothèque/en-têtes YAML
Bibliothèque/en-têtes OpenSSL

Forfaits Linux

Nous fournissons des packages pour les distributions Linux les plus courantes :

Debian
Raspbien
Ubuntu
CentOS

Images de conteneurs Linux/Docker

Nos images de conteneurs Linux constituent le modèle de déploiement le plus courant. Des milliers de nouvelles installations sont effectuées chaque jour. Apprenez-en davantage sur les images et les balises disponibles ici.

Forfaits Windows

Fluent Bit est entièrement pris en charge sur les environnements Windows, commencez par ces instructions.

Fonctionnant sur s390x

Fluent Bit fonctionne sous Linux sur IBM Z (s390x), mais pas le plugin de filtre WASM. Pour le plugin de filtre LUA, il s'exécute lorsque libluajit est installé sur le système et que le bit fluent est construit avec FLB_LUAJIT et FLB_PREFER_SYSTEM_LIB_LUAJIT activés.

Plugins : entrées, filtres et sorties

Fluent Bit est basé sur une architecture enfichable où différents plugins jouent un rôle majeur dans le pipeline de données :

Plugins d'entrée

nom	titre	description
collecté	Collecté	Écoutez les paquets UDP de Collectd.
processeur	Utilisation du processeur	mesurer l’utilisation totale du processeur du système.
disque	Utilisation du disque	mesurer les E/S de disque.
factice	Factice	générer un événement factice.
exécutif	Exécutif	exécute un programme externe et collecte les journaux d'événements.
avant	Avant	Protocole de transfert fluide.
tête	Tête	lire la première partie des fichiers.
santé	Santé	Vérifiez l’état des services TCP.
kmsg	Tampon de journal du noyau	lisez les messages du tampon du journal du noyau Linux.
moi	Utilisation de la mémoire	mesurer la quantité totale de mémoire utilisée sur le système.
mqtt	MQTT	démarrez un serveur MQTT et recevez des messages de publication.
nétif	Trafic réseau	mesurer le trafic réseau.
procédure	Processus	Vérifiez la santé du processus.
aléatoire	Aléatoire	Générez des échantillons aléatoires.
en série	Interface série	lire les informations de données à partir de l'interface série.
entrée standard	Entrée standard	lire les données de l'entrée standard.
journal système	Journal système	lire les messages syslog à partir d'un socket Unix.
système	Systèmed	lire les journaux de Systemd/Journald.
queue	Queue	Fichiers journaux de queue.
tcp	TCP	Écoutez les messages JSON sur TCP.
thermique	Thermique	mesurer la ou les températures du système.

Filtrer les plugins

nom	titre	description
ah	Métadonnées AWS	Enrichissez les journaux avec les métadonnées AWS.
attendre	Attendre	Valider les enregistrements correspondent à certains critères de structure.
grep	Grep	Faites correspondre ou excluez des enregistrements spécifiques par modèles.
Kubernetes	Kubernetes	Enrichissez les journaux avec les métadonnées Kubernetes.
Lua	Lua	Filtrez les enregistrements à l'aide de scripts Lua.
analyseur	Analyseur	Analyser l'enregistrement.
enregistrement_modifier	Modificateur d'enregistrement	Modifier l'enregistrement.
réécrire_tag	Réécrire la balise	Réémettez les enregistrements sous une nouvelle balise.
sortie standard	Sortie standard	Imprimez les enregistrements sur l’interface de sortie standard.
étrangler	Étrangler	Appliquer une limite de débit au flux d’événements.
nid	Nid	Imbriquer les enregistrements sous une clé spécifiée
modifier	Modifier	Modifications à enregistrer.

Plugins de sortie

nom	titre	description
azuré	Analyse des journaux Azure	Ingérer des enregistrements dans Azure Log Analytics
grande requête	BigQuery	Ingérer des enregistrements dans Google BigQuery
comptoir	Compter les enregistrements	Compteur d'enregistrements simple.
chien de données	Chien de données	Ingérer les connexions dans Datadog.
es	Recherche élastique	vider les enregistrements sur un serveur Elasticsearch.
déposer	Déposer	Vider les enregistrements dans un fichier.
compteur de débit	Compteur de débit	Comptez les enregistrements.
avant	Avant	Protocole de transfert fluide.
gelf	GELF	Vider les enregistrements vers Graylog
http	HTTP	Videz les enregistrements vers un point de terminaison HTTP.
affluxdb	InfluxDB	Videz les enregistrements dans la base de données de séries chronologiques InfluxDB.
kafka	Apache Kafka	Vider les enregistrements vers Apache Kafka
kafka-repos	Proxy REST Kafka	Videz les enregistrements sur un serveur proxy Kafka REST.
loki	Loki	Vider les enregistrements sur le serveur Loki.
Nats	NATS	Videz les enregistrements sur un serveur NATS.
nul	NUL	Jetez les événements.
s3	S3	Vider les enregistrements vers s3
pilote de pile	Journalisation Google Stackdriver	Videz les enregistrements vers le service Google Stackdriver Logging.
sortie standard	Sortie standard	Vider les enregistrements vers la sortie standard.
s'éclater	Splunk	Vider les enregistrements vers un service Splunk Enterprise
tcp	TCP et TLS	Vider les enregistrements sur un serveur TCP.
td	Données sur les trésors	Videz les enregistrements vers le service cloud Treasure Data à des fins d'analyse.

Contribuer

Fluent Bit est un projet ouvert, plusieurs individus et entreprises contribuent sous différentes formes comme le codage, la documentation, les tests, la diffusion du message lors d'événements chez d'autres. Si vous souhaitez en savoir plus sur les opportunités de contribution, veuillez nous contacter via nos chaînes communautaires.

Si vous souhaitez contribuer à Fluent bit avec des corrections de bugs, de nouvelles fonctionnalités ou du codage en général, veuillez vous référer aux directives de CONTRIBUTION du code. Vous pouvez également consulter le Guide du débutant pour contribuer à Fluent Bit ici.