Sobre

Fluent Bit é um processador e encaminhador de log rápido para sistemas operacionais Linux, Windows, Linux Embarcado, MacOS e família BSD. Faz parte do Ecossistema Graduado Fluentd e de um subprojeto do CNCF.

Fluent Bit permite coletar eventos de log ou métricas de diferentes fontes, processá-los e entregá-los a diferentes backends, como Fluentd, Elasticsearch, Splunk, DataDog, Kafka, New Relic, serviços Azure, serviços AWS, serviços Google, NATS, InfluxDB ou qualquer outro. ponto final HTTP personalizado.

Fluent Bit vem com recursos completos de processamento de fluxo SQL: manipulação e análise de dados usando consultas SQL.

Fluent Bit é executado nas arquiteturas x86_64, x86, arm32v7 e arm64v8.

Características

Alto desempenho com baixo consumo de CPU e memória
Análise de dados
- Converta suas mensagens não estruturadas usando nossos analisadores: JSON, Regex, LTSV e Logfmt
Confiabilidade e integridade de dados
- Manuseio de contrapressão
- Buffer de dados na memória e no sistema de arquivos
Rede
- Segurança: suporte TLS/SSL integrado
- E/S assíncrona
Arquitetura conectável e extensibilidade: entradas, filtros e saídas
- Mais de 70 plug-ins integrados disponíveis
- Extensibilidade
  - Escreva qualquer plugin de entrada, filtro ou saída em linguagem C
  - Escreva filtros em Lua ou plug-ins de saída em Golang
Monitoramento: exponha métricas internas sobre HTTP em formato JSON e Prometheus
Processamento de fluxo: execute seleção e transformação de dados usando consultas SQL simples
- Crie novos fluxos de dados usando resultados de consulta
- Janelas de agregação
- Análise e previsão de dados: previsão de séries temporais
Portátil: roda em sistemas Linux, MacOS, Windows e BSD

Bit Fluente em Produção

Fluent Bit é amplamente utilizado em ambientes de produção. Em 2022, o Fluent Bit ultrapassou 3 bilhões de downloads e continuou a ser implantado mais de 10 milhões de vezes por dia . A seguir está uma prévia de quem usa fortemente o Fluent Bit na produção:

Se sua empresa usa Fluent Bit e não está listada, fique à vontade para abrir um problema no GitHub e adicionaremos o logotipo.

Usuários

Documentação

Nossa documentação oficial do projeto para tópicos de instalação, configuração, implantação e desenvolvimento está localizada aqui:

https://docs.fluentbit.io

Início rápido

Construa do zero

Se seu objetivo é construir o Fluent Bit a partir de fontes, você pode prosseguir e começar com os seguintes comandos.

 cd build
cmake ..
make
bin/fluent-bit -i cpu -o stdout -f 1

Se você estiver interessado em mais detalhes, consulte a seção Construir e Instalar.

Requisitos

CMake >= 3,0
Flexível
Bisão
Biblioteca/cabeçalhos YAML
Biblioteca/cabeçalhos OpenSSL

Pacotes Linux

Fornecemos pacotes para as distribuições Linux mais comuns:

Debian
framboesa
Ubuntu
CentOS

Imagens de contêiner Linux / Docker

Nossas imagens de contêineres Linux são o modelo de implantação mais comum, milhares de novas instalações acontecem todos os dias, saiba mais sobre as imagens e tags disponíveis aqui.

Pacotes do Windows

Fluent Bit é totalmente compatível com ambientes Windows, comece com estas instruções.

Executando em s390x

O Fluent Bit roda em Linux no IBM Z (s390x), mas o plugin de filtro WASM não. Para o plugin de filtro LUA, ele é executado quando libluajit está instalado no sistema e o bit fluente é construído com FLB_LUAJIT e FLB_PREFER_SYSTEM_LIB_LUAJIT ativados.

Plugins: entradas, filtros e saídas

O Fluent Bit é baseado em uma arquitetura conectável onde diferentes plug-ins desempenham um papel importante no pipeline de dados:

Plug-ins de entrada

nome	título	descrição
coletado	Coletado	Ouça pacotes UDP do Collectd.
CPU	Uso da CPU	medir o uso total da CPU do sistema.
disco	Uso de disco	medir E/S de disco.
fictício	Fictício	gerar evento fictício.
executivo	Executivo	executa programas externos e coleta logs de eventos.
avançar	Avançar	Protocolo de encaminhamento fluente.
cabeça	Cabeça	leia a primeira parte dos arquivos.
saúde	Saúde	Verifique a integridade dos serviços TCP.
kmsg	Buffer de registro do kernel	leia as mensagens do buffer de log do kernel do Linux.
mem	Uso de memória	medir a quantidade total de memória usada no sistema.
mqtt	MQTT	inicie um servidor MQTT e receba mensagens de publicação.
rede	Tráfego de rede	medir o tráfego da rede.
processo	Processo	Verifique a integridade do processo.
aleatório	Aleatório	Gere amostras aleatórias.
serial	Interface serial	leia informações de dados da interface serial.
stdin	Entrada padrão	ler dados da entrada padrão.
registro de sistema	Registro de sistema	leia mensagens syslog de um soquete Unix.
sistema	Sistema	leia os logs do Systemd/Journald.
cauda	Cauda	Arquivos de log finais.
tcp	TCP	Ouça mensagens JSON por TCP.
térmico	Térmico	medir a(s) temperatura(s) do sistema.

Filtrar plug-ins

nome	título	descrição
ah	Metadados AWS	Enriqueça os logs com metadados da AWS.
esperar	Esperar	Valide os registros que correspondem a determinados critérios de estrutura.
grep	Grep	Combine ou exclua registros específicos por padrões.
Kubernetes	Kubernetes	Enriqueça os logs com metadados do Kubernetes.
Lua	Lua	Filtre registros usando Lua Scripts.
analisador	Analisador	Analisar registro.
record_modifier	Modificador de registro	Modificar registro.
rewrite_tag	Reescrever etiqueta	Reemita registros com nova tag.
saída padrão	Saída padrão	Imprima registros na interface de saída padrão.
acelerador	Acelerador	Aplique limite de taxa ao fluxo de eventos.
ninho	Ninho	Aninhar registros em uma chave especificada
modificar	Modificar	Modificações para gravar.

Plug-ins de saída

nome	título	descrição
azul	Análise de logs do Azure	Ingerir registros no Azure Log Analytics
bigquery	BigQuery	Ingerir registros no Google BigQuery
contador	Contar registros	Contador de registros simples.
cão de dados	Cão de dados	Ingerir logs no Datadog.
é	Elasticsearch	liberar registros para um servidor Elasticsearch.
arquivo	Arquivo	Liberar registros para um arquivo.
contador de fluxo	Contador de fluxo	Contar registros.
avançar	Avançar	Protocolo de encaminhamento fluente.
gel	GELF	Liberar registros para Graylog
http	HTTP	Liberar registros para um ponto final HTTP.
influxodb	InfluxoDB	Liberar registros para o banco de dados de série temporal InfluxDB.
Kafka	Apache Kafka	Liberar registros para Apache Kafka
descanso kafka	Proxy REST Kafka	Liberar registros para um servidor Kafka REST Proxy.
loki	Loki	Liberar registros para o servidor Loki.
limpos	NATS	Liberar registros para um servidor NATS.
nulo	NULO	Jogue fora os eventos.
s3	S3	Liberar registros para s3
driver de pilha	Registro do Google Stackdriver	Liberar registros para o serviço Google Stackdriver Logging.
saída padrão	Saída padrão	Libera os registros para a saída padrão.
coragem	Splunk	Liberar registros para um serviço Splunk Enterprise
tcp	TCP e TLS	Liberar registros para um servidor TCP.
td	Dados do tesouro	Liberar registros para o serviço de nuvem Treasure Data para análise.

Contribuindo

Fluent Bit é um projeto aberto, vários indivíduos e empresas contribuem de diferentes formas como codificação, documentação, testes, divulgação em eventos entre outros. Se você quiser saber mais sobre oportunidades de contribuição, entre em contato conosco por meio de nossos canais da comunidade.

Se você estiver interessado em contribuir para o Fluent bit com correções de bugs, novos recursos ou codificação em geral, consulte as diretrizes de CONTRIBUIÇÃO do código. Você também pode consultar o Guia para iniciantes para contribuir com o Fluent Bit aqui.