О

Fluent Bit — это быстрый процессор и пересылка журналов для операционных систем семейства Linux, Windows, Embedded Linux, MacOS и BSD. Это часть Graduated Fluentd Ecosystem и подпроекта CNCF.

Fluent Bit позволяет собирать события журналов или метрики из разных источников, обрабатывать их и доставлять на разные серверы, такие как Fluentd, Elasticsearch, Splunk, DataDog, Kafka, New Relic, сервисы Azure, сервисы AWS, сервисы Google, NATS, InfluxDB или любые другие. пользовательская конечная точка HTTP.

Fluent Bit включает в себя полные возможности потоковой обработки SQL: манипулирование данными и анализ с использованием запросов SQL.

Fluent Bit работает на архитектурах x86_64, x86, Arm32v7 и Arm64v8.

Функции

Высокая производительность при низком энергопотреблении ЦП и памяти
Анализ данных
- Конвертируйте неструктурированные сообщения с помощью наших парсеров: JSON, Regex, LTSV и Logfmt.
Надежность и целостность данных
- Управление противодавлением
- Буферизация данных в памяти и файловой системе
сеть
- Безопасность: встроенная поддержка TLS/SSL.
- Асинхронный ввод-вывод
Подключаемая архитектура и расширяемость: входы, фильтры и выходы
- Доступно более 70 встроенных плагинов.
- Расширяемость
  - Напишите любой плагин ввода, фильтра или вывода на языке C.
  - Пишите фильтры в Lua или плагины вывода в Golang.
Мониторинг: предоставление внутренних показателей через HTTP в формате JSON и Prometheus.
Потоковая обработка: выполнение выбора и преобразования данных с помощью простых запросов SQL.
- Создавайте новые потоки данных, используя результаты запросов.
- Окна агрегирования
- Анализ данных и прогнозирование: прогнозирование временных рядов
Портативный: работает в системах Linux, MacOS, Windows и BSD.

Свободное владение битами в производстве

Fluent Bit широко используется в производственных средах. По состоянию на 2022 год количество загрузок Fluent Bit превысит 3 миллиарда, и его по-прежнему будут развертывать более 10 миллионов раз в день . Ниже представлен предварительный обзор того, кто активно использует Fluent Bit в производстве:

Если ваша компания использует Fluent Bit и ее нет в списке, смело открывайте проблему на GitHub, и мы добавим логотип.

пользователи

Документация

Наша официальная проектная документация по вопросам установки, настройки, развертывания и разработки находится здесь:

https://docs.fluentbit.io

Быстрый старт

Создать с нуля

Если вы хотите собрать Fluent Bit из исходников, вы можете начать со следующих команд.

 cd build
cmake ..
make
bin/fluent-bit -i cpu -o stdout -f 1

Если вас интересует более подробная информация, обратитесь к разделу «Сборка и установка».

Требования

CMake >= 3.0
Гибкий
Бизон
Библиотека/заголовки YAML
Библиотека/заголовки OpenSSL

Пакеты Linux

Мы предоставляем пакеты для наиболее распространенных дистрибутивов Linux:

Дебиан
Распбиан
Убунту
ЦентОС

Образы контейнеров Linux/Docker

Наши образы контейнеров Linux являются наиболее распространенной моделью развертывания, тысячи новых установок происходят каждый день. Узнайте больше о доступных образах и тегах здесь.

Пакеты Windows

Fluent Bit полностью поддерживается в средах Windows. Начните работу с этих инструкций.

Работаю на s390x

Fluent Bit работает в Linux на IBM Z(s390x), но плагин фильтра WASM — нет. Что касается подключаемого модуля фильтра LUA, он запускается, когда в системе установлен libluajit и бит Fluent построен с включенными FLB_LUAJIT и FLB_PREFER_SYSTEM_LIB_LUAJIT .

Плагины: входы, фильтры и выходы

Fluent Bit основан на подключаемой архитектуре, где различные плагины играют важную роль в конвейере данных:

Входные плагины

имя	заголовок	описание
собранный	Собран	Прослушивайте UDP-пакеты от Collectd.
Процессор	Использование ЦП	измерить общее использование ЦП системы.
диск	Использование диска	измерить дисковый ввод-вывод.
дурачок	Дурачок	создать фиктивное событие.
руководитель	Исполнительный директор	запускает внешнюю программу и собирает журналы событий.
вперед	Вперед	Свободный прямой протокол.
голова	Голова	прочитайте первую часть файлов.
здоровье	Здоровье	Проверьте работоспособность служб TCP.
кмсг	Буфер журнала ядра	прочитать сообщения буфера журнала ядра Linux.
мем	Использование памяти	измерить общий объем памяти, используемой в системе.
mqtt	MQTT	запустите сервер MQTT и получайте сообщения публикации.
нетиф	Сетевой трафик	измерять сетевой трафик.
процесс	Процесс	Проверьте работоспособность процесса.
случайный	Случайный	Генерация случайных выборок.
сериал	Последовательный интерфейс	прочитать информацию данных из последовательного интерфейса.
стандартный ввод	Стандартный ввод	прочитать данные со стандартного ввода.
системный журнал	Системный журнал	читать сообщения системного журнала из сокета Unix.
системный	Системад	читать журналы из Systemd/Journald.
хвост	Хвост	Хвостовые файлы журналов.
TCP	TCP	Прослушивайте сообщения JSON через TCP.
термический	Термальный	измерить температуру системы.

Плагины фильтров

имя	заголовок	описание
оу	Метаданные AWS	Обогатите журналы метаданными AWS.
ожидать	Ожидать	Проверка записей на соответствие определенным критериям по структуре.
греп	Греп	Сопоставьте или исключите определенные записи по шаблонам.
Кубернетес	Кубернетес	Обогатите журналы метаданными Kubernetes.
Луа	Луа	Фильтрация записей с помощью сценариев Lua.
парсер	Парсер	Разобрать запись.
запись_модификатор	Модификатор записи	Изменить запись.
rewrite_tag	Перезаписать тег	Повторно создать записи под новым тегом.
стандартный вывод	Стандартный вывод	Печать записей в стандартный интерфейс вывода.
дроссель	Дроссель	Примените ограничение скорости к потоку событий.
гнездо	Гнездо	Вложение записей по указанному ключу
изменить	Изменить	Изменения для записи.

Плагины вывода

имя	заголовок	описание
лазурный	Аналитика журналов Azure	Прием записей в Azure Log Analytics.
большой запрос	Большой запрос	Вставка записей в Google BigQuery
прилавок	Подсчет записей	Простой счетчик записей.
датадог	Датадог	Захват журналов в Datadog.
эс	Эластичный поиск	сбрасывать записи на сервер Elasticsearch.
файл	Файл	Сбросить записи в файл.
расходомер	расходомер	Посчитайте записи.
вперед	Вперед	Свободный прямой протокол.
гельф	ГЕЛЬФ	Сбросить записи в Graylog
http	HTTP	Сбросить записи в конечную точку HTTP.
приток БД	Инфлюксдб	Сбросить записи в базу данных временных рядов InfluxDB.
Кафка	Апач Кафка	Сбросить записи в Apache Kafka
Кафка-отдых	REST-прокси Кафки	Сбрасывать записи на прокси-сервер Kafka REST.
Локи	Локи	Сбросить записи на сервер Loki.
нац	НАТС	Сбросить записи на сервер NATS.
нулевой	НУЛЕВОЙ	Отбросьте события.
s3	S3	Сбросить записи в s3
стекдрайвер	Ведение журнала Google Stackdriver	Сбрасывать записи в службу ведения журналов Google Stackdriver.
стандартный вывод	Стандартный вывод	Сбросить записи в стандартный вывод.
шлепнуть	Спланк	Сбросить записи в службу Splunk Enterprise
TCP	TCP и TLS	Сбросить записи на TCP-сервер.
ТД	Данные о сокровищах	Сбрасывать записи в облачную службу Treasure Data для аналитики.

Содействие

Fluent Bit — это открытый проект, в котором несколько человек и компаний вносят свой вклад в различных формах, таких как кодирование, документирование, тестирование, распространение информации на мероприятиях среди других. Если вы хотите узнать больше о возможностях внесения вклада, свяжитесь с нами через наши каналы сообщества.

Если вы заинтересованы в том, чтобы внести свой вклад в Fluent Bit, исправив ошибки, добавив новые функции или написав код в целом, ознакомьтесь с рекомендациями ПО ВНЕСЕНИЮ кода. Вы также можете обратиться к руководству для начинающих по участию в Fluent Bit здесь.