Скачать protologbeat - скачать исходный код protologbeat

protologbeat

Другие категории

Version 0.2.0

Скачать

Протологбит

Описание

Это приложение задумано как замена udplogbeat. Хотя он очень похож, он имеет некоторые улучшения и позволяет запускаться через UDP или TCP. Он может принимать журналы в виде обычного текста или JSON, а также выступать в качестве замены места назначения системного журнала.

Убедитесь, что эта папка находится по следующему адресу: ${GOPATH}/github.com/harfordfive

Начало работы с Protologbeat

Опции конфигурации

protologbeat.protocol : TCP или udp (по умолчанию: udp)
protologbeat.address : адрес, по которому будет подключаться процесс (по умолчанию: 127.0.0.1).
protologbeat.port : порт, который будет прослушиваться процессом (по умолчанию = 5000).
protologbeat.max_message_size : Максимальный принятый размер сообщения (по умолчанию = 4096).
protologbeat.json_mode : включить регистрацию только сообщений в формате JSON (по умолчанию = false)
protolog.merge_fields_to_root : если включен json_mode , следует ли объединять проанализированные поля с корневым уровнем. (по умолчанию = ложь)
protologbeat.default_es_log_type : тип Elasticsearch для назначения событию, если он не указан (по умолчанию: protologbeat)
protologbeat.enable_syslog_format_only : логическое значение, указывающее, следует ли принимать только сообщения системного журнала. (по умолчанию = ложь)
protologbeat.enable_gelf : логическое значение, указывающее, должен ли процесс находиться в режиме приема только сообщений в формате GELF.
protologbeat.enable_json_validation : логическое значение, указывающее, следует ли применять проверку схемы JSON для сообщений формата json (по умолчанию = false)
protologbeat.validate_all_json_types : если включен json_mode, указывает, должна ли для ВСЕХ типов быть указана схема. Записи журнала с типами, не имеющими схемы, не будут опубликованы. (по умолчанию = ложь)
protologbeat.json_schema : хеш, состоящий из типа Elasticsearch в качестве ключа и абсолютного пути к файлу локальной схемы в качестве значения.

Пример конфигурации

Ниже приведены примеры блоков конфигурации для раздела protologbeat .

Блок конфигурации для текстовой регистрации
Блок конфигурации, который применяет схему JSON только для указанных типов Elasticsearch.
Блок конфигурации, который применяет схему JSON для всех типов Elasticsearch.
Блок конфигурации для замены системного журнала с пользовательским типом ES «myapp».

Схемы JSON можно автоматически генерировать из объекта здесь: http://jsonschema.net/. Вы также можете просмотреть схемы email_contact и stock_item в качестве примеров.

Соображения

Если вы собираетесь использовать это в качестве замены ведения журнала с помощью Rsyslog, этот метод не сохранит ваши данные в файл на диске.
Если protologbeat по какой-либо причине не работает, сообщения, отправленные на настроенный порт UDP, никогда не будут обработаны или отправлены в ваш кластер ELK.
Если вам нужна 100% гарантия, что каждое сообщение будет доставлено хотя бы один раз, возможно, это не лучшее решение для вас.
Если для вас приемлема некоторая потенциальная потеря событий журнала, это может быть для вас разумным решением.
Это приложение предназначено для сценариев, в которых ваше приложение может войти в протокол protologbeat, работающий на том же физическом хосте. Не рекомендуется использовать это для ведения журналов между серверами, регионами и центрами обработки данных.
Текущая дата/время автоматически добавляется к каждой записи журнала, как только она получена protologbeat.
Учитывая, что при этом могут записываться данные с любым типом полей, рекомендуется добавить необходимые имена и типы полей в шаблоны индексов protologbeat.template-es2x.json или protologbeat.template.json ( ES 5.x ).

Примеры клиентов

В каталоге _samples/ вы найдете примеры клиентов на разных языках.

Требования

Голанг 1.7

Инициировать проект

Чтобы начать работу с Protologbeat, а также установить зависимости, выполните следующую команду:

 make setup

Он создаст чистую историю git для каждого основного шага. Обратите внимание, что вы всегда можете переписать историю, если хотите, прежде чем вносить изменения.

Чтобы добавить Protologbeat в репозиторий git, выполните следующие команды:

 git remote set-url origin https://github.com/harfordfive/protologbeat
git push origin master

Для дальнейшего развития ознакомьтесь с руководством разработчика Beat.

Строить

Чтобы собрать двоичный файл для Protologbeat, выполните команду ниже. Это создаст в том же каталоге двоичный файл с именем protologbeat.

 make

Если вы хотите собрать двоичный файл для OSX, Linux и/или Windows, вы можете запустить следующее:

 ./build-bin [TAG_VERSION]

Полученные двоичные файлы будут помещены в каталог bin/

Бегать

Чтобы запустить Protologbeat с включенным выводом отладки, выполните:

 ./protologbeat -c protologbeat.yml -e -d "*"

Тест

Чтобы протестировать Protologbeat, выполните следующую команду:

 make testsuite

альтернативно:

 make unit-tests
make system-tests
make integration-tests
make coverage-report

О покрытии тестами сообщается в папке ./build/coverage/

Обновлять

Каждый бит имеет шаблон для сопоставления в elasticsearch и документацию для полей, которая автоматически генерируется на основе etc/fields.yml . Для создания файлов etc/protologbeat.template.json и etc/protologbeat.asciidoc.

 make update

Очистка

Чтобы очистить исходный код Protologbeat, выполните следующие команды:

 make fmt
make simplify

Чтобы очистить каталог сборки и сгенерированные артефакты, запустите:

 make clean

Клонировать

Чтобы клонировать Protologbeat из репозитория git, выполните следующие команды:

 mkdir -p ${GOPATH}/github.com/harfordfive
cd ${GOPATH}/github.com/harfordfive
git clone https://github.com/harfordfive/protologbeat

Для дальнейшего развития ознакомьтесь с руководством разработчика Beat.

Запуск в Докере

Вы можете найти образы Docker для этого бита здесь. Обратите внимание, что контейнер начинается с базовой конфигурации, которая прослушивает протокол/адрес/порт по умолчанию и принимает текстовые сообщения. Для любых настроек измените образец конфигурации protologbeat.full.yml и создайте собственный файл Docker, который перезапишет оригинал.

Упаковка

Фреймворки битов предоставляют инструменты для кросс-компиляции и упаковки битов для разных платформ. Для этого требуется докер и поставщики, как описано выше. Чтобы собрать пакеты вашего бита, выполните следующую команду: