protologbeat

原始日志节拍

描述

该应用程序旨在替代 udplogbeat。虽然非常相似，但它确实有一些改进，并允许您通过 UDP 或 TCP 启动。它可以接受纯文本或 JSON 日志，也可以充当系统日志目标替代品。

确保此文件夹位于以下位置： ${GOPATH}/github.com/harfordfive

Protologbeat 入门

配置选项

• protologbeat.protocol ： tcp或udp （默认：udp）
• protologbeat.address ：进程将监听的地址（默认：127.0.0.1）
• protologbeat.port ：进程将侦听的端口（默认 = 5000）
• protologbeat.max_message_size ：接受的最大消息大小（默认= 4096）
• protologbeat.json_mode ：仅记录 JSON 格式的消息（默认 = false）
• protolog.merge_fields_to_root ：当json_mode启用时，是否将解析的字段合并到根级别。 （默认=假）
• protologbeat.default_es_log_type ：如果未指定，分配给事件的 Elasticsearch 类型（默认：protologbeat）
• protologbeat.enable_syslog_format_only ：指示是否仅接受系统日志消息的布尔值。 （默认=假）
• protologbeat.enable_gelf ：布尔值，指示进程是否应处于仅接受 GELF 格式消息的模式
• protologbeat.enable_json_validation ：布尔值，指示是否应对json格式消息应用 JSON 模式验证（默认 = false）
• protologbeat.validate_all_json_types ：当启用 json_mode 时，指示是否所有类型都必须指定模式。没有架构的类型的日志条目将不会被发布。 （默认=假）
• protologbeat.json_schema ：由 Elasticsearch 类型作为键、绝对本地模式文件路径作为值组成的哈希。

配置示例

以下是protologbeat部分的配置块示例。

1. 纯文本日志记录的配置块
2. 仅对指定的 Elasticsearch 类型强制执行 JSON 架构的配置块
3. 为所有 Elasticsearch 类型强制执行 JSON 模式的配置块
4. 用于系统日志替换的配置块，具有自定义 ES 类型“myapp”

JSON 模式可以从此处的对象自动生成：http://jsonschema.net/。您还可以查看 email_contact 和 stock_item 架构作为示例。

注意事项

• 如果您打算使用此方法来替代 Rsyslog 日志记录，则此方法不会将您的数据保留到磁盘上的文件中。
• 如果 protologbeat 由于任何给定原因而关闭，发送到配置的 UDP 端口的消息将永远不会被处理或发送到您的 ELK 集群。
• 如果您需要 100% 保证每条消息至少传递一次，这可能不是您的最佳解决方案。
• 如果您可以接受一些潜在的日志事件丢失，那么这对您来说可能是一个合理的解决方案。
• 此应用程序适用于应用程序可以记录到同一物理主机上运行的 protologbeat 的场景。不鼓励将此用于跨服务器/跨区域/跨数据中心日志记录。
• 一旦 protologbeat 收到当前日期/时间，就会自动将其添加到每个日志条目中。
• 考虑到这可能会记录任何类型字段的数据，建议您将必要的字段名称和类型添加到 protologbeat.template-es2x.json 或 protologbeat.template.json ( ES 5.x ) 索引模板中。

样本客户

请参阅_samples/目录以获取各种语言的客户端示例。

要求

• 戈兰1.7

初始化项目

要运行 Protologbeat 并安装依赖项，请运行以下命令：

 make setup

它将为每个主要步骤创建一个干净的 git 历史记录。请注意，如果您愿意，在推送更改之前您可以随时重写历史记录。

要将 Protologbeat 推送到 git 存储库，请运行以下命令：

 git remote set-url origin https://github.com/harfordfive/protologbeat
git push origin master

如需进一步开发，请查看beat开发者指南。

建造

要构建 Protologbeat 的二进制文件，请运行以下命令。这将在同一目录中生成一个名为 protologbeat 的二进制文件。

 make

如果您想为 OSX、Linux 和/或 Windows 构建二进制文件，您可以运行以下命令：

 ./build-bin [TAG_VERSION]

生成的二进制文件将放置在bin/目录中

跑步

要在启用调试输出的情况下运行 Protologbeat，请运行：

 ./protologbeat -c protologbeat.yml -e -d "*"

测试

要测试 Protologbeat，请运行以下命令：

 make testsuite

或者：

 make unit-tests
make system-tests
make integration-tests
make coverage-report

测试覆盖率在文件夹./build/coverage/中报告

更新

每个beat都有一个用于在elasticsearch中映射的模板以及基于etc/fields.yml自动生成的字段文档。生成etc/protologbeat.template.json和etc/protologbeat.asciidoc

 make update

清理

要清理 Protologbeat 源代码，请运行以下命令：

 make fmt
make simplify

要清理构建目录和生成的工件，请运行：

 make clean

克隆

要从 git 存储库克隆 Protologbeat，请运行以下命令：

 mkdir -p ${GOPATH}/github.com/harfordfive
cd ${GOPATH}/github.com/harfordfive
git clone https://github.com/harfordfive/protologbeat

如需进一步开发，请查看beat开发者指南。

在 Docker 上运行

您可以在此处找到此节拍的 Docker 镜像。请注意，容器以基本配置启动，该配置侦听默认协议/地址/端口并接受纯文本消息。对于任何自定义，请修改示例 protologbeat.full.yml 配置并创建您自己的 Docker 文件来覆盖原始文件。

包装

Beat 框架提供了针对不同平台交叉编译和打包 Beat 的工具。这需要如上所述的 docker 和供应商。要构建节拍包，请运行以下命令：

 make package

这将获取并创建构建过程所需的所有图像。完成打孔过程可能需要几分钟。