protologbeat

原始日誌節拍

描述

該應用程式旨在替代 udplogbeat。雖然非常相似，但它確實有一些改進，並允許您透過 UDP 或 TCP 啟動。它可以接受純文字或 JSON 日誌，也可以充當系統日誌目標替代品。

確保此資料夾位於以下位置： ${GOPATH}/github.com/harfordfive

Protologbeat 入門

配置選項

• protologbeat.protocol ： tcp或udp （預設：udp）
• protologbeat.address ：進程將監聽的位址（預設：127.0.0.1）
• protologbeat.port ：進程將偵聽的連接埠（預設 = 5000）
• protologbeat.max_message_size ：接受的最大訊息大小（預設= 4096）
• protologbeat.json_mode ：僅記錄 JSON 格式的訊息（預設 = false）
• protolog.merge_fields_to_root ：當json_mode啟用時，是否將解析的欄位合併到根層級。 （預設=假）
• protologbeat.default_es_log_type ：如果未指定，則指派給事件的 Elasticsearch 類型（預設：protologbeat）
• protologbeat.enable_syslog_format_only ：指示是否僅接受系統日誌訊息的布林值。 （預設=假）
• protologbeat.enable_gelf ：布林值，指示進程是否應處於僅接受 GELF 格式訊息的模式
• protologbeat.enable_json_validation ：布林值，指示是否應對json格式訊息套用 JSON 模式驗證（預設 = false）
• protologbeat.validate_all_json_types ：當啟用 json_mode 時，指示是否所有類型都必須指定模式。沒有架構的類型的日誌條目將不會被發布。 （預設=假）
• protologbeat.json_schema ：由 Elasticsearch 類型作為鍵、絕對本機模式檔案路徑作為值組成的雜湊。

配置範例

以下是protologbeat部分的設定區塊範例。

1. 純文字日誌記錄的設定區塊
2. 僅對指定的 Elasticsearch 類型強制執行 JSON 架構的設定區塊
3. 為所有 Elasticsearch 類型強制執行 JSON 模式的設定區塊
4. 用於系統日誌替換的配置區塊，具有自訂 ES 類型“myapp”

JSON 模式可以從此處的物件自動產生：http://jsonschema.net/。您也可以查看 email_contact 和 stock_item 架構作為範例。

注意事項

• 如果您打算使用此方法來替代 Rsyslog 日誌記錄，則此方法不會將您的資料保留到磁碟上的檔案中。
• 如果 protologbeat 由於任何給定原因而關閉，發送到配置的 UDP 連接埠的訊息將永遠不會被處理或發送到您的 ELK 叢集。
• 如果您需要 100% 保證每個訊息至少傳遞一次，這可能不是您的最佳解決方案。
• 如果您可以接受一些潛在的日誌事件遺失，那麼這對您來說可能是合理的解決方案。
• 此應用程式適用於應用程式可以記錄到同一實體主機上執行的 protologbeat 的場景。不鼓勵將此用於跨伺服器/跨區域/跨資料中心日誌記錄。
• 一旦 protologbeat 收到當前日期/時間，就會自動將其新增至每個日誌條目。
• 考慮到這可能會記錄任何類型欄位的數據，建議您將必要的欄位名稱和類型新增至 protologbeat.template-es2x.json 或 protologbeat.template.json ( ES 5.x ) 索引範本中。

樣本客戶

請參閱_samples/目錄以取得各種語言的客戶端範例。

要求

• 戈蘭1.7

初始化專案

若要執行 Protologbeat 並安裝依賴項，請執行以下命令：

 make setup

它將為每個主要步驟建立一個乾淨的 git 歷史記錄。請注意，如果您願意，在推送變更之前您可以隨時重寫歷史記錄。

若要將 Protologbeat 推送到 git 儲存庫，請執行以下命令：

 git remote set-url origin https://github.com/harfordfive/protologbeat
git push origin master

如需進一步開發，請查看beat開發者指南。

建造

若要建置 Protologbeat 的二進位文件，請執行以下命令。這將在同一目錄中產生一個名為 protologbeat 的二進位。

 make

如果您想要為 OSX、Linux 和/或 Windows 建立二進位文件，您可以執行下列命令：

 ./build-bin [TAG_VERSION]

產生的二進位檔案將放置在bin/目錄中

跑步

若要在啟用偵錯輸出的情況下執行 Protologbeat，請執行：

 ./protologbeat -c protologbeat.yml -e -d "*"

測試

若要測試 Protologbeat，請執行以下命令：

 make testsuite

或者：

 make unit-tests
make system-tests
make integration-tests
make coverage-report

測試覆蓋率在資料夾./build/coverage/中報告

更新

每個beat都有一個用於在elasticsearch中對應的範本以及基於etc/fields.yml自動產生的欄位文件。產生etc/protologbeat.template.json和etc/protologbeat.asciidoc

 make update

清理

要清理 Protologbeat 原始碼，請執行以下命令：

 make fmt
make simplify

若要清理建置目錄和產生的工件，請執行：

 make clean

複製

若要從 git 儲存庫複製 Protologbeat，請執行以下命令：

 mkdir -p ${GOPATH}/github.com/harfordfive
cd ${GOPATH}/github.com/harfordfive
git clone https://github.com/harfordfive/protologbeat

如需進一步開發，請查看beat開發者指南。

在 Docker 上運行

您可以在此處找到此節拍的 Docker 映像。請注意，容器以基本配置啟動，該配置偵聽預設協定/位址/連接埠並接受純文字訊息。對於任何自訂，請修改範例 protologbeat.full.yml 設定並建立您自己的 Docker 檔案來覆寫原始檔案。

包裝

Beat 框架提供了不同平台交叉編譯和打包 Beat 的工具。這需要如上所述的 docker 和供應商。要建立節拍包，請執行以下命令：

 make package

這將獲取並創建構建過程所需的所有圖像。完成打孔過程可能需要幾分鐘。