protologbeatダウンロード - protologbeatソースコードのダウンロード

protologbeat

その他のカテゴリー

Version 0.2.0

ダウンロード

プロトログビート

説明

このアプリケーションは、udplogbeat の代替として意図されています。非常に似ていますが、いくつかの改良が加えられており、UDP または TCP 経由で起動できるようになります。プレーンテキストまたは JSON ログを受け入れることができ、syslog 宛先の置換としても機能します。

このフォルダーが次の場所にあることを確認します: ${GOPATH}/github.com/harfordfive

Protologbeat を始める

構成オプション

protologbeat.protocol : tcpまたはudp (デフォルト: udp)
protologbeat.address : プロセスがライセンスを取得するアドレス (デフォルト: 127.0.0.1)
protologbeat.port : プロセスがリッスンするポート (デフォルト = 5000)
protologbeat.max_message_size : 受け入れられる最大メッセージサイズ (デフォルト = 4096)
protologbeat.json_mode : JSON 形式のメッセージのみのログ記録を有効にします (デフォルト = false)
protolog.merge_fields_to_root : json_modeが有効な場合、解析されたフィールドをルートレベルにマージするかどうか。 (デフォルト = false)
protologbeat.default_es_log_type : 指定されていない場合にイベントに割り当てる Elasticsearch タイプ (デフォルト: protologbeat)
protologbeat.enable_syslog_format_only : syslog メッセージのみを受け入れるかどうかを示すブール値。 (デフォルト = false)
protologbeat.enable_gelf : プロセスが GELF 形式のメッセージのみを受け入れるモードであるかどうかを示すブール値
protologbeat.enable_json_validation : json形式のメッセージに JSON スキーマ検証を適用するかどうかを示すブール値 (デフォルト = false)
protologbeat.validate_all_json_types : json_mode が有効な場合、すべてのタイプにスキーマを指定する必要があるかどうかを示します。スキーマを持たないタイプのログエントリは公開されません。 (デフォルト = false)
protologbeat.json_schema : キーとして Elasticsearch タイプ、値としてローカルスキーマファイルの絶対パスで構成されるハッシュ。

構成例

以下は、 protologbeatセクションの構成ブロックの例です。

平文ログの構成ブロック
指定された Elasticsearch タイプに対してのみ JSON スキーマを適用する構成ブロック
すべての Elasticsearch タイプに JSON スキーマを適用する構成ブロック
カスタム ES タイプ「myapp」を使用した syslog 置換の構成ブロック

JSON スキーマは、http://jsonschema.net/ のオブジェクトから自動的に生成できます。例として、email_contact スキーマとstock_item スキーマを表示することもできます。

考慮事項

これを Rsyslog によるログのドロップイン代替として使用する場合、この方法ではデータがディスク上のファイルに保存されません。
何らかの理由で protologbeat がダウンしている場合、構成された UDP ポートに送信されたメッセージは処理されず、ELK クラスターに送信されません。
各メッセージが少なくとも 1 回配信されることを 100% 保証する必要がある場合、これは最適なソリューションではない可能性があります。
ログイベントが失われる可能性がある程度許容できる場合、これは合理的な解決策となる可能性があります。
このアプリケーションは、アプリケーションが同じ物理ホスト上で実行されている protologbeat にログを記録できるシナリオを対象としています。これをクロスサーバー/クロスリージョン/クロスデータセンターのロギングに使用することはお勧めできません。
現在の日付/時刻は、protologbeat によって受信されると、各ログエントリに自動的に追加されます。
これにより、あらゆるタイプのフィールドでデータが記録される可能性があることを考慮して、必要なフィールド名とタイプを protologbeat.template-es2x.json または protologbeat.template.json ( ES 5.x ) インデックステンプレートに追加することをお勧めします。

サンプルクライアント

さまざまな言語のクライアントの例については、 _samples/ディレクトリを参照してください。

要件

Golang 1.7

プロジェクトの初期化

Protologbeat を実行し、依存関係もインストールするには、次のコマンドを実行します。

 make setup

主要なステップごとにクリーンな Git 履歴が作成されます。変更をプッシュする前に、必要に応じていつでも履歴を書き換えることができることに注意してください。

Protologbeat を git リポジトリにプッシュするには、次のコマンドを実行します。

 git remote set-url origin https://github.com/harfordfive/protologbeat
git push origin master

さらなる開発については、ビート開発者ガイドを確認してください。

建てる

Protologbeat のバイナリをビルドするには、以下のコマンドを実行します。これにより、同じディレクトリに protologbeat という名前のバイナリが生成されます。

 make

OSX、Linux、Windows 用のバイナリをビルドする場合は、次のコマンドを実行できます。

 ./build-bin [TAG_VERSION]

結果のバイナリはbin/ディレクトリに配置されます。

走る

デバッグ出力を有効にして Protologbeat を実行するには、次を実行します。

 ./protologbeat -c protologbeat.yml -e -d "*"

テスト

Protologbeat をテストするには、次のコマンドを実行します。

 make testsuite

あるいは:

 make unit-tests
make system-tests
make integration-tests
make coverage-report

テストカバレッジはフォルダー./build/coverage/にレポートされます。

アップデート

各ビートには、 elasticsearch のマッピング用のテンプレートと、 etc/fields.ymlに基づいて自動的に生成されるフィールドのドキュメントがあります。 etc/protologbeat.template.json および etc/protologbeat.asciidoc を生成するには

 make update

掃除

Protologbeat ソースコードをクリーンアップするには、次のコマンドを実行します。

 make fmt
make simplify

ビルドディレクトリと生成されたアーティファクトをクリーンアップするには、次のコマンドを実行します。

 make clean

クローン

git リポジトリから Protologbeat のクローンを作成するには、次のコマンドを実行します。

 mkdir -p ${GOPATH}/github.com/harfordfive
cd ${GOPATH}/github.com/harfordfive
git clone https://github.com/harfordfive/protologbeat

さらなる開発については、ビート開発者ガイドを確認してください。

Docker 上で実行する

このビートの Docker イメージはここで見つけることができます。コンテナーは、デフォルトのプロトコル/アドレス/ポートをリッスンし、プレーンテキストメッセージを受け入れる基本的な構成で開始されることに注意してください。カスタマイズする場合は、サンプルの protologbeat.full.yml 構成を変更し、元の Docker ファイルを上書きする独自の Docker ファイルを作成してください。