clpダウンロード - clpソースコードのダウンロード

clp

その他のソースコード

v0.2.1

ダウンロード

YScope の圧縮ログプロセッサ (CLP) はログを圧縮し、解凍せずに圧縮ログを検索できるようにします。 CLP は、JSON ログと非構造化 (つまりフリーテキスト) ログの両方をサポートします。また、いくつかのログライブラリ内でのリアルタイムログ圧縮もサポートしています。 CLP には、圧縮ログを検索および表示するための専用の Web インターフェイスも含まれています。詳細については、非構造化ログの処理に関する 2021 年の論文と、JSON ログへの拡張に関する 2024 年の論文をご覧ください。

ベンチマーク

JSON ログの CLP ベンチマーク非構造化ログの CLP ベンチマーク

上の図は、他のツールと比較した CLP の圧縮および検索パフォーマンスを示しています。 (1) 一部のツールは 1 つのタイプのログのみを処理でき、(2) 両方のタイプを処理できるツールは、タイプごとに異なる設計になっていることが多いため (CLP など)、JSON ログと非構造化ログの間で実験を分離します。

圧縮率は、さまざまなログデータセットの平均として測定されます。これらのデータセットの一部はここで見つけることができます。検索パフォーマンスは、MongoDB ログ (JSON の場合) および Hadoop ログ (非構造化ログの場合) に対するクエリを使用して測定されます。 CLP はインデックスのない設計を使用しているため、公平な比較のために MongoDB と PostgreSQL のインデックスを無効にしていることに注意してください。これらを有効のままにしておくと、MongoDB と PostgreSQL の圧縮率が悪化します。 Elasticsearch または Splunk のインデックス作成は、これらのツールが基本的にインデックスベースであるため無効にしませんでした (つまり、インデックスなしではログを検索できません)。実験方法の詳細については、2021 年の論文と 2024 年の論文をご覧ください。

システム概要

CLP システムの概要

CLP は、圧縮、検索、分析、表示で構成されるエンドツーエンドのログ管理パイプラインを提供します。上の図は CLP エコシステムアーキテクチャを示しています。これは次の機能で構成されます。

圧縮と検索: CLP はログをアーカイブに圧縮し、Web UI で検索および分析できます。入力は、生のログ、または CLP のロギングライブラリによって生成された CLP の圧縮 IR (中間表現) のいずれかになります。
CLP ログライブラリによるリアルタイム圧縮: CLP は、Python および Java 用のログライブラリ (Log4j および Logback) を提供します。ログライブラリはリアルタイムでログを圧縮するため、圧縮されたログのみがディスクに書き込まれたり、ネットワーク経由で送信されたりします。圧縮されたログは CLP の中間表現 (IR) 形式を使用しており、Zstandard などの汎用圧縮プログラムよりも高い圧縮率を実現します。 IR をアーカイブに圧縮すると、圧縮率がさらに 2 倍になり、グローバル検索が可能になりますが、十分なログをバッファする必要があるため、より多くのメモリ使用量が必要になります。 IR とアーカイブの詳細については、この Uber Engineering ブログをご覧ください。
ログビューア: 圧縮された IR は Web ベースのログビューアで表示できます。エディターでのログの表示と比較して、CLP のログビューアは、ログレベルの冗長性に基づいてログをフィルタリングする (たとえば、ログレベルが ERROR 以上のログのみを表示する) などの高度な機能をサポートします。これらの機能が可能になるのは、CLP のログライブラリがログを IR に圧縮する前に解析するためです。
IR 分析ライブラリ: 圧縮された IR を分析できる Python ライブラリと Go ライブラリも提供します。
ログパーサー: CLP には、RE2 などの最先端の正規表現エンジンより 3 倍高速なカスタムプッシュダウンオートマトンベースのログパーサーも含まれています。ログパーサーは、他のアプリケーションで使用できるライブラリとして利用できます。