logswan

                                _____
                            .xiX*****Xix.
                          .X7'        '4Xk,
                         dXl            'XX.        .
                        xXXl             XXl        .
                        4XXX             XX'
                       .  ,x            iX'   _,,xxii
                       |   ²|        ,iX7,xiiXXXXXXXl
                       |          .xi,xiXXXXXXXXXXXX:
                       .      ..iXXiXXXXXXXXXXXXXXX7.
                       .    .xXXXXXXXXXXXXXXX'XXXX7 .
                       |   ,XXXXXXXXXXXXXXXX'XXX7'  |
                       :  .XXXXX7*'"' 2XXX7'XX7'    |
  __/      _____    ____  XX' _____  47'  ___  ___      _____     __
.\_   ___/  _  __/  _/_______  _/______/  /    ____/  _  ___/    _____
. /     __    Y _ __   __  _________  _____  //   ____ _ _   ______ / __///
:/       /    |        |'   /   /    /            /    Y    /         :
|______/_________/____|    /____     /_____/_____/____|____/_______/  |
+--------------------- ____/ --- ____/ ----:----------------------h7/dS!----+
                       .                     |      :
                       : .                   :      |
                       | .     Logswan       .      |
                       | :                       .  |
                       |_|_______________________|__|
                         |                       :
                                                 .

ログスワン

Logswan は、確率的データ構造を使用した高速 Web ログ アナライザーです。これは、非常に大きなログ ファイル (通常は API ログ) を対象としています。ログ ファイルのサイズに関係なく一定のメモリ使用量があり、約 4MB の RAM を必要とします。

ユニーク訪問者のカウントは 2 つの HyperLogLog カウンター (IPv4 用と IPv6 用) を使用して実行され、相対精度は 0.10% です。 IP アドレスの文字列表現が使用され、精度が向上するため推奨されます。

プロジェクト設計の目標には、速度、メモリ使用効率、コードを可能な限りシンプルに保つことが含まれます。

Logswan は独自のソフトウェアです。

• 解析コードを単純にするために、共通ログ形式のみをサポートします。もちろん、結合ログ形式も処理できます (リファラーとユーザー エージェントのフィールドは破棄されます)。
• 結果は日ごとに分割されませんが、ログ ファイルは処理前に分割できます。
• 入力ファイルのサイズと帯域幅の使用量はバイト単位で報告されます。フォーマットしたり四捨五入したりする予定はありません。

Logswan はセキュリティを念頭に置いて作成されており、OpenBSD 上で (誓約を使用して) サンドボックス化して実行されます。実験的な seccomp サポートは、選択したアーキテクチャで利用でき、CMake を呼び出すときにENABLE_SECCOMP変数を1に設定することで有効にできます。また、AFL と Hongfuzz を使用して広範囲にファジングされています。

特徴

現在実装されている機能:

• 使用帯域幅のカウント
• 処理行数・無効行数のカウント
• ヒット数のカウント (IPv4 および IPv6 ヒット)
• 訪問数のカウント (IPv4 と IPv6 の両方の一意の IP アドレス)
• GeoIP ルックアップ (IPv4 と IPv6 の両方)
• 時間当たりのヒット数の分布
• HTTPメソッドの配布
• HTTPプロトコルの配布
• HTTPステータスコードの配布

依存関係

Logswan はCMakeビルド システムを使用し、 Janssonおよびlibmaxminddbライブラリとヘッダー ファイルを必要とします。

依存関係のインストール

• OpenBSD: pkg_add -r cmake jansson libmaxminddb
• NetBSD: pkgin in cmake jansson libmaxminddb
• FreeBSD: pkg install cmake jansson libmaxminddb
• macOS: brew install cmake jansson libmaxminddb
• Alpine Linux: apk add cmake gcc make musl-dev jansson-dev libmaxminddb-dev
• Debian / Ubuntu: apt-get install build-essential cmake libjansson-dev libmaxminddb-dev
• Fedora: dnf install cmake gcc make jansson-devel libmaxminddb-devel

建物

 mkdir build
cd build
cmake ..
make

Logswan は、Clang と GCC の両方を備えた OpenBSD、NetBSD、FreeBSD、macOS、Linux 上で正常に構築され、テストされています。

パッケージ

Logswan パッケージは以下で使用できます。

• OpenBSD
• NetBSD
• FreeBSD
• デビアン
• Ubuntu
• ボイド・リナックス
• Gentoo
• 自作

GeoIP2 データベース

Logswan は、デフォルトで${CMAKE_INSTALL_PREFIX}/share/dbipで GeoIP2 データベースを検索します。これは/usr/local/share/dbipを指します。

カスタム ディレクトリは、CMake を呼び出すときにGEOIP2DIR変数を使用して設定できます。

 cmake -DGEOIP2DIR=/var/db/dbip .

Creative Commons ライセンスの無料の DB-IP IP to Country Lite データベースは、ここからダウンロードできます。

あるいは、MaxMind の GeoLite2 Country データベースをここから無料でダウンロードできますが、EULA への同意が必要であり、無償ライセンスは付与されていません。

使用法

 logswan [-ghv] [-d db] logfile

ファイルが単一のダッシュ (「-」) の場合、logswan は標準入力から読み取ります。

オプションは次のとおりです。

 -d db	Specify path to a GeoIP database.
-g	Enable GeoIP lookups.
-h	Display usage.
-v	Display version.

Logswan は JSON データをstdoutに出力します。

ライセンス

Logswan は、BSD 2 条項ライセンスに基づいてリリースされています。詳細については、 LICENSEファイルを参照してください。

著者

Logswan は Frederic Cambus によって開発されました。

• サイト: https://www.cambus.net

リソース

プロジェクトのホームページ: https://www.logswan.org

GitHub: https://github.com/fcambus/logswan