logswan

                                _____
                            .xiX*****Xix.
                          .X7'        '4Xk,
                         dXl            'XX.        .
                        xXXl             XXl        .
                        4XXX             XX'
                       .  ,x            iX'   _,,xxii
                       |   ²|        ,iX7,xiiXXXXXXXl
                       |          .xi,xiXXXXXXXXXXXX:
                       .      ..iXXiXXXXXXXXXXXXXXX7.
                       .    .xXXXXXXXXXXXXXXX'XXXX7 .
                       |   ,XXXXXXXXXXXXXXXX'XXX7'  |
                       :  .XXXXX7*'"' 2XXX7'XX7'    |
  __/      _____    ____  XX' _____  47'  ___  ___      _____     __
.\_   ___/  _  __/  _/_______  _/______/  /    ____/  _  ___/    _____
. /     __    Y _ __   __  _________  _____  //   ____ _ _   ______ / __///
:/       /    |        |'   /   /    /            /    Y    /         :
|______/_________/____|    /____     /_____/_____/____|____/_______/  |
+--------------------- ____/ --- ____/ ----:----------------------h7/dS!----+
                       .                     |      :
                       : .                   :      |
                       | .     Logswan       .      |
                       | :                       .  |
                       |_|_______________________|__|
                         |                       :
                                                 .

Логсван

Logswan — это быстрый анализатор веб-журналов, использующий вероятностные структуры данных. Он предназначен для очень больших файлов журналов, обычно журналов API. Он использует постоянную память независимо от размера файла журнала и занимает около 4 МБ ОЗУ.

Подсчет уникальных посетителей осуществляется с помощью двух счетчиков HyperLogLog (один для IPv4, другой для IPv6), обеспечивающих относительную точность 0,10%. Строковые представления IP-адресов используются и являются предпочтительными, поскольку они обеспечивают большую точность.

Цели разработки проекта включают в себя: скорость, эффективность использования памяти и максимальное упрощение кода.

Logswan — самоуверенное программное обеспечение :

• Он поддерживает только общий формат журнала, чтобы упростить код синтаксического анализа. Конечно, он также может обрабатывать комбинированный формат журнала (поля реферера и пользовательского агента будут удалены)
• Он не разделяет результаты по дням, но файлы журналов можно разделить перед обработкой.
• Размер входного файла и использование полосы пропускания указываются в байтах, их форматирование или округление не планируется.

Logswan написан с учетом требований безопасности и работает в изолированной программной среде OpenBSD (с использованием залога). Экспериментальная поддержка seccomp доступна для выбранных архитектур и ее можно включить, установив для переменной ENABLE_SECCOMP значение 1 при вызове CMake. Он также был тщательно фаззифицирован с использованием AFL и Honggfuzz.

Функции

Реализованные на данный момент функции:

• Подсчет использованной полосы пропускания
• Подсчет количества обработанных строк/недействительных строк
• Подсчет количества обращений (обращений IPv4 и IPv6)
• Подсчет посещений (уникальные IP-адреса для IPv4 и IPv6)
• Поиск GeoIP (как для IPv4, так и для IPv6)
• Распределение просмотров по часам
• Распространение метода HTTP
• Распространение протокола HTTP
• Распределение кодов состояния HTTP

Зависимости

Logswan использует систему сборки CMake и требует библиотек Jansson и libmaxminddb и файлов заголовков.

Установка зависимостей

• OpenBSD: pkg_add -r cmake jansson libmaxminddb
• NetBSD: pkgin in cmake jansson libmaxminddb
• FreeBSD: pkg install cmake jansson libmaxminddb
• macOS: brew install cmake jansson libmaxminddb
• Alpine Linux: apk add cmake gcc make musl-dev jansson-dev libmaxminddb-dev
• Debian/Ubuntu: apt-get install build-essential cmake libjansson-dev libmaxminddb-dev
• Fedora: dnf install cmake gcc make jansson-devel libmaxminddb-devel

Здание

 mkdir build
cd build
cmake ..
make

Logswan был успешно создан и протестирован на OpenBSD, NetBSD, FreeBSD, macOS и Linux с использованием Clang и GCC.

Пакеты

Пакеты Logswan доступны для:

• OpenBSD
• NetBSD
• FreeBSD
• Дебиан
• Убунту
• Пустота Linux
• Генту
• Домашнее пиво

Базы данных GeoIP2

Logswan по умолчанию ищет базы данных GeoIP2 в ${CMAKE_INSTALL_PREFIX}/share/dbip , что указывает на /usr/local/share/dbip .

Пользовательский каталог можно установить с помощью переменной GEOIP2DIR при вызове CMake:

 cmake -DGEOIP2DIR=/var/db/dbip .

Бесплатную базу данных DB-IP IP to Country Lite, лицензированную Creative Commons, можно скачать здесь.

Кроме того, базу данных GeoLite2 Country от MaxMind можно бесплатно загрузить здесь, но для этого необходимо принять лицензионное соглашение и она не лицензируется свободно.

Использование

 logswan [-ghv] [-d db] logfile

Если файл представляет собой одиночное тире (`-'), logswan считывает данные со стандартного ввода.

Возможные варианты:

 -d db	Specify path to a GeoIP database.
-g	Enable GeoIP lookups.
-h	Display usage.
-v	Display version.

Logswan выводит данные JSON на стандартный вывод .

Лицензия

Logswan выпускается под лицензией BSD 2-Clause. Подробности смотрите в файле LICENSE .

Автор

Logswan разработан Фредериком Камбусом.

• Сайт: https://www.cambus.net

Ресурсы

Домашняя страница проекта: https://www.logswan.org.

GitHub: https://github.com/fcambus/logswan