logswan

                                _____
                            .xiX*****Xix.
                          .X7'        '4Xk,
                         dXl            'XX.        .
                        xXXl             XXl        .
                        4XXX             XX'
                       .  ,x            iX'   _,,xxii
                       |   ²|        ,iX7,xiiXXXXXXXl
                       |          .xi,xiXXXXXXXXXXXX:
                       .      ..iXXiXXXXXXXXXXXXXXX7.
                       .    .xXXXXXXXXXXXXXXX'XXXX7 .
                       |   ,XXXXXXXXXXXXXXXX'XXX7'  |
                       :  .XXXXX7*'"' 2XXX7'XX7'    |
  __/      _____    ____  XX' _____  47'  ___  ___      _____     __
.\_   ___/  _  __/  _/_______  _/______/  /    ____/  _  ___/    _____
. /     __    Y _ __   __  _________  _____  //   ____ _ _   ______ / __///
:/       /    |        |'   /   /    /            /    Y    /         :
|______/_________/____|    /____     /_____/_____/____|____/_______/  |
+--------------------- ____/ --- ____/ ----:----------------------h7/dS!----+
                       .                     |      :
                       : .                   :      |
                       | .     Logswan       .      |
                       | :                       .  |
                       |_|_______________________|__|
                         |                       :
                                                 .

Logswan

Logswan é um analisador de log da Web rápido que usa estruturas de dados probabilísticas. Ele é direcionado a arquivos de log muito grandes, normalmente logs de APIs. Possui uso constante de memória, independentemente do tamanho do arquivo de log, e ocupa aproximadamente 4 MB de RAM.

A contagem de visitantes únicos é realizada através de dois contadores HyperLogLog (um para IPv4 e outro para IPv6), proporcionando uma precisão relativa de 0,10%. Representações de strings de endereços IP são usadas e preferidas porque oferecem melhor precisão.

Os objetivos de design do projeto incluem: velocidade, eficiência no uso de memória e manter o código o mais simples possível.

Logswan é um software opinativo :

• Ele suporta apenas o Common Log Format, para manter o código de análise simples. É claro que ele também pode processar o formato de log combinado (os campos de referenciador e agente de usuário serão descartados)
• Ele não divide os resultados por dia, mas os arquivos de log podem ser divididos antes de serem processados
• O tamanho do arquivo de entrada e o uso da largura de banda são relatados em bytes, não há planos para formatá-los ou arredondá-los

Logswan foi escrito com a segurança em mente e está sendo executado em sandbox no OpenBSD (usando promessa). O suporte experimental ao seccomp está disponível para arquiteturas selecionadas e pode ser habilitado definindo a variável ENABLE_SECCOMP como 1 ao invocar o CMake. Também foi amplamente difundido usando AFL e Honggfuzz.

Características

Recursos atualmente implementados:

• Contando a largura de banda usada
• Contando o número de linhas processadas/linhas inválidas
• Contando o número de acessos (acessos IPv4 e IPv6)
• Contagem de visitas (endereços IP exclusivos para IPv4 e IPv6)
• Pesquisas GeoIP (para IPv4 e IPv6)
• Distribuição de acessos por hora
• Distribuição de método HTTP
• Distribuição do protocolo HTTP
• Distribuição de códigos de status HTTP

Dependências

Logswan usa o sistema de compilação CMake e requer bibliotecas Jansson e libmaxminddb e arquivos de cabeçalho.

Instalando dependências

• OpenBSD: pkg_add -r cmake jansson libmaxminddb
• NetBSD: pkgin in cmake jansson libmaxminddb
• FreeBSD: pkg install cmake jansson libmaxminddb
• macOS: brew install cmake jansson libmaxminddb
• Alpine Linux: apk add cmake gcc make musl-dev jansson-dev libmaxminddb-dev
• Debian/Ubuntu: apt-get install build-essential cmake libjansson-dev libmaxminddb-dev
• Fedora: dnf install cmake gcc make jansson-devel libmaxminddb-devel

Prédio

 mkdir build
cd build
cmake ..
make

Logswan foi construído e testado com sucesso em OpenBSD, NetBSD, FreeBSD, macOS e Linux com Clang e GCC.

Pacotes

Os pacotes Logswan estão disponíveis para:

• OpenBSD
• NetBSD
• FreeBSD
• Debian
• Ubuntu
• Anular Linux
• Gentoo
• Cerveja caseira

Bancos de dados GeoIP2

Logswan procura bancos de dados GeoIP2 em ${CMAKE_INSTALL_PREFIX}/share/dbip por padrão, que aponta para /usr/local/share/dbip .

Um diretório personalizado pode ser definido usando a variável GEOIP2DIR ao invocar o CMake:

 cmake -DGEOIP2DIR=/var/db/dbip .

O banco de dados gratuito DB-IP IP to Country Lite licenciado pela Creative Commons pode ser baixado aqui.

Alternativamente, o banco de dados GeoLite2 Country da MaxMind pode ser baixado gratuitamente aqui, mas exige a aceitação de um EULA e não é licenciado gratuitamente.

Uso

 logswan [-ghv] [-d db] logfile

Se o arquivo for um único traço (`-'), o logswan lê a entrada padrão.

As opções são as seguintes:

 -d db	Specify path to a GeoIP database.
-g	Enable GeoIP lookups.
-h	Display usage.
-v	Display version.

Logswan gera dados JSON para stdout .

Licença

Logswan é lançado sob a licença BSD de 2 cláusulas. Consulte o arquivo LICENSE para obter detalhes.

Autor

Logswan é desenvolvido por Frederic Cambus.

• Site: https://www.cambus.net

Recursos

Página inicial do projeto: https://www.logswan.org

GitHub: https://github.com/fcambus/logswan