kflowd Download – Download kflowd Quellcodes

kflowd

Andere Kategorien

v0.9

Herunterladen

Kernelbasierte Prozessüberwachung auf Linux-Endpunkten über eBPF

kflowd wird als Agent auf Linux-Endpunkten ausgeführt, um Prozesse über das eBPF-Kernel-Subsystem auf Dateisystem- sowie TCP- und UDP-Netzwerkereignisse zu überwachen und so eine sofortige Erkennung von Bedrohungen und Anomalien bei verdächtigen Aktivitäten zu ermöglichen.

Erweiterte nicht-ebpf-bezogene Funktionen wie DNS-, HTTP- und SYSLOG-Anwendungsnachrichtendekodierung, Prüfsummenberechnung zur Virenerkennung, Prozess- und Dateiversionierung zur Schwachstellenerkennung sowie Dateigeräte-, Netzwerkschnittstellen- und Benutzergruppenidentifikation für Dateien und Prozesse können über Open aktiviert werden -binäre Plugin-Module.
Vorgefertigte kflowd- und kflowd-plugins-Pakete können zur schnellen Installation im Abschnitt „Releases“ heruntergeladen werden.

Wenn Sie unserem Community-Slack-Kanal beitreten möchten, senden Sie bitte eine E-Mail an [email protected], um eine Einladung zu erhalten. Sie können uns bei Fragen auch direkt unter [email protected] kontaktieren.

kflowd enthält ein eBPF-Programm, das im Kernel-Kontext läuft, und seine Kontrollanwendung, die im Userspace läuft.
Das eBPF-Programm verfolgt Kernelfunktionen, um Prozesse basierend auf Dateisystem- und Netzwerkereignissen zu überwachen. Ereignisse werden in Datensätzen zusammengefasst und an einen Ringpuffer übermittelt, wo sie von der Userspace-Steuerungsanwendung abgefragt werden. Alle Datensätze werden mit Prozessinformationen angereichert und anschließend in eine Nachricht im JSON-Ausgabeformat umgewandelt.
Die endgültigen Nachrichten werden auf der Standardausgabekonsole ausgegeben und können über das UDP-Protokoll an bestimmte Hosts zur Aufnahme in eine Sicherheitsdatenpipeline gesendet werden.

kflowd läuft auf Linux-Kerneln 5.10+ und ist mit der eBPF-Entwicklungstoolkette libbpf+CO-RE (Compile-Once-Run-Everywhere) unter Verwendung von BTF (BPF Type Format) erstellt, um Portabilität zu ermöglichen, indem Abhängigkeiten von Unterschieden in Kernel-Headern zwischen Kernel-Versionen vermieden werden beim Einsatz.

JSON-Ausgabe

kflowd gibt JSON-Nachrichten aus, die für jeden Datensatz des aggregierten Dateisystems sowie TCP-, UDP-Netzwerkereignisse und optional DNS-, HTTP- und SYSLOG-Anwendungsnachrichten in den Formaten generiert werden, wie in den folgenden Beispielen gezeigt:

Dateisystemdatensatz

 {
  "InfoSequenceNumber": 1,
  "InfoTimestamp": "Thu, Apr 04 2024 15:34:35.643031330 UTC",
  "InfoMonitor": "filesystem",
  "InfoHostName": "dev.kflow.co",
  "InfoHostIP": "38.110.1.24",
  "InfoSystem": "Linux",
  "InfoKernel": "6.1.0-10-amd64",
  "InfoVersion": "kflowd-v0.9.1",
  "InfoUptime": 21.262713426,
  "ProcParent": "sshd",
  "Proc": "sftp-server",
  "ProcVersion": "1:9.2p1-2+deb12u1",
  "ProcUser": "dirk",
  "ProcGroup": "dirk",
  "ProcPPID": 183546,
  "ProcPID": 183547,
  "ProcTID": 183547,
  "ProcUID": 1002,
  "ProcGID": 1002,
  "ProcAge": 2.408293862,
  "FilePath": "/home/dirk/",
  "File": "malware",
  "FileVersion": "0.9",
  "FileMode": "regular",
  "FileEventCount": 4,
  "FileEvents": {
    "OPEN": 1,
    "MODIFY": 2,
    "CLOSE_WRITE": 1
  },
  "FileEventsDuration": 0.811829334,
  "FileInode": 19567988,
  "FileInodeLinkCount": 1,
  "FileDevice": "902h:/dev/md2:/:ext4",
  "FilePermissions": "0755/-rwxr-xr-x",
  "FileUser": "dirk",
  "FileGroup": "dirk",
  "FileUID": 1002,
  "FileGID": 1002,
  "FileSize": 41,
  "FileSizeChange": 41,
  "FileAccessTime": "Thu, Apr 04 2024 15:12:01.435718956 UTC",
  "FileStatusChangeTime": "Thu, Apr 04 2024 15:34:35.154106191 UTC",
  "FileModificationTime": "Thu, Apr 04 2024 15:34:35.154106191 UTC",
  "FileModificationTimeChange": 0.327993681,
  "FileMD5": "96760f46bd29ba986279f22bed9839f5",
  "FileSHA256": "72c58c2d02ae3a87f521594373433b7d05477c4994fc0ab4376827cadb29ba7e"
}

UDP + DNS-Netzwerkeintrag

 {
  "InfoSequenceNumber": 2,
  "InfoTimestamp": "Thu, Apr 04 2024 15:39:11.463732866 UTC",
  "InfoMonitor": "socket",
  "InfoHostName": "dev.kflow.co",
  "InfoHostIP": "38.110.1.24",
  "InfoSystem": "Linux",
  "InfoKernel": "6.1.0-10-amd64",
  "InfoVersion": "kflowd-v0.9.1",
  "InfoUptime": 23.972984597,
  "ProcParent": "bash",
  "Proc": "curl",
  "ProcVersion": "7.45.2-3",
  "ProcUser": "dirk",
  "ProcGroup": "dirk",
  "ProcPPID": 199853,
  "ProcPID": 199856,
  "ProcTID": 199857,
  "ProcUID": 1002,
  "ProcGID": 1002,
  "ProcAge": 0.044454620,
  "SockProtocol": "UDP",
  "SockRole": "CLIENT",
  "SockState": "UDP_ESTABLISHED",
  "SockFamily": "AF_INET",
  "SockLocalIP": "38.110.1.24",
  "SockLocalPort": 56664,
  "SockRemoteIP": "8.8.4.4",
  "SockRemotePort": 53,
  "SockTxInterface": "4:enp5s0:0c:c4:7a:88:84:c2",
  "SockTxPackets": 2,
  "SockTxDuration": 0.000048490,
  "SockTxBytes": 52,
  "SockTxInterface": "4:enp5s0:0c:c4:7a:88:84:c2",
  "SockRxPackets": 2,
  "SockRxPacketsQueued": 0,
  "SockRxPacketsDrop": 0,
  "SockRxPacketsFrag": 0,
  "SockRxDuration": 22.475134750,
  "SockRxBytes": 155,
  "SockRxTTL": 125,
  "SockAge": 0.043689149,
  "App": "DNS",
  "AppTxDns": [{
    "_Timestamp": 0.000001177,
    "TransactionId": 56864,
    "OpCode": "QUERY",
    "Flags": ["RD"],
    "ResourceRecords": [
      ["A", "kflow.co"]
    ]
  },
  {
    "_Timestamp": 0.000048627,
    "TransactionId": 52515,
    "OpCode": "QUERY",
    "Flags": ["RD"],
    "ResourceRecords": [
      ["AAAA", "kflow.co"]
    ]
  }],
  "AppRxDns": [{
    "_Timestamp": 0.037965555,
    "TransactionId": 52515,
    "ResponseCode": "NOERROR",
    "Flags": ["QR", "RD", "RA"],
    "AnswerCount": 0,
    "ResourceRecords": []
  },
  {
    "_Timestamp": 0.043688644,
    "TransactionId": 56864,
    "ResponseCode": "NOERROR",
    "Flags": ["QR", "RD", "RA"],
    "AnswerCount": 2,
    "ResourceRecords": [
      ["A", "kflow.co", 600, "IN", "15.197.142.173"],
      ["A", "kflow.co", 600, "IN", "3.33.152.147"]
    ]
  }]
}

TCP + HTTP-Netzwerkdatensatz

 {
  "InfoSequenceNumber": 3,
  "InfoTimestamp": "Thu, Apr 04 2024 15:39:11.928989997 UTC",
  "InfoMonitor": "socket",
  "InfoHostName": "dev.kflow.co",
  "InfoHostIP": "38.110.1.24",
  "InfoSystem": "Linux",
  "InfoKernel": "6.1.0-10-amd64",
  "InfoVersion": "kflowd-v0.9.1",
  "InfoUptime": 24.873001288,
  "ProcParent": "bash",
  "Proc": "curl",
  "ProcVersion": "7.45.2-3",
  "ProcUser": "dirk",
  "ProcGroup": "dirk",
  "ProcPPID": 199853,
  "ProcPID": 216998,
  "ProcTID": 216998,
  "ProcUID": 1002,
  "ProcGID": 1002,
  "ProcAge": 0.114196829,
  "SockProtocol": "TCP",
  "SockRole": "CLIENT",
  "SockState": "TCP_CLOSE",
  "SockFamily": "AF_INET",
  "SockLocalIP": "38.110.1.24",
  "SockLocalPort": 43302,
  "SockRemoteIP": "15.197.142.173",
  "SockRemotePort": 80,
  "SockTxInterface": "4:enp5s0:0c:c4:7a:88:84:c2",
  "SockTxDataPackets": 1,
  "SockTxPackets": 6,
  "SockTxPacketsRetrans": 0,
  "SockTxPacketsDups": 0,
  "SockTxFlags": {
    "SYN": 1,
    "ACK": 3,
    "PSH-ACK": 1,
    "FIN-ACK": 1
  },
  "SockTxDuration": 0.057274799,
  "SockTxBytes": 72,
  "SockTxBytesAcked": 74,
  "SockTxBytesRetrans": 0,
  "SockTxRTO": 51,
  "SockTxInterface": "4:enp5s0:0c:c4:7a:88:84:c2",
  "SockRxDataPackets": 1,
  "SockRxPackets": 4,
  "SockRxPacketsQueued": 0,
  "SockRxPacketsDrop": 0,
  "SockRxPacketsReorder": 0,
  "SockRxPacketsFrag": 0,
  "SockRxFlags": {
    "SYN-ACK": 1,
    "ACK": 1,
    "PSH-ACK": 1,
    "FIN-ACK": 1
  },
  "SockRxDuration": 0.057197399,
  "SockRxBytes": 342,
  "SockRxTTL": 185,
  "SockRTT": 0.000450625,
  "SockAge": 0.057344028,
  "App": "HTTP",
  "AppTxHttp": [{
    "_Timestamp": 0.000876589,
    "_Method": "GET",
    "_Url": "/",
    "_Version": "HTTP/1.1",
    "Host": "kflow.co",
    "User-Agent": "curl/7.88.1",
    "Accept": "*/*"
  }],
  "AppRxHttp": [{
    "_Timestamp": 0.056237469,
    "_Version": "HTTP/1.1",
    "_Status": 301,
    "_Reason": "Moved Permanently",
    "Date": "Thu, 04 Apr 2024 15:49:12 GMT",
    "Content-Type": "text/html; charset=utf-8",
    "Content-Length": "59",
    "Connection": "keep-alive",
    "Location": "https://kflowd.github.io",
    "Server": "ip-10-123-123-119.ec2.internal",
    "X-Request-Id": "5c331cbe-fbe1-40ea-ba2b-989691e687a0",
    "_Body": "<a href="https://kflowd.github.io">Moved Permanently</a>."
  }]
}

UNIX-Socket + SYSLOG-Eintrag

 {
  "InfoSequenceNumber": 4,
  "InfoTimestamp": "Mon, Sep 16 2024 14:30:19.409100980 UTC",
  "InfoMonitor": "socket",
  "InfoHostName": "dev.kflow.co",
  "InfoHostIP": "38.110.1.24",
  "InfoSystem": "Linux",
  "InfoKernel": "6.1.0-10-amd64",
  "InfoVersion": "kflowd-v0.9.11",
  "ProcParent": "cron",
  "Proc": "cron",
  "ProcVersion": "3.0pl1-137",
  "ProcUser": "root",
  "ProcGroup": "root",
  "ProcPPID": 990,
  "ProcPID": 2122368,
  "ProcTID": 2122368,
  "ProcUID": 0,
  "ProcGID": 0,
  "ProcAge": 18.100170007,
  "SockRole": "CLIENT",
  "SockAddress": "/run/systemd/journal/dev-log",
  "SockFamily": "AF_UNIX",
  "SockTxBytes": 192,
  "SockAge": 18.095146325,
  "App": "SYSLOG",
  "AppTxSyslog": [{
    "Facility": "Security/Authorization",
    "Severity": "Notice (5)",
    "Priority": 85,
    "Version": 0,
    "Timestamp": "Sep 16 14:30:01",
    "Appname": "CRON",
    "ProcId": "2122368",
    "Message": "pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)"
  },
  {
    "Facility": "Security/Authorization",
    "Severity": "Informational (6)",
    "Priority": 86,
    "Version": 0,
    "Timestamp": "Sep 16 14:30:01",
    "Appname": "CRON",
    "ProcId": "2122368",
    "Message": "pam_unix(cron:session): session closed for user root"
  }]
}

Laufzeitanforderungen

Kernel 5.10+ kompiliert mit:

CONFIG_BPF=y
CONFIG_KPROBES=y
CONFIG_KRETPROBES=y
CONFIG_DEBUG_INFO_BTF=y
Maps (seit 4.1+) zur Durchführung der Aggregation von Dateisystemereignissen in Hash-Tabellen
Ringbuffer (seit 5.8+) zum Austausch von Daten zwischen Kernel-eBPF-Programm und User-Space-Anwendung
Globale Variablen (seit 5.5) zur Parametrisierung des Anwendungsverhaltens
vmlinux.h-Datei in Binärform unter /sys/kernel/btf/vmlinux
Bibliotheken libelf und libz installiert

Empfehlungen zur Laufzeitleistung

Kernel 5.10+ kompiliert mit Just-In-Time eBPF-Compiler (JIT):

CONFIG_BPF_JIT=y

JIT-Systemsteuerungseinstellungen aktiviert:

net.core.bpf_jit_enable=1

Der folgende Link bietet eine Übersicht über Linux-Distributionen mit standardmäßig aktiviertem eBPF CO-RE und BTF:
Linux-Distributionen mit eBPF CO-RE und BTF

Für eine leistungsstarke UDP-Ausgabe werden die folgenden Kernel-Netzwerkeinstellungen empfohlen:

sysctl -w net.core.rmem_max=134217728
sysctl -w net.core.wmem_max=134217728

Laufzeitoptionen

 Usage:
  kflowd [-m file,socket] [-t IDLE,ACTIVE] [-e EVENTS] [-o json|json-min|table] [-v] [-c]
         [-p dns|http|syslog=PROTO/PORT,...] [-u IP:PORT] [-q] [-d] [-V] [-T TOKEN] [-P PATH]
         [-D PROCESS], [-l] [--legend], [-h] [--help], [--version]
  -m file,socket           Monitor only specified kernel subsystem (filesystem or sockets)
                             (default: all, option omitted!)
  -t IDLE,ACTIVE           Timeout in seconds for idle or active network sockets until export
                             (default: idle '15' seconds, active '1800' seconds)
  -e EVENTS                Max number of filesystem events per aggregated record until export
                             (default: disabled, '1': no aggregation)
  -o json                  Json output with formatting (default)
     json-min              Json output with minimal formatting
     table                 Tabular output with limited keys and no UDP output
  -v                       Version of executable files identified by installed package
                             (supported only for rpm- and deb-based package management)
  -c                       Checksum hashes of MD5 and SHA256 calculated for executables
  -p dns=PROTO/PORT,...    Port(s) examined for decoding of DNS application protocol
                             (default: 'dns=udp/53,tcp/53', disabled: 'dns=off')
  -p http=PROTO/PORT,...   Port(s) examined for decoding of HTTP application protocol
                             (default: 'http=tcp/80', disabled: 'http=off')
  -p syslog=PROTO/PORT,... Port(s) examined for decoding of SYSLOG application protocol
                             (default: 'syslog=udp/514,tcp/514,unix', disabled: 'syslog=off')
  -u IP:PORT,...           UDP server(s) IPv4 or IPv6 address to send json output to.
                           Output also printed to stdout console unless quiet option -q or
                             daemon mode -d specified
  -q                       Quiet mode to suppress output to stdout console
  -d                       Daemonize program to run in background
  -V                       Verbose output
                             Print eBPF load and co-re messages on start of eBPF program
                             to stderr console
  -T TOKEN                 Token specified on host to be included in json output
  -P PATH                  Path to search for kflowd plugin modules (default: '../lib/')
  -l, --legend             Show legend
  -h, --help               Show help
      --version            Show version
  -D PROCESS               Debug
                             Print ebpf kernel log messages of process or expiration queue to
                             kernel trace pipe (any process: '*', with quotes!, queue: 'q')
                             Use command:
                               'sudo cat /sys/kernel/debug/tracing/trace_pipe'

Examples:
  sudo ./kflowd                                                           # terminal mode
  sudo ./kflowd -m file,socket -v -c -u 1.2.3.4:2056,127.0.0.1:2057 -d    # daemon mode
  sudo ./kflowd -m socket -v -c -u 1.2.3.4:2056 -V -D '*'                 # debug mode
  sudo ./kflowd --legend                                                  # show legend
  sudo ./kflowd --version                                                 # show version

Build-Anforderungen

Kernel-Version 5.10+, kompiliert mit BTF für CO-RE:

 uname -a
cat /boot/config-* | grep CONFIG_DEBUG_INFO_BTF

BPF in der Datei /etc/sysctl.conf aktiviert:

 ...
kernel.bpf_stats_enabled=1
kernel.unprivileged_bpf_disabled=0

Build-Voraussetzungen

Debian-basiert (Ubuntu, Mint)

Bibliotheken installieren:

 sudo apt install libz-dev
sudo apt install libelf-dev
sudo apt install libcap-dev
sudo apt install libbfd-dev
sudo apt install libc6-dev-i386

Installieren Sie die Clang 16+-Toolchain:

 sudo apt install build-essential
sudo apt install pkg-config
sudo apt install clang-16*
sudo apt install llvm-16*
sudo ln -s /usr/bin/clang-16 /usr/bin/clang
sudo ln -s /usr/bin/llvm-strip-16 /usr/bin/llvm-strip

Installieren Sie den nfpm-Linux-Packager:

 echo 'deb [trusted=yes] https://repo.goreleaser.com/apt/
      /' | sudo tee /etc/apt/sources.list.d/goreleaser.list
sudo apt update
sudo apt install nfpm

Redhat-basiert (Amazon Linux, Fedora)

Bibliotheken installieren:

 sudo yum install zlib-devel
sudo yum install elfutils-libelf-devel
sudo yum install libcap-devel
sudo yum install binutils-devel
sudo yum install glibc-devel.i386 or .i686

Installieren Sie die Clang 16+-Toolchain:

 sudo yum groupinstall 'Development Tools'
sudo yum install pkgconfig
sudo yum install clang*
sudo yum install llvm*

Installieren Sie den nfpm-Linux-Packager:

 echo '[goreleaser]
      name=GoReleaser
      baseurl=https://repo.goreleaser.com/yum/
      enabled=1
      gpgcheck=0' | sudo tee /etc/yum.repos.d/goreleaser.repo
sudo yum install nfpm

Bauanleitung

 git clone https://github.com/tarsal-oss/kflowd.git
cd kflowd
git submodule update --init --recursive
cd src
make
make rpm deb

Installationsanweisungen

Pakete können auf Linux x86_64- und arm64-basierten Plattformen installiert werden:

Debian

 sudo apt install ./kflowd_x.x.x_amd64.deb
sudo apt install ./kflowd_x.x.x_arm64.deb

Redhat

 sudo yum install ./kflowd-x.x.x.x86_64.rpm
sudo yum install ./kflowd-x.x.x.aarch64.rpm

Beachten Sie, dass Build-Artefakte unter GitHub-Aktionen im Abschnitt „Artefakte“ des kflowd-ci-Workflows heruntergeladen werden können, der mit Binärdateien und Paketen ausgeführt wird, die sowohl für x86_64- als auch für arm64-Plattformen kompatibel sind (glibc 2.31+):
Vorgefertigte Binärdateien, RPM- und DEB-Pakete (komprimiert)

Lizenz

Dieses Werk ist unter der GNU General Public License v2.0 lizenziert.

 SPDX-License-Identifier: GPL-2.0

Danksagungen

libbpf+CO-RE: Andrii Nakryikos Blog, BPF CO-RE Referenzhandbuch
eBPF-Ablaufverfolgung: Brendan Gregg, Linux Extended BPF (eBPF) Ablaufverfolgungstools
SHA256: Cgminer (Bitcoin-Mining-Projekt), schnelle SHA256-Implementierung
MD5: RSA Data Security, MD5 Message-Digest-Algorithmus

Expandieren

Zusätzliche Informationen