Dark TRACER

概述

该存储库包含 Dark-TRACER 的 R 实现，这是一个用于恶意软件活动早期异常检测的框架。它在以下论文中进行了介绍。详情请参阅 PDF 和幻灯片。此外，论文中使用的数据集是公开的。

C. Han 、J. Takeuchi、T. Takahashi 和 D. Inoue，“ Dark-TRACER ：基于异常时空模式的恶意软件活动早期检测框架”， IEEE ACCESS ，2022 年。[DOI] [PDF] [相关幻灯片] [数据集] [代码]

什么是黑暗示踪剂？

Dark-TRACER 是一个通过利用三种机器学习方法估计在暗网流量中观察到的时空模式的同步来对恶意软件活动进行早期异常检测的框架。它由以下三个模块组成

• Dark-GLASSO：利用图形套索，一种稀疏结构学习算法
• Dark-NMF：利用非负矩阵分解 (NMF)
• Dark-NTD：利用非负 Tucker 分解 (NTD)

暗网是互联网未使用的IP地址空间，是一个观察网络，其中大多数观察到的流量都是恶意通信。它对于了解全球网络攻击趋势很有用。暗网也称为网络望远镜，不应与 Tor 等暗网混淆。

---

模块

输入数据格式

引擎	输入数据格式
深色GLASSO	文本数据
暗-NMF	文本数据
暗NTD	粒子电容数据
变更查找器	文本数据

ChangeFinder是一种常规方法，论文中使用该方法进行比较评估。

---

源代码（R）

引擎	源代码
深色GLASSO	online_portinfo.r / online_portinfo.r
暗-NMF	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
暗NTD	在线脚本.R
变更查找器	2021_cpd.ipynb

---

各模块的处理流程

DarkTRACER_online.sh

• Dark-GLASSO、Dark-NMF 和 Dark-NTD 都可以在此 shell 脚本中一起处理。
  • 周期由START和END指定，以nextwindow_interval为间隔依次进行计算。
• 直到第 180 行，从暗网 PCAP 数据为每个模块准备输入数据的过程。
  • 有时输入数据为空或不够长，因此进行检查。
  • Dark-GLASSO 使用 10 分钟的输入数据，而 Dark-NMF 和 Dark-NTD 使用 30 分钟。
• 如果您处理的是 CSV 数据而不是 PCAP，请根据模块从 CSV 创建输入数据格式。
  • 对于 Dark-GLASSO，第 113 行的 tcpdump，对于 Dark-NMF，第 169 行的 tcpdump 将生成文本数据。这是输入数据。
  • 对于 Dark-NTD，PCAP 是输入数据（第 174 行）。输入数据格式必须通过查看 Dark-NTD 源代码从 CSV 创建。
• 每个模块的执行部分从第180行开始。

---

深色GLASSO

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF（不计算端口空间特征同步）

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF（具有端口空间特征的同步计算）

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

暗NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

变更查找器

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

笔记

• 作为预处理步骤，具有大量唯一主机和数据包的目标端口号被识别并排除。
  • 我们把周期的设定和判断方法留给您。
  • 另外，警报频繁获取的端口号可以被视为不再感兴趣的端口号，因此可以将其排除。
  • 预处理排除端口号的原因：
    • 通过排除具有不感兴趣的端口号的数据包，预计其他未引起注意的端口号将被突出显示。
• 确保没有时间差异。您正在试验的服务器上的时区可能需要是“亚洲/东京”。