Dark TRACER

概述

該儲存庫包含 Dark-TRACER 的 R 實現，這是一個用於惡意軟體活動早期異常檢測的框架。它在以下論文中進行了介紹。詳情請參閱 PDF 和投影片。此外，論文中使用的資料集是公開的。

C. Han 、J. Takeuchi、T. Takahashi 和 D. Inoue，“ Dark-TRACER ：基於異常時空模式的惡意軟體活動早期檢測框架”， IEEE ACCESS ，2022 年。 ] [資料集] [程式碼]

什麼是黑暗示踪劑？

Dark-TRACER 是一個透過利用三種機器學習方法估計在暗網流量中觀察到的時空模式的同步來對惡意軟體活動進行早期異常檢測的框架。它由以下三個模組組成

• Dark-GLASSO：利用圖形套索，一種稀疏結構學習演算法
• Dark-NMF：利用非負矩陣分解 (NMF)
• Dark-NTD：利用非負 Tucker 分解 (NTD)

暗網是互聯網未使用的IP位址空間，是一個觀察網絡，其中大多數觀察到的流量都是惡意通訊。它對於了解全球網路攻擊趨勢很有用。暗網也稱為網路望遠鏡，不應與 Tor 等暗網混淆。

---

模組

輸入資料格式

引擎	輸入資料格式
深色GLASSO	文字數據
暗-NMF	文字數據
暗NTD	粒子電容數據
變更查找器	文字數據

ChangeFinder是一種常規方法，論文中使用該方法進行比較評估。

---

原始碼（R）

引擎	原始碼
深色GLASSO	online_portinfo.r / online_portinfo.r
暗-NMF	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
暗NTD	線上腳本.R
變更查找器	2021_cpd.ipynb

---

各模組的處理流程

DarkTRACER_online.sh

• Dark-GLASSO、Dark-NMF 和 Dark-NTD 都可以在此 shell 腳本中一起處理。
  • 週期由START和END指定，以nextwindow_interval為間隔依序進行計算。
• 直到第 180 行，從暗網 PCAP 資料為每個模組準備輸入資料的過程。
  • 有時輸入資料為空或不夠長，因此進行檢查。
  • Dark-GLASSO 使用 10 分鐘的輸入數據，而 Dark-NMF 和 Dark-NTD 使用 30 分鐘。
• 如果您處理的是 CSV 資料而不是 PCAP，請根據模組從 CSV 建立輸入資料格式。
  • 對於 Dark-GLASSO，第 113 行的 tcpdump，對於 Dark-NMF，第 169 行的 tcpdump 將產生文字資料。這是輸入資料。
  • 對於 Dark-NTD，PCAP 是輸入資料（第 174 行）。輸入資料格式必須透過查看 Dark-NTD 原始碼從 CSV 建立。
• 每個模組的執行部分從第180行開始。

---

深色GLASSO

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF（不計算連接埠空間特徵同步）

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF（具有連接埠空間特徵的同步計算）

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

暗NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

變更查找器

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

筆記

• 作為預處理步驟，識別並排除具有大量唯一主機和資料包的目標連接埠號碼。
  • 我們把週期的設定和判斷方法留給您。
  • 另外，警報頻繁取得的連接埠號碼可以被視為不再感興趣的連接埠號，因此可以將其排除。
  • 預處理排除連接埠號碼的原因：
    • 透過排除具有不感興趣的連接埠號碼的資料包，預計其他未引起注意的連接埠號碼將被突出顯示。
• 確保沒有時間差異。您正在試驗的伺服器上的時區可能需要是“亞洲/東京”。