Dark TRACER

Überblick

Dieses Repository enthält die R-Implementierung von Dark-TRACER, einem Framework zur Früherkennung von Anomalien bei Malware-Aktivitäten. Es wurde im folgenden Papier vorgestellt. Einzelheiten entnehmen Sie bitte dem PDF und den Folien. Außerdem ist der in der Arbeit verwendete Datensatz öffentlich verfügbar.

C. Han , J. Takeuchi, T. Takahashi und D. Inoue, „ Dark-TRACER : Early Detection Framework for Malware Activity Based on Anomalous Spatiotemporal Patterns“, IEEE ACCESS , 2022. [DOI] [PDF] [Related Folien] [Datensätze] [Codes]

Was ist Dark-TRACER?

Dark-TRACER ist ein Framework zur Früherkennung von Anomalien bei Malware-Aktivitäten, indem es die Synchronisation räumlich-zeitlicher Muster schätzt, die im Darknet-Verkehr beobachtet werden, und dabei drei Methoden des maschinellen Lernens nutzt. Es besteht aus den folgenden drei Modulen

• Dark-GLASSO: nutzt das Graphical Lasso, einen Lernalgorithmus mit dünner Struktur
• Dark-NMF: nutzt die nicht-negative Matrixfaktorisierung (NMF)
• Dark-NTD: nutzt die nicht-negative Tucker-Zerlegung (NTD)

Das Darknet ist der ungenutzte IP-Adressraum des Internets und ein Beobachtungsnetzwerk, in dem es sich bei dem beobachteten Datenverkehr zumeist um böswillige Kommunikation handelt. Es ist nützlich, um globale Cyber-Angriffstrends zu verstehen. Das Darknet wird auch als Netzwerkteleskop bezeichnet und sollte nicht mit dem Dark Web, wie beispielsweise Tor, verwechselt werden.

---

Module

Eingabedatenformat

Motor	Eingabedatenformat
Dunkel-GLAS	Textdaten
Dunkel-NMF	Textdaten
Dark-NTD	pcap-Daten
ChangeFinder	Textdaten

ChangeFinder ist eine konventionelle Methode und wurde in der Arbeit zur vergleichenden Bewertung verwendet.

---

Quellcode (R)

Motor	Quellcode
Dunkel-GLAS	online_portinfo.r / online_portinfo.r
Dunkel-NMF	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
Dark-NTD	online_script.R
ChangeFinder	2021_cpd.ipynb

---

Verarbeitungsverfahren für jedes Modul

DarkTRACER_online.sh

• Dark-GLASSO, Dark-NMF und Dark-NTD können alle gemeinsam in diesem Shell-Skript verarbeitet werden.
  • Der Zeitraum wird durch START und END angegeben und die Berechnungen werden nacheinander in Intervallen von nextwindow_interval durchgeführt.
• Bis Zeile 180 der Prozess der Aufbereitung der Eingabedaten für jedes Modul aus den Darknet-PCAP-Daten.
  • Manchmal sind die Eingabedaten leer oder nicht lang genug und werden daher überprüft.
  • Dark-GLASSO verwendet 10 Minuten Eingabedaten, während Dark-NMF und Dark-NTD 30 Minuten verwenden.
• Wenn Sie CSV-Daten anstelle von PCAP verarbeitet haben, erstellen Sie bitte das Eingabedatenformat aus CSV entsprechend dem Modul.
  • Für Dark-GLASSO erzeugt tcpdump in Zeile 113 und für Dark-NMF tcpdump in Zeile 169 Textdaten. Dies sind die Eingabedaten.
  • Für Dark-NTD sind PCAP die Eingabedaten (Zeile 174). Das Eingabedatenformat muss anhand des Dark-NTD-Quellcodes aus CSV erstellt werden.
• Der Ausführungsteil jedes Moduls beginnt in Zeile 180.

---

Dunkel-GLAS

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF (ohne Berechnung der Synchronisierung räumlicher Portmerkmale)

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF (mit Synchronisationsberechnung der räumlichen Merkmale des Hafens)

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

Dark-NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

ChangeFinder

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

Notizen

• Als Vorverarbeitungsschritt werden Zielportnummern mit einer großen Anzahl eindeutiger Hosts und Pakete identifiziert und ausgeschlossen.
  • Die Fristsetzung und Beurteilungsmethode überlassen wir Ihnen.
  • Außerdem können Portnummern, die häufig durch Warnungen ermittelt werden, als Portnummern betrachtet werden, die nicht mehr von Interesse sind, sodass sie ausgeschlossen werden können.
  • Gründe für die Vorverarbeitung zum Ausschluss von Portnummern:
    • Durch den Ausschluss von Paketen mit uninteressanten Portnummern wird erwartet, dass andere Portnummern, die keine Aufmerksamkeit erregt haben, hervorgehoben werden.
• Stellen Sie sicher, dass es keine Zeitdiskrepanz gibt. Die Zeitzone auf dem Server, mit dem Sie experimentieren, muss möglicherweise „Asien/Tokio“ sein.