Dark TRACER

Ringkasan

Repositori ini berisi implementasi R dari Dark-TRACER, sebuah kerangka kerja untuk deteksi anomali awal aktivitas malware. Hal itu disampaikan pada makalah berikut ini. Silakan merujuk ke PDF dan slide untuk detailnya. Selain itu, kumpulan data yang digunakan dalam makalah ini tersedia untuk umum.

C. Han , J. Takeuchi, T. Takahashi, dan D. Inoue, '' Dark-TRACER : Kerangka Deteksi Dini untuk Aktivitas Malware Berdasarkan Pola Spatiotemporal Anomali,'' IEEE ACCESS , 2022. [DOI] [PDF] [Terkait Slide] [Kumpulan Data] [Kode]

Apa itu Dark-TRACER?

Dark-TRACER adalah kerangka kerja untuk deteksi dini anomali aktivitas malware dengan memperkirakan sinkronisasi pola spatiotemporal yang diamati dalam lalu lintas darknet yang memanfaatkan tiga metode pembelajaran mesin. Ini terdiri dari tiga modul berikut

• Dark-GLASSO: menggunakan Graphical Lasso, algoritma pembelajaran struktur renggang
• Dark-NMF: menggunakan faktorisasi matriks non-negatif (NMF)
• Dark-NTD: menggunakan dekomposisi Tucker non-negatif (NTD)

Darknet adalah ruang alamat IP Internet yang tidak terpakai, dan merupakan jaringan observasi di mana sebagian besar lalu lintas yang diamati adalah komunikasi berbahaya. Hal ini berguna untuk memahami tren serangan siber global. Darknet juga dikenal sebagai teleskop jaringan dan berbeda dengan web gelap, seperti Tor.

---

Modul

Format data masukan

Mesin	Format data masukan
GLASSO Gelap	data teks
Gelap-NMF	data teks
Gelap-NTD	data pcap
Pencari Perubahan	data teks

ChangeFinder adalah metode konvensional dan digunakan dalam makalah ini untuk evaluasi komparatif.

---

Kode sumber (kanan)

Mesin	Kode sumber
GLASSO Gelap	online_portinfo.r / online_portinfo.r
Gelap-NMF	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
Gelap-NTD	skrip_online.R
Pencari Perubahan	2021_cpd.ipynb

---

Prosedur Pemrosesan untuk Setiap Modul

GelapTRACER_online.sh

• Dark-GLASSO, Dark-NMF, dan Dark-NTD semuanya dapat diproses bersama dalam skrip shell ini.
  • Periode ditentukan oleh START dan END, dan perhitungan dilakukan secara berurutan pada interval nextwindow_interval.
• Sampai dengan baris 180, proses penyiapan data masukan setiap modul dari data PCAP darknet.
  • Terkadang data yang diinput kosong atau kurang panjang sehingga dicentang.
  • Dark-GLASSO menggunakan 10 menit input data, sedangkan Dark-NMF dan Dark-NTD menggunakan 30 menit.
• Jika Anda sudah mengolah data CSV bukan PCAP, silahkan buat format input data dari CSV sesuai modul.
  • Untuk Dark-GLASSO, tcpdump pada baris 113, dan untuk Dark-NMF, tcpdump pada baris 169 akan menghasilkan data teks. Ini adalah data masukannya.
  • Untuk Dark-NTD, PCAP adalah data masukan (baris 174). Format data inputnya harus dibuat dari CSV dengan melihat source code Dark-NTD.
• Bagian eksekusi setiap modul dimulai pada baris 180.

---

GLASSO Gelap

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF (tanpa sinkronisasi komputasi fitur spasial port)

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF (dengan komputasi sinkronisasi fitur spasial port)

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

Gelap-NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

Pencari Perubahan

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

Catatan

• Sebagai langkah prapemrosesan, nomor port tujuan dengan sejumlah besar host dan paket unik diidentifikasi dan dikecualikan.
  • Kami menyerahkan pengaturan periode dan metode penilaian kepada Anda.
  • Selain itu, nomor port yang sering diperoleh peringatan dapat dianggap sebagai nomor port yang tidak lagi diminati, sehingga dapat dikecualikan.
  • Alasan prapemrosesan untuk mengecualikan nomor port:
    • Dengan mengecualikan paket dengan nomor port yang tidak menarik, diharapkan nomor port lain yang belum menarik perhatian akan tersorot.
• Pastikan tidak ada perbedaan waktu. TimeZone di server yang Anda uji mungkin harus "Asia/Tokyo".