Dark TRACER

Обзор

Этот репозиторий содержит реализацию Dark-TRACER на языке R — инфраструктуру для раннего обнаружения аномалий в действиях вредоносных программ. Оно было представлено в следующей статье. Подробную информацию см. в PDF-файле и слайдах. Кроме того, набор данных, использованный в статье, общедоступен.

К. Хан , Дж. Такеучи, Т. Такахаши и Д. Иноуэ, « Dark-TRACER : Система раннего обнаружения активности вредоносных программ на основе аномальных пространственно-временных закономерностей», IEEE ACCESS , 2022. [DOI] [PDF] [Связанные материалы] Слайды] [Наборы данных] [Коды]

Что такое Дарк-ТРЕЙСЕР?

Dark-TRACER — это платформа для раннего обнаружения аномалий в действиях вредоносных программ путем оценки синхронизации пространственно-временных закономерностей, наблюдаемых в трафике даркнета, с использованием трех методов машинного обучения. Он состоит из следующих трех модулей

• Dark-GLASSO: использует Graphical Lasso, алгоритм обучения с разреженной структурой.
• Dark-NMF: использует неотрицательную матричную факторизацию (NMF).
• Dark-NTD: использует неотрицательное разложение Такера (NTD).

Даркнет — это неиспользуемое пространство IP-адресов Интернета и сеть наблюдения, где большая часть наблюдаемого трафика представляет собой вредоносные сообщения. Это полезно для понимания глобальных тенденций кибератак. Даркнет также известен как сетевой телескоп, и его не следует путать с даркнетом, таким как Tor.

---

Модули

Формат входных данных

Двигатель	Формат входных данных
Темный-GLASSO	текстовые данные
Дарк-НМФ	текстовые данные
Темный-NTD	данные PCAP
Искатель изменений	текстовые данные

ChangeFinder — это традиционный метод, который использовался в статье для сравнительной оценки.

---

Исходный код (R)

Двигатель	Исходный код
Темный-GLASSO	online_portinfo.r / online_portinfo.r
Дарк-НМФ	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
Темный-NTD	online_script.R
Искатель изменений	2021_cpd.ipynb

---

Процедуры обработки для каждого модуля

DarkTRACER_online.sh

• Dark-GLASSO, Dark-NMF и Dark-NTD могут обрабатываться вместе в этом сценарии оболочки.
  • Период задается параметрами START и END, а вычисления выполняются последовательно с интервалом nextwindow_interval.
• Вплоть до строки 180 идет процесс подготовки входных данных для каждого модуля из данных PCAP даркнета.
  • Иногда входные данные пусты или недостаточно длинны, поэтому их проверяют.
  • Dark-GLASSO использует 10 минут входных данных, а Dark-NMF и Dark-NTD — 30 минут.
• Если вы обрабатывали данные CSV вместо PCAP, создайте формат входных данных из CSV в соответствии с модулем.
  • Для Dark-GLASSO tcpdump в строке 113, а для Dark-NMF tcpdump в строке 169 создаст текстовые данные. Это входные данные.
  • Для Dark-NTD входными данными являются PCAP (строка 174). Формат входных данных необходимо создать из CSV, просмотрев исходный код Dark-NTD.
• Исполняющая часть каждого модуля начинается со строки 180.

---

Темный-GLASSO

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF (без вычислительной синхронизации пространственных характеристик порта)

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF (с синхронным вычислением пространственных характеристик порта)

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

Темный-NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

Искатель изменений

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

Примечания

• На этапе предварительной обработки идентифицируются и исключаются номера портов назначения с большим количеством уникальных хостов и пакетов.
  • Мы оставляем вам выбор периода и метод оценки.
  • Кроме того, номера портов, часто получаемые с помощью предупреждений, можно рассматривать как номера портов, которые больше не представляют интереса, поэтому их можно исключить.
  • Причины предварительной обработки для исключения номеров портов:
    • Исключая пакеты с неинтересными номерами портов, ожидается, что будут выделены другие номера портов, не привлекшие внимания.
• Убедитесь, что нет расхождений во времени. Часовой пояс на сервере, с которым вы экспериментируете, возможно, должен быть «Азия/Токио».