Dark TRACER

Visão geral

Este repositório contém a implementação R do Dark-TRACER, uma estrutura para detecção precoce de anomalias em atividades de malware. Foi apresentado no artigo a seguir. Consulte o PDF e os slides para obter detalhes. Além disso, o conjunto de dados usado no artigo está disponível publicamente.

C. Han , J. Takeuchi, T. Takahashi e D. Inoue, '' Dark-TRACER : Estrutura de detecção precoce para atividades de malware com base em padrões espaço-temporais anômalos,'' IEEE ACCESS , 2022. [DOI] [PDF] [Relacionado Slides] [Conjuntos de dados] [Códigos]

O que é Dark-TRACER?

Dark-TRACER é uma estrutura para detecção precoce de anomalias em atividades de malware, estimando a sincronização de padrões espaço-temporais observados no tráfego da darknet, aproveitando três métodos de aprendizado de máquina. Consiste nos seguintes três módulos

• Dark-GLASSO: utiliza o Graphical Lasso, um algoritmo de aprendizagem de estrutura esparsa
• Dark-NMF: utiliza a fatoração de matriz não negativa (NMF)
• Dark-NTD: utiliza a decomposição de Tucker não negativa (NTD)

A darknet é o espaço de endereço IP não utilizado da Internet e é uma rede de observação onde a maior parte do tráfego observado são comunicações maliciosas. É útil para compreender as tendências globais de ataques cibernéticos. A darknet também é conhecida como telescópio de rede e não deve ser confundida com a dark web, como o Tor.

---

Módulos

Formato de dados de entrada

Motor	Formato de dados de entrada
Vidro escuro	dados de texto
Escuro-NMF	dados de texto
Escuro-NTD	dados pcap
Localizador de alterações	dados de texto

ChangeFinder é um método convencional e foi utilizado no artigo para avaliação comparativa.

---

Código fonte (R)

Motor	Código fonte
Vidro escuro	online_portinfo.r / online_portinfo.r
Escuro-NMF	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
Escuro-NTD	online_script.R
Localizador de alterações	2021_cpd.ipynb

---

Procedimentos de processamento para cada módulo

DarkTRACER_online.sh

• Dark-GLASSO, Dark-NMF e Dark-NTD podem ser processados ​​juntos neste script de shell.
  • O período é especificado por START e END, e os cálculos são realizados sequencialmente em intervalos de nextwindow_interval.
• Até a linha 180, o processo de preparação dos dados de entrada para cada módulo a partir dos dados PCAP da darknet.
  • Às vezes, os dados de entrada estão vazios ou não são longos o suficiente, por isso são verificados.
  • Dark-GLASSO usa 10 minutos de dados de entrada, enquanto Dark-NMF e Dark-NTD usam 30 minutos.
• Se você processou dados CSV em vez de PCAP, crie o formato de dados de entrada de CSV de acordo com o módulo.
  • Para Dark-GLASSO, tcpdump na linha 113, e para Dark-NMF, tcpdump na linha 169 produzirá dados de texto. Estes são os dados de entrada.
  • Para Dark-NTD, PCAP são os dados de entrada (linha 174). O formato dos dados de entrada deve ser criado a partir de CSV observando o código-fonte do Dark-NTD.
• A parte de execução de cada módulo começa na linha 180.

---

Vidro escuro

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF (sem sincronização computacional de recursos espaciais de porta)

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF (com computação de sincronização de recursos espaciais portuários)

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

Escuro-NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

Localizador de alterações

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

Notas

• Como etapa de pré-processamento, os números de porta de destino com um grande número de hosts e pacotes exclusivos são identificados e excluídos.
  • Deixamos a definição do período e o método de julgamento para você.
  • Além disso, os números de porta frequentemente obtidos por alertas podem ser considerados como números de porta que não são mais de interesse, portanto podem ser excluídos.
  • Razões para pré-processamento para excluir números de porta:
    • Ao excluir pacotes com números de portas desinteressantes, espera-se que outros números de portas que não tenham chamado a atenção sejam destacados.
• Certifique-se de que não haja discrepância de tempo. O fuso horário no servidor que você está experimentando pode precisar ser "Ásia/Tóquio".