Dark TRACER

Descripción general

Este repositorio contiene la implementación R de Dark-TRACER, un marco para la detección temprana de anomalías en actividades de malware. Fue presentado en el siguiente artículo. Consulte el PDF y las diapositivas para obtener más detalles. Además, el conjunto de datos utilizado en el artículo está disponible públicamente.

C. Han , J. Takeuchi, T. Takahashi y D. Inoue, '' Dark-TRACER : marco de detección temprana de actividad de malware basado en patrones espaciotemporales anómalos'', IEEE ACCESS , 2022. [DOI] [PDF] [Relacionado Diapositivas] [Conjuntos de datos] [Códigos]

¿Qué es Dark-TRACER?

Dark-TRACER es un marco para la detección temprana de anomalías en actividades de malware mediante la estimación de la sincronización de patrones espaciotemporales observados en el tráfico de la red oscura aprovechando tres métodos de aprendizaje automático. Consta de los siguientes tres módulos.

• Dark-GLASSO: utiliza Graphical Lasso, un algoritmo de aprendizaje de estructura dispersa
• Dark-NMF: utiliza la factorización matricial no negativa (NMF)
• Dark-NTD: utiliza la descomposición de Tucker no negativa (NTD)

La red oscura es el espacio de direcciones IP no utilizado de Internet y es una red de observación donde la mayor parte del tráfico observado son comunicaciones maliciosas. Es útil para comprender las tendencias globales de los ciberataques. La red oscura también se conoce como telescopio de red y no debe confundirse con la red oscura, como Tor.

---

Módulos

Formato de datos de entrada

Motor	Formato de datos de entrada
VIDRIO oscuro	datos de texto
NMF oscuro	datos de texto
NTD oscuro	datos pcap
Buscador de cambios	datos de texto

ChangeFinder es un método convencional y se utilizó en el artículo para la evaluación comparativa.

---

Código fuente (R)

Motor	código fuente
VIDRIO oscuro	online_portinfo.r / online_portinfo.r
NMF oscuro	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
NTD oscuro	script_en línea.R
Buscador de cambios	2021_cpd.ipynb

---

Procedimientos de procesamiento para cada módulo

DarkTRACER_online.sh

• Dark-GLASSO, Dark-NMF y Dark-NTD se pueden procesar juntos en este script de shell.
  • El período se especifica mediante INICIO y FIN, y los cálculos se realizan secuencialmente a intervalos de nextwindow_interval.
• Hasta la línea 180, el proceso de preparación de los datos de entrada para cada módulo a partir de los datos PCAP de la red oscura.
  • A veces, los datos de entrada están vacíos o no son lo suficientemente largos, por lo que se verifican.
  • Dark-GLASSO utiliza 10 minutos de datos de entrada, mientras que Dark-NMF y Dark-NTD utilizan 30 minutos.
• Si ha procesado datos CSV en lugar de PCAP, cree el formato de datos de entrada desde CSV de acuerdo con el módulo.
  • Para Dark-GLASSO, tcpdump en la línea 113 y para Dark-NMF, tcpdump en la línea 169 producirá datos de texto. Estos son los datos de entrada.
  • Para Dark-NTD, PCAP son los datos de entrada (línea 174). El formato de datos de entrada debe crearse a partir de CSV consultando el código fuente de Dark-NTD.
• La parte de ejecución de cada módulo comienza en la línea 180.

---

VIDRIO oscuro

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF (sin sincronización informática de características espaciales del puerto)

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF (con cálculo de sincronización de características espaciales del puerto)

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

NTD oscuro

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

Buscador de cambios

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

Notas

• Como paso de preprocesamiento, se identifican y excluyen los números de puerto de destino con una gran cantidad de hosts y paquetes únicos.
  • Le dejamos a usted la fijación del período y el método de juicio.
  • Además, los números de puerto obtenidos con frecuencia mediante alertas pueden considerarse números de puerto que ya no son de interés, por lo que pueden excluirse.
  • Razones para el preprocesamiento para excluir números de puerto:
    • Al excluir paquetes con números de puerto poco interesantes, se espera que se destaquen otros números de puerto que no han llamado la atención.
• Asegúrese de que no haya discrepancia horaria. Es posible que la zona horaria del servidor con el que está experimentando deba ser "Asia/Tokio".