Dark TRACER

Aperçu

Ce référentiel contient l'implémentation R de Dark-TRACER, un framework pour la détection précoce des anomalies des activités de logiciels malveillants. Il a été présenté dans le document suivant. Veuillez vous référer au PDF et aux diapositives pour plus de détails. En outre, l'ensemble de données utilisé dans le document est accessible au public.

C. Han , J. Takeuchi, T. Takahashi et D. Inoue, '' Dark-TRACER : Early Detection Framework for Malware Activity Based on Anomalous Spatiotemporal Patterns,'' IEEE ACCESS , 2022. [DOI] [PDF] [Connexe Diapositives] [Ensembles de données] [Codes]

Qu’est-ce que Dark-TRACER ?

Dark-TRACER est un cadre de détection précoce des anomalies des activités de logiciels malveillants en estimant la synchronisation des modèles spatio-temporels observés dans le trafic du darknet en tirant parti de trois méthodes d'apprentissage automatique. Il se compose des trois modules suivants

• Dark-GLASSO : utilise le Graphical Lasso, un algorithme d'apprentissage de structure clairsemée
• Dark-NMF : utilise la factorisation matricielle non négative (NMF)
• Dark-NTD : utilise la décomposition non négative de Tucker (NTD)

Le darknet est l’espace d’adressage IP inutilisé d’Internet et constitue un réseau d’observation où la plupart du trafic observé est constitué de communications malveillantes. Il est utile pour comprendre les tendances mondiales en matière de cyberattaques. Le darknet est également connu sous le nom de télescope de réseau et ne doit pas être confondu avec le dark web, tel que Tor.

---

Modules

Format des données d'entrée

Moteur	Format des données d'entrée
Foncé-GLASSO	données texte
Sombre-NMF	données texte
Sombre-NTD	données pcap
Outil de recherche de changements	données texte

ChangeFinder est une méthode conventionnelle et a été utilisée dans le document à des fins d’évaluation comparative.

---

Code source (R)

Moteur	Code source
Foncé-GLASSO	online_portinfo.r / online_portinfo.r
Sombre-NMF	DarkNMF.r / DarkNMF_alertonly.r / DarkNMF-port.r / DarkNMF-port_alertonly.r
Sombre-NTD	script_en ligne.R
Outil de recherche de changements	2021_cpd.ipynb

---

Procédures de traitement pour chaque module

DarkTRACER_online.sh

• Dark-GLASSO, Dark-NMF et Dark-NTD peuvent tous être traités ensemble dans ce script shell.
  • La période est spécifiée par START et END, et les calculs sont effectués séquentiellement à intervalles de nextwindow_interval.
• Jusqu'à la ligne 180, le processus de préparation des données d'entrée pour chaque module à partir des données darknet PCAP.
  • Parfois, les données d'entrée sont vides ou pas assez longues, elles sont donc vérifiées.
  • Dark-GLASSO utilise 10 minutes de données d'entrée, tandis que Dark-NMF et Dark-NTD en utilisent 30 minutes.
• Si vous avez traité des données CSV au lieu de PCAP, veuillez créer le format de données d'entrée à partir de CSV en fonction du module.
  • Pour Dark-GLASSO, tcpdump à la ligne 113 et pour Dark-NMF, tcpdump à la ligne 169 produira des données texte. Ce sont les données d'entrée.
  • Pour Dark-NTD, PCAP correspond aux données d'entrée (ligne 174). Le format des données d'entrée doit être créé à partir de CSV en consultant le code source de Dark-NTD.
• La partie exécution de chaque module commence à la ligne 180.

---

Foncé-GLASSO

 1. If you have the result of the previous run, do the following. If not, do 2.
  1.1 Create ${output_filespace}density_old_${theta}
  1.2 Copy the previous results into
    $ cp -r ${data_filespace}sensor${ID}/${Lasttime_YEAR}${Lasttime_MONTH}/${Lasttime_YEAR}${Lasttime_MONTH}${Lasttime_DAY}/${Lasttime_TIME}/result_M12/density_${theta}/* ${output_filespace}density_old_${theta}/

2. run online_density.r
3. (number of density files) == 6 and RT_density file has no 0 bytes
  3.1 Run online_portinfo.r
4. delete input data from 6 days ago
5. when execution is finished, delete unnecessary files such as input data

Dark-NMF (sans synchronisation informatique des caractéristiques spatiales du port)

 1 Run DarkNMF.r
2 Run DarkNMF_alertonly.r
3 When execution is finished, delete unnecessary files such as input data.

Dark-NMF (avec calcul de synchronisation des caractéristiques spatiales du port)

 1 Create ${data_filespace}sensor${ID}/Anomaly_dstPort_list
2 portlist_file="${data_filespace}sensor${ID}/Anomaly_dstPort_list/${START_YEAR}${START_MONTH}_Anomaly_dstPort_list_ver${ver}.txt
3 Write 0 to portlist_file
4 Execute DarkNMF.r
5 Execution of DarkNMF_alertonly.r
6 When portlist_file is non-zero
  6.1 Execution of DarkNMF-port.r
  6.2 Execution of DarkNMF-port_alertonly.r
7 When execution is finished, delete unnecessary files such as input data.

Sombre-NTD

 1 Execution of online_script.
2 When execution is finished, delete unnecessary files such as input data.

Outil de recherche de changements

 It can be run from 2021_cpd.ipynb. (includes sample data)

---

Remarques

• Lors d'une étape de prétraitement, les numéros de port de destination comportant un grand nombre d'hôtes et de paquets uniques sont identifiés et exclus.
  • Nous vous laissons la détermination du délai et la méthode de jugement.
  • De plus, les numéros de ports fréquemment obtenus par les alertes peuvent être considérés comme des numéros de ports qui ne présentent plus d'intérêt et peuvent donc être exclus.
  • Raisons du prétraitement pour exclure les numéros de port :
    • En excluant les paquets avec des numéros de port sans intérêt, on s'attend à ce que d'autres numéros de port qui n'ont pas attiré l'attention soient mis en évidence.
• Assurez-vous qu’il n’y a pas de décalage horaire. Le fuseau horaire sur le serveur que vous expérimentez devra peut-être être « Asie/Tokyo ».