duplicut

Duplicut ✂️

Deduplizieren Sie schnell riesige Wortlisten, ohne die Reihenfolge zu ändern

_{Erstellt von nil0x42 und Mitwirkenden}

---

Überblick

Heutzutage erfordert die Erstellung einer Passwort-Wortliste normalerweise die Verknüpfung mehrerer Datenquellen.

Idealerweise sollten die wahrscheinlichsten Passwörter am Anfang der Wortliste stehen, sodass die häufigsten Passwörter sofort geknackt werden.

Bei vorhandenen Deduplizierungstools müssen Sie sich entscheiden, ob Sie lieber die Reihenfolge beibehalten ODER mit riesigen Wortlisten umgehen möchten.

Leider erfordert die Erstellung einer Wortliste beides :

Also habe ich Duplicut in hochoptimiertem C geschrieben, um diesem ganz speziellen Bedarf gerecht zu werden?

---

Schnellstart

git clone https://github.com/nil0x42/duplicut
cd duplicut/ && make
./duplicut wordlist.txt -o clean-wordlist.txt

? Optionen

• Merkmale :

  • Bewältigen Sie umfangreiche Wortlisten, selbst solche, deren Größe den verfügbaren RAM übersteigt
  • Zeilen nach maximaler Länge filtern (Option -l )
  • Kann Zeilen entfernen, die nicht druckbare ASCII-Zeichen enthalten (Option -p )
  • Drücken Sie eine beliebige Taste, um den Programmstatus zur Laufzeit anzuzeigen.

• Umsetzung :

  • In reinem C-Code geschrieben, auf Schnelligkeit ausgelegt
  • Komprimierte Hashmap-Elemente auf 64-Bit-Plattformen
  • Multithreading-Unterstützung

• Einschränkungen :

  • Jede Zeile mit mehr als 255 Zeichen wird ignoriert

Technische Details

? 1- Speicheroptimiert:

Ein uint64 reicht aus, um Zeilen in der Hashmap zu indizieren, indem size in die zusätzlichen Bits des Zeigers gepackt werden:

? 2- Umfangreiche Dateiverwaltung:

Wenn die gesamte Datei nicht in den Speicher passt, wird sie in virtuelle Blöcke aufgeteilt, sodass jeder Block so viel RAM wie möglich beansprucht.

Jeder Chunk wird dann in die Hashmap geladen, dedupliziert und mit nachfolgenden Chunks verglichen.

Auf diese Weise verkürzt sich die Ausführungszeit auf höchstens die Dreieckszahl :

Problemlösung

Wenn Sie einen Fehler finden oder etwas nicht wie erwartet funktioniert, kompilieren Sie duplicut bitte im Debug-Modus und posten Sie ein Problem mit angehängter Ausgabe:

 # debug level can be from 1 to 4
make debug level=1
./duplicut [OPTIONS] 2>&1 | tee /tmp/duplicut-debug.log