duplicut

Duplicado ✂️

Deduplica rápidamente listas de palabras masivas, sin cambiar el orden

_{Creado por nil0x42 y colaboradores}

---

Descripción general

Hoy en día, la creación de listas de palabras de contraseñas suele implicar la concatenación de múltiples fuentes de datos.

Idealmente, las contraseñas más probables deberían estar al comienzo de la lista de palabras, de modo que las contraseñas más comunes se descifren instantáneamente.

Con las herramientas de deduplicación existentes, se ve obligado a elegir si prefiere conservar el orden O manejar listas de palabras masivas .

Desafortunadamente, la creación de una lista de palabras requiere ambos :

Entonces, ¿escribí duplicut en C altamente optimizado para abordar esta necesidad tan específica?

---

Inicio rápido

git clone https://github.com/nil0x42/duplicut
cd duplicut/ && make
./duplicut wordlist.txt -o clean-wordlist.txt

? Opciones

• Características :

  • Maneje listas de palabras masivas, incluso aquellas cuyo tamaño exceda la RAM disponible
  • Filtrar líneas por longitud máxima (opción -l )
  • Puede eliminar líneas que contengan caracteres ASCII no imprimibles (opción -p )
  • Presione cualquier tecla para mostrar el estado del programa en tiempo de ejecución.

• Implementación :

  • Escrito en código C puro, diseñado para ser rápido
  • Elementos de hashmap comprimidos en plataformas de 64 bits
  • Soporte de subprocesos múltiples

• Limitaciones :

  • Se ignora cualquier línea de más de 255 caracteres.

Detalles técnicos

? 1- Memoria optimizada:

Un uint64 es suficiente para indexar líneas en hashmap, empaquetando información size dentro de los bits adicionales del puntero:

? 2- Manejo masivo de archivos:

Si el archivo completo no cabe en la memoria, se divide en fragmentos virtuales, de tal manera que cada fragmento utilice tanta RAM como sea posible.

Luego, cada fragmento se carga en hashmap, se deduplica y se prueba con fragmentos posteriores.

De esta manera, el tiempo de ejecución disminuye como máximo hasta el número del triángulo :

solución de problemas

Si encuentra un error o algo no funciona como se esperaba, compile duplicut en modo de depuración y publique un problema con el resultado adjunto:

 # debug level can be from 1 to 4
make debug level=1
./duplicut [OPTIONS] 2>&1 | tee /tmp/duplicut-debug.log