find duplicates

find-duplicates

find-duplicates encuentra archivos duplicados rápidamente basándose en los xxHashes de su contenido.

Instalación

$ go install github.com/twpayne/find-duplicates@latest 

Ejemplo

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
} 

Uso

 find-duplicates [options] [paths...]

paths son directorios para recorrer de forma recursiva. Si no se proporcionan paths , se recorre el directorio actual.

La salida es un objeto JSON con propiedades para cada xxHash observado y matrices de valores de nombres de archivos con contenido con ese xxHash.

Las opciones son:

--keep-going o -k continuar después de errores.

--output=<file> o -o <file> escribe la salida en <file> , el valor predeterminado es stdout.

--threshold=<int> o -t <int> establece el número mínimo de archivos con el mismo contenido que se considerarán duplicados. El valor predeterminado es 2.

--statistics o -s imprime estadísticas en stderr.

¿Cómo funciona find-duplicates ?

find-duplicates pretende ser lo más rápido posible haciendo el menor trabajo posible, utilizando cada núcleo de CPU de manera eficiente y utilizando todos los núcleos de CPU de su máquina.

Consta de múltiples componentes:

1. En primer lugar, recorre el sistema de archivos simultáneamente, generando una rutina por subdirectorio.
2. En segundo lugar, con la observación de que los archivos sólo pueden duplicarse si tienen el mismo tamaño, sólo lee el contenido del archivo una vez que ha encontrado más de un archivo con el mismo tamaño. Esto reduce significativamente tanto la cantidad de llamadas al sistema como la cantidad de datos leídos. Además, como el tiempo de ejecución más corto posible es el que se tarda en leer el archivo más grande, los archivos más grandes se leen antes.
3. En tercer lugar, el contenido de los archivos se procesa mediante un hash rápido y no criptográfico.

Todos los componentes se ejecutan simultáneamente.

Medios de comunicación

• "Encontrar archivos duplicados increíblemente rápido: un pequeño proyecto CLI que utiliza la concurrencia de Go", charla de Zürich Gophers.

Licencia

MIT