find duplicates

find duplicates

Outro código-fonte

1.0.0

Baixar

`find-duplicates`

find-duplicates encontra arquivos duplicados rapidamente com base nos xxHashes de seu conteúdo.

Instalação

$ go install github.com/twpayne/find-duplicates@latest

Exemplo

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
}

Uso

 find-duplicates [options] [paths...]

paths são diretórios para percorrer recursivamente. Se nenhum paths for fornecido, o diretório atual será percorrido.

A saída é um objeto JSON com propriedades para cada xxHash observado e matrizes de valores de nomes de arquivos com conteúdo desse xxHash.

As opções são:

--keep-going ou -k continua após erros.

--output=<file> ou -o <file> grava a saída em <file> , o padrão é stdout.

--threshold=<int> ou -t <int> define o número mínimo de arquivos com o mesmo conteúdo para serem considerados duplicados. O padrão é 2.

--statistics ou -s imprime estatísticas em stderr.

Como funciona `find-duplicates` ?

find-duplicates pretende ser o mais rápido possível, realizando o mínimo de trabalho possível, usando cada núcleo da CPU de forma eficiente e usando todos os núcleos da CPU em sua máquina.

Consiste em vários componentes:

Primeiramente, ele percorre o sistema de arquivos simultaneamente, gerando uma goroutine por subdiretório.
Em segundo lugar, observando que os arquivos só podem ser duplicados se forem do mesmo tamanho, ele só lê o conteúdo do arquivo depois de encontrar mais de um arquivo do mesmo tamanho. Isso reduz significativamente o número de syscalls e a quantidade de dados lidos. Além disso, como o tempo de execução mais curto possível é o tempo necessário para ler o arquivo maior, arquivos maiores são lidos mais cedo.
Em terceiro lugar, o conteúdo dos arquivos é criptografado com um hash rápido e não criptográfico.

Todos os componentes são executados simultaneamente.