find duplicates Télécharger - find duplicates Télécharger le code source

find duplicates

Autre code source

1.0.0

Télécharger

`find-duplicates`

find-duplicates trouve rapidement les fichiers en double en fonction des xxHashes de leur contenu.

Installation

$ go install github.com/twpayne/find-duplicates@latest

Exemple

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
}

Usage

 find-duplicates [options] [paths...]

paths sont des répertoires à parcourir de manière récursive. Si aucun paths n'est donné, le répertoire courant est parcouru.

La sortie est un objet JSON avec des propriétés pour chaque xxHash observé et des tableaux de valeurs de noms de fichiers avec un contenu avec ce xxHash.

Les options sont :

--keep-going ou -k continue après les erreurs.

--output=<file> ou -o <file> écrit la sortie dans <file> , la valeur par défaut est stdout.

--threshold=<int> ou -t <int> définit le nombre minimum de fichiers avec le même contenu pour être considérés comme des doublons. La valeur par défaut est 2.

--statistics ou -s imprime les statistiques sur stderr.

Comment fonctionne `find-duplicates` ?

find-duplicates vise à être aussi rapide que possible en effectuant le moins de travail possible, en utilisant efficacement chaque cœur de processeur et en utilisant tous les cœurs de processeur de votre machine.

Il se compose de plusieurs éléments :

Premièrement, il parcourt simultanément le système de fichiers, générant une goroutine par sous-répertoire.
Deuxièmement, étant donné que les fichiers ne peuvent être des doublons que s'ils ont la même taille, il ne lit le contenu du fichier qu'une fois qu'il a trouvé plusieurs fichiers de même taille. Cela réduit considérablement à la fois le nombre d’appels système et la quantité de données lues. De plus, comme le temps d'exécution le plus court possible est le temps nécessaire pour lire le fichier le plus volumineux, les fichiers plus volumineux sont lus plus tôt.
Troisièmement, le contenu des fichiers est haché avec un hachage rapide et non cryptographique.

Tous les composants s'exécutent simultanément.