find duplicates

find-duplicates

find-duplicates根据文件内容的 xxHashes 快速查找重复文件。

安装

$ go install github.com/twpayne/find-duplicates@latest 

例子

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
} 

用法

 find-duplicates [options] [paths...]

paths是递归遍历的目录。如果没有给出paths ，则遍历当前目录。

输出是一个 JSON 对象，其中包含每个观察到的 xxHash 的属性以及包含该 xxHash 内容的文件名值数组。

选项有：

--keep-going或-k出现错误后继续前进。

--output=<file>或-o <file>将输出写入<file> ，默认为 stdout。

--threshold=<int>或-t <int>设置被视为重复的具有相同内容的文件的最小数量。默认值为 2。

--statistics或-s将统计信息打印到 stderr。

find-duplicates如何工作？

find-duplicates目标是尽可能快地完成尽可能少的工作，有效地使用每个 CPU 核心，并使用计算机上的所有 CPU 核心。

它由多个组件组成：

1. 首先，它同时遍历文件系统，为每个子目录生成一个 goroutine。
2. 其次，根据观察，文件只有大小相同才可以重复，因此只有在找到多个大小相同的文件时，它才会读取文件内容。这显着减少了系统调用的数量和读取的数据量。此外，由于最短的运行时间是读取最大文件所需的时间，因此较大的文件会更早读取。
3. 第三，文件内容使用快速、非加密哈希进行哈希处理。

所有组件同时运行。

媒体

• “以令人难以置信的速度查找重复文件：使用 Go 并发性的小型 CLI 项目”来自 Zürich Gophers 的演讲。

执照

麻省理工学院