find duplicates

find-duplicates

find-duplicates根據檔案內容的 xxHashes 快速尋找重複檔案。

安裝

$ go install github.com/twpayne/find-duplicates@latest 

例子

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
} 

用法

 find-duplicates [options] [paths...]

paths是遞歸遍歷的目錄。如果沒有給予paths ，則遍歷目前目錄。

輸出是一個 JSON 對象，其中包含每個觀察到的 xxHash 的屬性以及包含該 xxHash 內容的檔案名稱值數組。

選項有：

--keep-going或-k出現錯誤後繼續前進。

--output=<file>或-o <file>將輸出寫入<file> ，預設為 stdout。

--threshold=<int>或-t <int>設定被視為重複的具有相同內容的檔案的最小數量。預設值為 2。

--statistics或-s將統計資訊列印到 stderr。

find-duplicates如何運作？

find-duplicates目標是盡可能快地完成盡可能少的工作，有效地使用每個 CPU 核心，並使用電腦上的所有 CPU 核心。

它由多個組件組成：

1. 首先，它同時遍歷檔案系統，為每個子目錄產生一個 goroutine。
2. 其次，根據觀察，檔案只有大小相同才會重複，因此只有在找到多個大小相同的檔案時，它才會讀取檔案內容。這顯著減少了系統呼叫的數量和讀取的資料量。此外，由於最短的運行時間是讀取最大檔案所需的時間，因此較大的檔案會更早讀取。
3. 第三，檔案內容使用快速、非加密哈希進行哈希處理。

所有組件同時運作。

媒體

• 「以令人難以置信的速度找到重複檔案：使用 Go 並發性的小型 CLI 專案」來自 Zürich Gophers 的演講。

執照

麻省理工學院