find duplicatesダウンロード - find duplicatesソースコードのダウンロード

find duplicates

その他のソースコード

1.0.0

ダウンロード

`find-duplicates`

find-duplicates内容の xxHash に基づいて重複ファイルを迅速に検索します。

インストール

$ go install github.com/twpayne/find-duplicates@latest

例

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
}

使用法

 find-duplicates [options] [paths...]

paths再帰的に歩くディレクトリです。 pathsが指定されていない場合は、現在のディレクトリが参照されます。

出力は、観測された各 xxHash のプロパティと、その xxHash の内容を含むファイル名の値配列を含む JSON オブジェクトです。

オプションは次のとおりです。

--keep-goingまたは-kエラー後も続行します。

--output=<file>または-o <file>出力を<file>に書き込みます。デフォルトは stdout です。

--threshold=<int>または-t <int>重複とみなされる同じコンテンツを持つファイルの最小数を設定します。デフォルトは 2 です。

--statisticsまたは-s統計を標準エラー出力に出力します。

`find-duplicates`どのように機能しますか?

find-duplicatesできる限り作業を少なくし、各 CPU コアを効率的に使用し、マシン上のすべての CPU コアを使用することで、可能な限り高速になることを目指しています。

これは複数のコンポーネントで構成されます。

まず、ファイルシステムを同時に実行し、サブディレクトリごとに 1 つの goroutine を生成します。
次に、ファイルは同じサイズの場合にのみ重複できるという点に着目して、同じサイズのファイルが複数見つかった場合にのみファイルの内容を読み取ります。これにより、システムコールの数と読み取られるデータ量の両方が大幅に削減されます。さらに、可能な限り最短の実行時間は最大のファイルを読み取るのにかかる時間であるため、大きなファイルはより早く読み取られます。
3 番目に、ファイルの内容は高速な非暗号化ハッシュでハッシュされます。

すべてのコンポーネントは同時に実行されます。