find duplicates

find-duplicates

find-duplicates menemukan file duplikat dengan cepat berdasarkan xxHash isinya.

Instalasi

$ go install github.com/twpayne/find-duplicates@latest 

Contoh

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
} 

Penggunaan

 find-duplicates [options] [paths...]

paths adalah direktori untuk berjalan secara rekursif. Jika tidak ada paths yang diberikan maka direktori saat ini akan dijalankan.

Outputnya adalah objek JSON dengan properti untuk setiap xxHash yang diamati dan nilai array nama file dengan konten dengan xxHash tersebut.

Pilihannya adalah:

--keep-going atau -k teruskan setelah kesalahan.

--output=<file> atau -o <file> tulis output ke <file> , defaultnya adalah stdout.

--threshold=<int> atau -t <int> menetapkan jumlah minimum file dengan konten yang sama untuk dianggap duplikat. Standarnya adalah 2.

--statistics atau -s mencetak statistik ke stderr.

Bagaimana cara kerja find-duplicates ?

find-duplicates bertujuan untuk bekerja secepat mungkin dengan melakukan pekerjaan sesedikit mungkin, menggunakan setiap inti CPU secara efisien, dan menggunakan semua inti CPU pada mesin Anda.

Ini terdiri dari beberapa komponen:

1. Pertama, ia menjalankan sistem file secara bersamaan, menghasilkan satu goroutine per subdirektori.
2. Kedua, dengan pengamatan bahwa file hanya dapat diduplikasi jika ukurannya sama, ia hanya membaca konten file setelah ditemukan lebih dari satu file dengan ukuran yang sama. Hal ini secara signifikan mengurangi jumlah syscall dan jumlah data yang dibaca. Selain itu, karena waktu proses sesingkat mungkin adalah waktu yang dibutuhkan untuk membaca file terbesar, file yang lebih besar akan dibaca lebih awal.
3. Ketiga, konten file di-hash dengan hash non-kriptografi yang cepat.

Semua komponen berjalan secara bersamaan.

Media

• Pembicaraan "Menemukan file duplikat sangat cepat: proyek CLI kecil menggunakan konkurensi Go" dari Zürich Gophers.

Lisensi

MIT