find duplicates

find duplicates

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

`find-duplicates`

find-duplicates ค้นหาไฟล์ที่ซ้ำกันอย่างรวดเร็วโดยพิจารณาจาก xxHashes ของเนื้อหา

การติดตั้ง

$ go install github.com/twpayne/find-duplicates@latest

ตัวอย่าง

$ find-duplicates
{
  "cdb8979062cbdf9c169563ccc54704f0": [
    ".git/refs/remotes/origin/main",
    ".git/refs/heads/main",
    ".git/ORIG_HEAD"
  ]
}

การใช้งาน

 find-duplicates [options] [paths...]

paths เป็นไดเร็กทอรีที่จะเดินซ้ำ หากไม่มีการกำหนด paths ไดเร็กทอรีปัจจุบันจะถูกเดิน

เอาต์พุตเป็นออบเจ็กต์ JSON ที่มีคุณสมบัติสำหรับ xxHash ที่สังเกตแต่ละรายการและค่าอาร์เรย์ของชื่อไฟล์ที่มีเนื้อหาที่มี xxHash นั้น

ตัวเลือกคือ:

--keep-going หรือ -k ทำต่อไปหลังจากเกิดข้อผิดพลาด

--output=<file> หรือ -o <file> เขียนเอาต์พุตไปที่ <file> ค่าเริ่มต้นคือ stdout

--threshold=<int> หรือ -t <int> กำหนดจำนวนไฟล์ขั้นต่ำที่มีเนื้อหาเดียวกันเพื่อพิจารณาว่าซ้ำกัน ค่าเริ่มต้นคือ 2

--statistics หรือ -s พิมพ์สถิติไปยัง stderr

`find-duplicates` ทำงานอย่างไร

find-duplicates มีเป้าหมายเพื่อให้เร็วที่สุดโดยทำงานให้น้อยที่สุดเท่าที่จะเป็นไปได้ โดยใช้ CPU แต่ละคอร์อย่างมีประสิทธิภาพ และใช้แกน CPU ทั้งหมดบนเครื่องของคุณ

ประกอบด้วยองค์ประกอบหลายอย่าง:

ประการแรก มันจะเดินระบบไฟล์ไปพร้อมๆ กัน โดยวางไข่หนึ่งโกรูทีนต่อไดเร็กทอรีย่อย
ประการที่สอง จากการสังเกตว่าไฟล์สามารถทำซ้ำได้หากมีขนาดเท่ากัน โดยจะอ่านเนื้อหาไฟล์เมื่อพบไฟล์ที่มีขนาดเท่ากันมากกว่าหนึ่งไฟล์เท่านั้น ซึ่งจะช่วยลดทั้งจำนวนการโทรระบบและจำนวนข้อมูลที่อ่านได้อย่างมาก นอกจากนี้ เนื่องจากรันไทม์ที่สั้นที่สุดเท่าที่จะเป็นไปได้คือเวลาที่ใช้ในการอ่านไฟล์ที่ใหญ่ที่สุด ไฟล์ที่มีขนาดใหญ่กว่าจึงจะถูกอ่านเร็วขึ้น
ประการที่สาม เนื้อหาไฟล์จะถูกแฮชด้วยแฮชที่รวดเร็วและไม่เข้ารหัส

ส่วนประกอบทั้งหมดทำงานพร้อมกัน