duplicut

ซ้ำ ️

ลบรายการคำจำนวนมากที่ซ้ำกันอย่างรวดเร็ว โดยไม่ต้องเปลี่ยนลำดับ

_{สร้างโดย nil0x42 และผู้มีส่วนร่วม}

---

ภาพรวม

ทุกวันนี้ การสร้างรายการคำรหัสผ่านมักจะหมายถึงการเชื่อมโยงแหล่งข้อมูลหลายแหล่งเข้าด้วยกัน

ตามหลักการแล้ว รหัสผ่านที่น่าจะเป็นไปได้ส่วนใหญ่ควรอยู่ที่จุดเริ่มต้นของรายการคำ ดังนั้นรหัสผ่านทั่วไปส่วนใหญ่จะถูกถอดรหัสทันที

ด้วย เครื่องมือแก้ไขข้อมูลซ้ำซ้อน ที่มีอยู่ คุณจะถูกบังคับให้เลือกว่าต้องการ รักษาลำดับ หรือ จัดการกับรายการคำศัพท์จำนวนมาก

ขออภัย การสร้างรายการคำต้องใช้ทั้ง :

ดังนั้นฉันจึงเขียนซ้ำใน C ที่ได้รับการปรับให้เหมาะสมที่สุดเพื่อตอบสนองความต้องการเฉพาะนี้

---

เริ่มต้นอย่างรวดเร็ว

git clone https://github.com/nil0x42/duplicut
cd duplicut/ && make
./duplicut wordlist.txt -o clean-wordlist.txt

- ตัวเลือก

• คุณสมบัติ :

  • จัดการรายการคำศัพท์ขนาดใหญ่ แม้แต่รายการที่มีขนาดเกิน RAM ที่มีอยู่ก็ตาม
  • กรองบรรทัดตามความยาวสูงสุด ( -l ตัวเลือก)
  • สามารถลบบรรทัดที่มีอักขระ ASCII ที่ไม่สามารถพิมพ์ได้ ( -p ตัวเลือก)
  • กดปุ่มใดก็ได้เพื่อแสดงสถานะของโปรแกรมขณะรันไทม์

• การนำไปปฏิบัติ :

  • เขียนด้วยโค้ด C ล้วนๆ ออกแบบมาให้รวดเร็ว
  • รายการแฮชแมปที่ถูกบีบอัดบนแพลตฟอร์ม 64 บิต
  • การสนับสนุนมัลติเธรด

• ข้อจำกัด :

  • บรรทัดใดๆ ที่ยาวเกิน 255 ตัวอักษรจะถูกละเว้น

รายละเอียดทางเทคนิค

- 1- เพิ่มประสิทธิภาพหน่วยความจำ:

uint64 นั้นเพียงพอที่จะจัดทำดัชนีบรรทัดใน hashmap โดยการบรรจุข้อมูล size ภายในบิตพิเศษของตัวชี้:

- 2- การจัดการไฟล์ขนาดใหญ่:

หากไฟล์ทั้งหมดไม่สามารถใส่ในหน่วยความจำได้ ไฟล์นั้นจะถูกแบ่งออกเป็นส่วนเสมือน เพื่อให้แต่ละไฟล์ใช้ RAM มากที่สุดเท่าที่จะเป็นไปได้

จากนั้นแต่ละชิ้นจะถูกโหลดลงในแฮชแมป ขจัดข้อมูลซ้ำซ้อน และทดสอบกับชิ้นอื่นๆ ที่ตามมา

ด้วยวิธีนี้ เวลาดำเนินการจะลดลงจนเหลือ จำนวนสามเหลี่ยม มากที่สุด :

การแก้ไขปัญหา

หากคุณพบข้อบกพร่องหรือบางอย่างไม่ทำงานตามที่คาดไว้ โปรดคอมไพล์รายการที่ซ้ำกันในโหมดแก้ไขข้อบกพร่องและโพสต์ปัญหาพร้อมกับเอาต์พุตที่แนบมาด้วย:

 # debug level can be from 1 to 4
make debug level=1
./duplicut [OPTIONS] 2>&1 | tee /tmp/duplicut-debug.log