หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การถ่ายโอนข้อมูลฮับ

เครื่องมือค้นหาที่โฮสต์ด้วยตนเองสำหรับข้อมูลรั่วไหลและการถ่ายโอนข้อมูลรหัสผ่าน

อัปโหลดและแยกวิเคราะห์ไฟล์หลายไฟล์ จากนั้นค้นหารายการที่จัดเก็บทั้งหมดอย่างรวดเร็วด้วยพลังของ Elasticsearch

ข้อจำกัดความรับผิดชอบ: โครงการนี้ไม่รวมและจะไม่รวมถึงข้อมูลใด ๆ ผู้ใช้ปลายทางจะต้องอัปโหลดข้อมูลบนอินสแตนซ์ของ Dump Hub ของตนเอง ฉันไม่รับผิดชอบต่อลักษณะของข้อมูลที่อัปโหลด

Dump Hub currenlty รองรับดัมพ์ในรูปแบบ csv/combo-list ตัวแยกวิเคราะห์จะไม่เข้มงวด ดังนั้น หากบรรทัดใดบรรทัดหนึ่งไม่ได้รับการจัดรูปแบบอย่างถูกต้อง บรรทัดนั้นจะยังคงได้รับการจัดทำดัชนีเป็นเอกสารเดียว และกระบวนการแยกวิเคราะห์จะดำเนินต่อไปจนถึง ไฟล์ทั้งหมด

นักเทียบท่าเขียน

Dump Hub สามารถดำเนินการได้โดยใช้ docker-compose: 

 git clone https://github.com/r7wx/dump-hub.git
cd dump-hub
docker-compose up --build

Dump Hub จะผูกพอร์ต 443 บน 0.0.0.0 โดยค่าเริ่มต้น

คำเตือน: อย่าเปิดเผย Dump Hub บนเครือข่ายสาธารณะ! โปรดแก้ไขไฟล์ docker-compose.yml เพื่อให้เหมาะกับความต้องการของคุณ ประเมินเพื่อใช้ใบรับรอง SSL ของคุณเอง และประเมินการใช้การตรวจสอบสิทธิ์พื้นฐานบน nginx

การใช้งาน

หากต้องการเริ่มใช้ Dump Hub ให้เปิดเว็บเบราว์เซอร์บน https://[dump-hub-ip]

คำเตือน: เมื่อคุณอัปโหลดไฟล์บน Dump Hub รายการจะถูกแยกวิเคราะห์และจัดทำดัชนีบน Elasticsearch คุณจะสามารถดำเนินการค้นหาในทุกฟิลด์ได้อย่างรวดเร็ว แต่ต้องแลกมาด้วยค่าใช้จ่าย: การใช้งานดิสก์ที่มากขึ้น โปรดทราบว่าหากคุณต้องการทำงานกับข้อมูลจำนวนมาก!

การอัพโหลดไฟล์ใหม่สามารถทำได้โดยทำตาม 2 ขั้นตอน:

อัพโหลดหลายไฟล์

หากต้องการอัปโหลดไฟล์บน Dump Hub ให้ใช้หน้าอัปโหลดและเลือกไฟล์ที่ต้องการ เมื่อเลือกไฟล์ตั้งแต่หนึ่งไฟล์ขึ้นไป กระบวนการอัปโหลดจะเริ่มขึ้น คุณจะพบรายการไฟล์ที่อัปโหลดแล้วในส่วนแรกของหน้าเดียวกัน คำเตือน: เครื่องมืออัปโหลดทางเว็บมีขนาดไฟล์สูงสุด 15GB หากคุณต้องการอัปโหลดไฟล์ที่ใหญ่กว่า คุณสามารถอัปโหลดได้โดยตรงภายใน dump-hub/volumes/uploads บนเซิร์ฟเวอร์ dump-hub ของคุณ (อาจผ่าน ssh หรือ ftp)

วิเคราะห์

ในการเพิ่มรายการใน Elasticsearch ให้ใช้หน้าวิเคราะห์ จากหน้าการวิเคราะห์ คุณสามารถเลือกหนึ่งในไฟล์ที่อัปโหลดแล้วได้ เลือกหนึ่งไฟล์โดยคลิกที่มัน เมื่อเลือกหนึ่งไฟล์แล้ว การแสดงตัวอย่างเนื้อหาไฟล์จะแสดงในช่องด้านล่าง คุณสามารถแก้ไขการตั้งค่าสองรายการได้โดยใช้แบบฟอร์มด้านบนช่องแสดงตัวอย่าง:

  • เส้นเริ่มต้น: การแยกวิเคราะห์จะเริ่มต้นจากบรรทัดนี้ เมื่อแก้ไขค่านี้ การแสดงตัวอย่างจะอัปเดตตามนั้น
  • ตัวคั่น: นี่คืออักขระตัวคั่น อักขระนี้จะใช้เพื่อแยกรายการในบรรทัด (เช่นเดียวกับ csv มาตรฐาน)

หาก parser ได้รับการกำหนดค่าอย่างถูกต้อง คุณจะสามารถดูรายการที่แยกวิเคราะห์เป็นคอลัมน์ในตารางที่ด้านล่างของหน้า จากตารางนี้ คุณสามารถเลือกคอลัมน์ที่จะแยกวิเคราะห์และรวมไว้ในเอกสารขั้นสุดท้าย (เน้นด้วยสีเขียว) แต่ละฟิลด์เหล่านั้นจะได้รับการจัดทำดัชนีและสามารถค้นหาได้อย่างสมบูรณ์ เมื่อผลลัพธ์ที่ต้องการปรากฏในตาราง คุณสามารถเริ่มกระบวนการวิเคราะห์ได้โดยคลิกที่ปุ่ม วิเคราะห์ไฟล์

ข้อมูล

จากหน้าข้อมูล คุณสามารถดูรายการของ:

  • รายการอยู่ในสถานะการประมวลผล (ไฟล์ที่กำลังวิเคราะห์และอัปโหลดไปยัง Elasticsearch)
  • รายการในสถานะการลบ (ไฟล์ที่กำลังถูกลบออกจาก Elasticsearch)
  • รายการที่อยู่ในสถานะรอดำเนินการ (ไฟล์ที่กำลังรอการวิเคราะห์หรือลบ สามารถวิเคราะห์หรือลบได้เพียงไฟล์เดียวในคราวเดียว)
  • รายการอยู่ในสถานะข้อผิดพลาด
  • รายการในสถานะเสร็จสมบูรณ์

จากหน้านี้ คุณสามารถลบรายการในสถานะเสร็จสมบูรณ์หรือข้อผิดพลาดได้

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด