- การค้นหาที่อยู่ BTC (วิทยานิพนธ์ปริญญาโท)
โซลูชันสำหรับการรวบรวมรายงานการละเมิดที่อยู่ Bitcoin BTCABuseCrawler (Python) รวบรวมข้อมูลและแยกวิเคราะห์เว็บไซต์ที่ใช้ได้ฟรี และประมวลผลข้อมูลลงในฐานข้อมูล (PostgreSQL) BTCABuseSearch (JavaScript, Node.js) ให้ข้อมูลที่รวบรวมผ่านทางเว็บไซต์หรือ API แก่ผู้ใช้ตามบทบาทในระบบ เครื่องมือทั้งสองสามารถทำงานแบบขนานได้
️ เอกสาร [เอกสาร]
เอกสาร
ไดอะแกรม
- ใช้แผนภาพกรณี
- แผนภาพส่วนประกอบ
- แผนภาพความสัมพันธ์เอนทิตี
อื่น
- การถ่ายโอนข้อมูลฐานข้อมูล
BTCABuseCrawler [btc_abuse_crawler]
คุณสมบัติ
- ✔️ ตัวเริ่มต้นฐานข้อมูล PostgreSQL
- ✔️ การดาวน์โหลดและประมวลผลแบบมัลติเธรด 3
- ✔️ทำงานอัตโนมัติ 4
- ✔️ ปฏิบัติตามกฎของ robots.txt 5
- ✔️สคีมาฐานข้อมูลที่สมบูรณ์
- ✔️ แหล่งที่มา - ประกอบด้วยชื่อแหล่งที่มาของที่อยู่และรายงาน
- ✔️ สกุลเงิน - ประกอบด้วยบล็อคเชนที่มีอยู่ทั้งหมดจาก Blockchair
- ✔️ source_label - มีป้ายกำกับของแหล่งที่มา (หมวดหมู่ย่อยของแหล่งที่มา)
- ✔️ ที่อยู่ - มี BTC และที่อยู่ cryptocurrency อื่น ๆ
- ✔️ url - มี URL ที่ไม่ซ้ำซึ่งรวบรวมระหว่างการรวบรวมข้อมูล
- ✔️ source_label_url - มี URL เริ่มต้นสำหรับป้ายกำกับของแหล่งที่มา (แต่ละป้ายกำกับสามารถมี URL เริ่มต้นได้หลายรายการ)
- ✔️ ข้อมูล - มีลิงก์สัมพัทธ์ไปยังข้อมูลที่รวบรวมข้อมูล
- ✔️ บทบาท - มีบทบาทผู้ใช้ที่สามารถเข้าถึงข้อมูลที่รวบรวมข้อมูลได้หลายระดับ
- ✔️ บัญชี - มีข้อมูลเกี่ยวกับบัญชีผู้ใช้
- ✔️ โทเค็น - มีโทเค็น API พร้อมการเข้าถึงข้อมูลที่รวบรวมข้อมูลหลายระดับ
- ✔️ address_data - มีการเชื่อมต่อระหว่างที่อยู่ cryptocurrency และข้อมูลที่รวบรวมข้อมูลที่เกี่ยวข้อง
- ✔️ เซสชัน - มีเซสชันบัญชี
- ✔️รวบรวมข้อมูลที่อยู่ / รายงานทั้งหมดจากแหล่งต่อไปนี้ 5 :
- ✔️ลอยซ์วี
- ✔️อัปเดตรายสัปดาห์พร้อมที่อยู่ BTC ทั้งหมด (GZIP)
- ✔️อัพเดททุกวัน (TXT)
- ✔️ การใช้ Bitcoinในทางที่ผิด
- ✔️ ที่อยู่ที่รายงาน (HTML) 6
- ✔️ตรวจสอบที่อยู่ Bitcoin
- ✔️ ที่อยู่ที่รายงาน (HTML) 6
- ✔️ CryptoBlacklist
- ✔️ ค้นหาที่อยู่ BTC ที่รายงาน (HTML) 7
- ✔️ ที่อยู่ ETH ที่รายงานล่าสุด (HTML)
- ✔️หลอกลวงเครื่องกำเนิด Bitcoin
- ✔️ที่อยู่ BTC หลอกลวง (TXT)
- ✔️หลอกลวงที่อยู่ที่ไม่ใช่ BTC (TXT) 6
- ✔️บิทคอยน์เอไอเอส
- ✔️ ที่อยู่ที่รายงาน (HTML) 6
- ✔️ CryptoScamDB
- ✔️ ที่อยู่ที่รายงาน (JSON) 6
- ✔️คริปโตสแคม
- ✔️ ค้นหาที่อยู่ BTC ที่รายงาน (HTML) 7
- ✔️ ที่อยู่ที่รายงานล่าสุด (HTML) 6
- ✔️ซีโคอิน
- ✔️ ที่อยู่ BTC ที่รายงาน (HTML) 7
- ✔️ BitcoinWhosWho
- ✔️ ค้นหาที่อยู่ BTC ที่รายงาน (HTML) 7
- ✔️ การเชื่อมต่อที่อยู่และข้อมูลที่รวบรวมข้อมูล 8
- ✔️การจัดการข้อยกเว้น
ความต้องการ
- PostgreSQL 15.2 สำหรับ Windows (64 บิต)
- Python 3.11 สำหรับ Windows (64 บิต)
การติดตั้ง
- ดาวน์โหลดและติดตั้ง PostgreSQL (ระหว่างการติดตั้งให้ตั้งรหัสผ่าน: postgres)
- ดาวน์โหลดและติดตั้ง Python (ระหว่างการติดตั้งให้ตรวจสอบตัวเลือก: เพิ่ม python.exe ไปยัง PATH)
- ไปที่การตั้งค่า / แอพ / การตั้งค่าแอพขั้นสูง / นามแฝงการดำเนินการแอพ และปิด python.exe
- รีสตาร์ทคอมพิวเตอร์
- ไปที่ไดเร็กทอรีโปรแกรม
btc_abuse_crawler
- เปลี่ยนชื่อไฟล์
example_db.json
เป็น db.json
- เปลี่ยนรหัสผ่านการเชื่อมต่อใน
db.json
- เปลี่ยนชื่อไฟล์
example_setup.json
เป็น setup.json
- เปลี่ยนรหัสผ่านของผู้ใช้ใน
setup.json
- เปิดพรอมต์คำสั่ง
- เปลี่ยนไดเร็กทอรีการทำงานปัจจุบันเป็น
btc_abuse_crawler
- ติดตั้งแพ็คเกจโดยใช้คำสั่ง
pip install -U -r requirements.txt
วิ่ง
- เปิดพรอมต์คำสั่ง (ในฐานะผู้ดูแลระบบ) 9
- เปลี่ยนไดเร็กทอรีการทำงานปัจจุบันเป็น
btc_abuse_crawler
- รันโปรแกรมโดยใช้คำสั่ง
python main.py
- หาก User Account Control ปรากฏขึ้น ให้กด
Yes
10
- BTCABuseSearch [btc_abuse_search]
คุณสมบัติ
- ✔️เอพีไอ
- ✔️รับโทเค็น
- ✔️รับสกุลเงิน
- ✔️รับแหล่งที่มา
- ✔️ รับที่อยู่ (กรองตามสกุลเงินและแหล่งที่มา)
- ✔️รับที่อยู่
- ✔️รับข้อมูล
- ✔️ จำกัดการเข้าถึงตามบทบาทของผู้ใช้
- ✔️ สร้างโทเค็น (เชื่อมโยงกับบัญชี ซึ่งสร้างขึ้นระหว่างการลงชื่อเข้าใช้ครั้งแรก)
- ✔️แคชข้อมูล
- ✔️หน้าเว็บ
- ✔️ดัชนี
- ✔️สมัครสมาชิก
- ✔️เข้าสู่ระบบ
- ✔️ออกจากระบบ
- ✔️บัญชี
- ✔️ บัญชี (กรองได้ทางอีเมลและบทบาท) - หน้าผู้ดูแลระบบเท่านั้น
- ✔️ ที่อยู่ (กรองตามสกุลเงินและแหล่งที่มา)
- ✔️ ที่อยู่ - ข้อมูลทั้งหมดที่เกี่ยวข้องกับที่อยู่ที่ค้นหา
- ✔️สถิติ
- ✔️ API - คุณสมบัติ API ที่ระบุไว้
- ✔️ FAQ - ตอบคำถามที่เกี่ยวข้องกับเว็บไซต์
- ✔️ข้อผิดพลาด - ไม่พบ 404
ความต้องการ
- Node.js 18.15 LTS สำหรับ Windows (64 บิต)
การติดตั้ง
- ดาวน์โหลดและติดตั้ง Node.js
- รีสตาร์ทคอมพิวเตอร์
- ไปที่ไดเรกทอรีโปรแกรม
btc_abuse_search
- เปลี่ยนชื่อไฟล์
example_db.json
เป็น db.json
- เปลี่ยนรหัสผ่านการเชื่อมต่อใน
db.json
- เปิดพรอมต์คำสั่ง
- เปลี่ยนไดเร็กทอรีการทำงานปัจจุบันเป็น
btc_abuse_search
- ติดตั้งแพ็คเกจโดยใช้คำสั่ง
npm i -g npm-check-updates && ncu -u && npm i
วิ่ง
- เปิดพรอมต์คำสั่ง
- เปลี่ยนไดเร็กทอรีการทำงานปัจจุบันเป็น
btc_abuse_search
- รันโปรแกรมโดยใช้คำสั่ง
node main.js