boontorrent
1.0.0
2018 โครงการออกแบบอาวุโสของเพนน์
อันดับหนึ่งในแผนก CIS
เดวิด เฉา ○ ดีแลน มานน์ ○ อเล็กซ์ โมเสส ○ เกรแฮม มอสลีย์
ปริมาณการใช้ BitTorrent มีมากมาย แต่วิเคราะห์ได้ยาก เพื่อเก็บข้อมูลให้เพียงพอสำหรับการวิเคราะห์ที่สำคัญ จำเป็นต้องใช้โซลูชันแบบกระจายขนาดใหญ่ ในปัจจุบัน บริษัทวิจัยอย่าง Nielsen ไม่สามารถอธิบายการบริโภคสื่อที่ผิดกฎหมายได้อย่างเหมาะสม การวิเคราะห์ปริมาณการใช้ BitTorrent จะช่วยให้บริษัทต่างๆ สามารถศึกษาพฤติกรรมผู้บริโภคที่ก่อนหน้านี้ไม่สามารถมองเห็นได้จากการวัดความนิยมของสื่อแบบดั้งเดิม
โซลูชันของเราคือการปรับใช้โหนดที่ฟัง BitTorrent Mainline Distributed Hash Table (DHT) แต่ละโหนดรันเวอร์ชันที่แยกส่วนของ repo mldht ที่ยอดเยี่ยมโดย 8472 ส้อมของเราสามารถพบได้ที่นี่ เมื่อโหนดของเราถูกค้นพบโดยเพื่อนใน DHT โหนดจะเริ่มกำหนดเส้นทางการสืบค้น แก้ไข torrents และรวบรวมข้อมูลเมตาเกี่ยวกับการสืบค้นที่ได้รับ เราประมวลผลข้อมูลนี้ผ่านไปป์ไลน์ของเราและจัดเก็บผลลัพธ์ที่ประมวลผลไว้ใน Amazon S3 เพื่อให้เข้าถึงได้ง่าย
ผลิตภัณฑ์หลักของ BoonTorrent คือข้อมูลอนุกรมเวลาที่เครื่องอ่านได้เพื่อการวิจัย นอกจากนี้เรายังใช้แอปพลิเคชัน Proof of Concept สองแอปพลิเคชันที่สร้างขึ้นจากข้อมูลนั้น อย่างแรกคือการแสดงภาพแผนที่ความร้อนที่อัปเดตแบบเรียลไทม์ด้วยการรับส่งข้อมูล 2 นาทีสุดท้าย และอย่างที่สองคือเครื่องมือค้นหาสำหรับค้นหาไฟล์ทอร์เรนต์ที่เฉพาะเจาะจง ในหนึ่งเดือน เครื่องมือค้นหาของเราได้จัดทำดัชนีทอร์เรนต์ 1.2 ล้านรายการ ซึ่งคิดเป็นไฟล์ 46 ล้านไฟล์ ซึ่งมีขนาดรวมเกือบ 4 เพตาไบต์ ไปป์ไลน์ของเราและแอปพลิเคชันทั้งสองมีค่าใช้จ่ายประมาณ 10 ดอลลาร์ต่อวัน และเรากำลังบันทึกและวิเคราะห์จุดข้อมูลประมาณ 7 ล้านจุดต่อวัน งานของเราแสดงให้เห็นว่ามีความเป็นไปได้ที่จะตรวจสอบปริมาณการใช้ BitTorrent อย่างคุ้มค่า
| ที่ตั้ง | คำอธิบาย |
|---|---|
| ตัวทำดัชนี-แลมบ์ดา | AWS Lambda ที่จัดทำดัชนีทอร์เรนต์ที่แก้ไขแล้ว ซึ่งถูกกระตุ้นโดยเหตุการณ์การสร้างอ็อบเจ็กต์ s3 |
| ฝนตกหนักสรุปแลมบ์ดา | AWS Lambda ที่ดึงข้อมูลทอร์เรนต์ที่กำหนดจาก S3 และถอดรหัสข้อมูลเมตา |
| ต้นแบบ | การใช้งานต้นแบบ |
| จุดประกายสกาลา | โค้ดประมวลผลประกายไฟในเครื่อง |
| userdata.sh | สคริปต์ Userdata สำหรับอินสแตนซ์ EC2 |
| เอกสาร | ภาพหน้าจอและเอกสารอ้างอิง |
| แอป | พิสูจน์แนวคิดเว็บแอปพลิเคชันที่เขียนด้วย ejs |
สามารถดูตัวอย่างไฟล์บันทึกท่อดับเพลิงได้ที่นี่
ตลอดระยะเวลาหนึ่งเดือน เราได้รวบรวมข้อมูลและจัดทำดัชนีทอร์เรนต์ 1.2 ล้านรายการที่อธิบายไฟล์ 46 ล้านไฟล์ รวมเป็น 4PB
หากคุณสนใจไฟล์ดิบ .torrent หรือข้อมูลเมตา โปรดแจ้งปัญหา
