boontorrent
1.0.0
مشروع تصميم كبار بنسلفانيا لعام 2018
المركز الأول في قسم CIS
ديفيد كاو ○ ديلان مان ○ أليكس موسيس ○ جراهام موسلي
حركة مرور BitTorrent وفيرة، ولكن من الصعب تحليلها. للحصول على بيانات كافية لإجراء تحليل مهم، هناك حاجة إلى حل موزع كبير. في الوقت الحالي، تفشل شركات الأبحاث مثل Nielsen في تفسير الاستهلاك غير القانوني لوسائل الإعلام بشكل صحيح. إن تحليل حركة مرور BitTorrent من شأنه أن يسمح للشركات بدراسة سلوكيات المستهلك التي كانت غير مرئية في السابق للمقاييس التقليدية لشعبية وسائل الإعلام.
الحل الذي نقدمه هو نشر العقد التي تستمع إلى جدول التجزئة الموزع لـ BitTorrent Mainline (DHT). تقوم كل عقدة بتشغيل نسخة متشعبة من الريبو الممتاز mldht بواسطة the8472. يمكن العثور على شوكتنا هنا. بمجرد اكتشاف عقدتنا من قبل أقراننا في DHT، فإنها تبدأ في توجيه الاستعلامات وحل السيول وجمع البيانات الوصفية حول الاستعلامات التي تتلقاها. نقوم بمعالجة هذه البيانات من خلال مساراتنا ونخزن النتائج المعالجة في Amazon S3 لسهولة الوصول إليها.
المنتج الرئيسي لـ BoonTorrent هو بيانات السلاسل الزمنية القابلة للقراءة آليًا لأغراض البحث. قمنا أيضًا بتنفيذ تطبيقين لإثبات المفهوم مبنيين على تلك البيانات. الأول عبارة عن تصور للخريطة الحرارية التي يتم تحديثها في الوقت الفعلي مع آخر دقيقتين من حركة المرور، والثاني هو محرك بحث لتحديد موقع ملفات تورنت محددة. في شهر واحد، قام محرك البحث الخاص بنا بفهرسة 1.2 مليون ملف تورنت يمثل 46 مليون ملف يبلغ إجمالي حجمها حوالي 4 بيتابايت. يتم تشغيل مسارنا وكلا التطبيقين مقابل 10 دولارات تقريبًا في اليوم، ونقوم بتسجيل وتحليل ما يقرب من 7 ملايين نقطة بيانات يوميًا. لقد أظهر عملنا أنه من الممكن مراقبة حركة مرور BitTorrent بفعالية من حيث التكلفة.
| موقع | وصف |
|---|---|
| مفهرس لامدا | AWS Lambda الذي يقوم بفهرسة السيول التي يتم حلها، والتي يتم تشغيلها بواسطة أحداث إنشاء كائن s3. |
| ملخص سيل لامدا | AWS Lambda الذي يسترد سيلًا معينًا من S3 ويفك تشفير البيانات التعريفية. |
| النماذج الأولية | تطبيقات النماذج الأولية. |
| شرارة سكالا | رمز معالجة الشرارة المحلية. |
| userdata.sh | البرنامج النصي لبيانات المستخدم لمثيلات EC2. |
| مستندات | لقطات والمواد المرجعية. |
| برنامج | إثبات مفهوم تطبيقات الويب المكتوبة باستخدام EJS. |
يمكن العثور على مثال لملف سجل خرطوم الإطفاء هنا.
على مدار شهر واحد، قمنا بالزحف إلى 1.2 مليون ملف تورنت وفهرستها، والتي تصف 46 مليون ملف يبلغ إجمالي حجمها 4 بيتابايت.
إذا كنت مهتمًا بملفات .torrent الأولية أو البيانات الوصفية، فيرجى تقديم مشكلة.
